|
|
|
@ -22,6 +22,7 @@ import org.springframework.core.io.FileSystemResource; |
|
|
|
import org.springframework.jdbc.core.JdbcTemplate; |
|
|
|
import org.springframework.stereotype.Service; |
|
|
|
import org.springframework.transaction.annotation.Transactional; |
|
|
|
import org.springframework.util.StringUtils; |
|
|
|
import org.springframework.web.multipart.MultipartFile; |
|
|
|
|
|
|
|
import com.fasterxml.jackson.databind.ObjectMapper; |
|
|
|
@ -122,6 +123,9 @@ public class DocumentService { |
|
|
|
Map<String, Object> extraConfig = new HashMap<>(); |
|
|
|
if (chunkSize != null) extraConfig.put("chunkSize", chunkSize); |
|
|
|
if (overlap != null) extraConfig.put("overlap", overlap); |
|
|
|
// 完整性标记：本字段起 content 存全文（不再截断），可安全用于 reprocess。 |
|
|
|
// 历史数据无此标记（其 content 是 2000 字截断预览），reprocess 据此走「从原始文件重解析」或明确拒绝。 |
|
|
|
extraConfig.put("contentComplete", true); |
|
|
|
|
|
|
|
// 2. 创建文档记录（状态 PROCESSING） |
|
|
|
KnowledgeDocument docRecord = KnowledgeDocument.builder() |
|
|
|
@ -130,13 +134,13 @@ public class DocumentService { |
|
|
|
.fileType(fileType) |
|
|
|
.fileSize(fileSize != null ? fileSize : 0L) |
|
|
|
.filePath(filePath) |
|
|
|
.content(content != null && content.length() > 2000 ? content.substring(0, 2000) : content) |
|
|
|
.content(content) |
|
|
|
.categoryId(categoryId != null ? categoryId : 0L) |
|
|
|
.folderId(folderId != null ? folderId : 0L) |
|
|
|
.tags(tags != null ? Map.of("tags", tags) : null) |
|
|
|
.contentHash(contentHash) |
|
|
|
.enabled(true) |
|
|
|
.extraConfig(extraConfig.isEmpty() ? null : extraConfig) |
|
|
|
.extraConfig(extraConfig) |
|
|
|
.status("PROCESSING") |
|
|
|
.chunkCount(0) |
|
|
|
.build(); |
|
|
|
@ -663,6 +667,9 @@ public class DocumentService { |
|
|
|
|
|
|
|
/** |
|
|
|
* 重新处理文档（异步：先标记为 PROCESSING，后台重新分块 + 向量化） |
|
|
|
* <p> |
|
|
|
* 数据源解析见 {@link #loadSourceDocuments}：优先用库内全文，历史遗留文档回退到原始文件重解析， |
|
|
|
* 两者都不可用时明确报错拒绝 —— 绝不静默按截断预览重建（会先删旧向量，属于不可逆的数据丢失）。 |
|
|
|
*/ |
|
|
|
@Transactional(rollbackFor = Exception.class) |
|
|
|
public KnowledgeDocument reprocessDocument(Long id) { |
|
|
|
@ -670,8 +677,20 @@ public class DocumentService { |
|
|
|
if (doc == null) { |
|
|
|
throw new RuntimeException("文档不存在"); |
|
|
|
} |
|
|
|
if (doc.getContent() == null || doc.getContent().isEmpty()) { |
|
|
|
throw new RuntimeException("文档无内容，无法重新处理"); |
|
|
|
|
|
|
|
// 先解析数据源：无法完整还原时直接抛错（事务回滚），不会破坏已有向量与文档状态 |
|
|
|
SourceLoad loaded = loadSourceDocuments(doc); |
|
|
|
List<Document> documents = loaded.documents(); |
|
|
|
|
|
|
|
// 历史遗留文档从原始文件重解析成功后，把全文回填进 content 并打上完整性标记： |
|
|
|
// 该文档此后不再依赖原始文件（文件丢失也能重跑），详情接口的 contentTruncated 也恢复准确 |
|
|
|
if (loaded.reparsedFromFile()) { |
|
|
|
doc.setContent(documents.stream().map(Document::getText).collect(Collectors.joining("\n"))); |
|
|
|
Map<String, Object> extra = doc.getExtraConfig() != null |
|
|
|
? new HashMap<>(doc.getExtraConfig()) |
|
|
|
: new HashMap<>(); |
|
|
|
extra.put("contentComplete", true); |
|
|
|
doc.setExtraConfig(extra); |
|
|
|
} |
|
|
|
|
|
|
|
// 标记为 PROCESSING，清空旧状态 |
|
|
|
@ -680,14 +699,70 @@ public class DocumentService { |
|
|
|
doc.setErrorMessage(null); |
|
|
|
documentMapper.updateById(doc); |
|
|
|
|
|
|
|
// 解析内容并触发异步处理 |
|
|
|
List<Document> documents = simpleStringDocumentReader.read(doc.getContent()); |
|
|
|
// 触发异步处理 |
|
|
|
documentProcessingService.reprocessDocumentAsync(id, documents); |
|
|
|
|
|
|
|
log.info("文档重新处理已提交: id={}, title={}", doc.getId(), doc.getTitle()); |
|
|
|
return doc; |
|
|
|
} |
|
|
|
|
|
|
|
/** 重新处理的数据源解析结果 */ |
|
|
|
private record SourceLoad(List<Document> documents, boolean reparsedFromFile) {} |
|
|
|
|
|
|
|
/** |
|
|
|
* 解析重新处理所需的数据源。 |
|
|
|
* <ol> |
|
|
|
* <li><b>库内全文优先</b>：新文档 content 存的是全文（含 extraConfig.contentComplete 标记）， |
|
|
|
* 用它可保持与首次上传完全一致的抽取语义（例如 JSON 的 fields/pointer 模式），且不依赖文件是否还在。</li> |
|
|
|
* <li><b>回退原始文件</b>：历史遗留文档的 content 是 2000 字截断预览，此时按 fileType 重新解析原始文件。</li> |
|
|
|
* <li><b>明确拒绝</b>：两者都不可用时抛错，绝不静默用截断预览重建（reprocess 会先删旧向量，属不可逆丢失）。</li> |
|
|
|
* </ol> |
|
|
|
*/ |
|
|
|
private SourceLoad loadSourceDocuments(KnowledgeDocument doc) { |
|
|
|
String content = doc.getContent(); |
|
|
|
boolean contentComplete = doc.getExtraConfig() != null |
|
|
|
&& Boolean.TRUE.equals(doc.getExtraConfig().get("contentComplete")); |
|
|
|
|
|
|
|
// 1) 库内全文优先 |
|
|
|
if (contentComplete && StringUtils.hasText(content)) { |
|
|
|
return new SourceLoad(simpleStringDocumentReader.read(content), false); |
|
|
|
} |
|
|
|
|
|
|
|
// 2) 历史遗留文档：从原始文件按 fileType 重解析 |
|
|
|
if (StringUtils.hasText(doc.getFilePath())) { |
|
|
|
java.io.File file = fileStorageConfig.getFilePath(doc.getFilePath()).toFile(); |
|
|
|
if (file.exists()) { |
|
|
|
log.warn("库内 content 为历史截断数据，改为从原始文件重解析: id={}, fileType={}, path={}", |
|
|
|
doc.getId(), doc.getFileType(), doc.getFilePath()); |
|
|
|
return new SourceLoad(parseFromFile(doc.getFileType(), file), true); |
|
|
|
} |
|
|
|
log.warn("原始文件不存在，无法完整重解析: id={}, path={}", doc.getId(), doc.getFilePath()); |
|
|
|
} |
|
|
|
|
|
|
|
// 3) 无法完整还原 |
|
|
|
throw new RuntimeException("该文档为历史遗留数据（库内仅存截断预览，原始文件也已丢失），" |
|
|
|
+ "无法完整重新处理，请重新上传该文档"); |
|
|
|
} |
|
|
|
|
|
|
|
/** |
|
|
|
* 按上传时的文件类型选择读取器，与各 uploadXxx 保持同一条解析路径。 |
|
|
|
* <p> |
|
|
|
* 注意 fileType 是原始扩展名（pdf/docx/csv/html/…），故用 default 兜到 Tika，仅 md/json 单独分支。 |
|
|
|
* 已知降级：JSON 的三种解析模式（basic/fields/pointer）上传时未持久化，历史文档只能按 basic 还原 |
|
|
|
* （不丢数据，仅抽取口径可能变化），日志会 WARN 提示。 |
|
|
|
*/ |
|
|
|
private List<Document> parseFromFile(String fileType, java.io.File file) { |
|
|
|
String type = fileType == null ? "" : fileType.toLowerCase(); |
|
|
|
return switch (type) { |
|
|
|
case "md", "markdown" -> markdownDocumentLoader.loadMarkdownFromFile(file); |
|
|
|
case "json" -> { |
|
|
|
log.warn("历史 JSON 文档未持久化解析模式（basic/fields/pointer），按 basic 重解析: {}", file.getName()); |
|
|
|
yield jsonDocumentLoader.loadBasicJsonFromFile(file); |
|
|
|
} |
|
|
|
default -> new TikaDocumentReader(new FileSystemResource(file)).get(); |
|
|
|
}; |
|
|
|
} |
|
|
|
|
|
|
|
/** |
|
|
|
* 更新文档元信息 |
|
|
|
*/ |
|
|
|
|
