wanghanlin/RAG: 本地 RAG 知识库 - RAG - Gitea: Git with a cup of tea

本地 RAG 知识库

History

wanghanlin 84eea7564f refactor: 自造轮子改用 Spring AI 标准组件、清理死代码并修复既有缺陷组件替换（改用 1.1.x 标准组件） - 文档提取：删除自写 TikaDocumentReader（内部直接 new org.apache.tika.Tika()），改用官方 org.springframework.ai.reader.tika.TikaDocumentReader。 pom 早已引入 spring-ai-tika-document-reader 却从未使用其类，属典型「引了标准依赖却手写实现」 - 意图识别：IntentRouter 的手写正则解析（含去 BOM/零宽字符/全角空格等约 60 行防御逻辑）改用标准 BeanOutputConverter<IntentResult>，保留原有降级语义（空输入/解析失败 → RAG） - 推荐问题：SuggestionGenerator 的哨兵字符串 + 代码块剥离 + 按行降级解析改用 ChatClient.entity(ParameterizedTypeReference<List<String>>)，整体删除 SuggestionResponseParser - 分块：删除 MyTokenTextSplitter 薄壳，新增 OverlapTokenTextSplitter 分块器 overlap 缺陷修复（本次验证中发现并修复） - 旧实现把 knowledge.chunk.overlap 传进了 TokenTextSplitter 第 2 个形参 minChunkSizeChars 位， overlap 从未生效（Spring AI 的 TokenTextSplitter 根本没有 overlap 形参） - 新实现继承标准 TextSplitter，复刻 TokenTextSplitter 全部切分语义，仅把前进步长改为 chunkSize - overlap，使重叠真正生效 - 验证中发现：标点截断会缩短本块消耗的 token 数，与 overlap 叠加后可把前进步长压到 1 个 token，分块数膨胀 10 倍（实测 349 块 vs 修复后 44 块）。故仅当截断后仍能前进至少 (chunkSize - overlap) / 2 个 token 时才采用该截断，否则宁可切断句子 - overlap=0 时与标准 TokenTextSplitter 逐块一致（已对比验证） - ⚠️ 存量文档需重新分块 + 重新向量化（POST /document/batch/reprocess），否则新旧向量口径混杂其他既有缺陷修复 - RerankerService：原用 new RestTemplate() 且无任何超时，慢 provider 会把检索线程拖到 TCP 超时；改用 RestClient + JdkClientHttpRequestFactory 显式设置 connect/read 超时（各 3s） - McpServerConfigController：MCP Server 增删改/启停/全量刷新后未清 AssistantApp 的 ChatClient 缓存，导致继续使用旧工具集；现补调 clearCache() 死代码清理（均已 grep 确认零引用） - 删除 FileBasedChatMemory、ReReadingAdvisor（零装配且 before() 逻辑为 no-op）、 SseEventBuilder（零引用）、SuggestionResponseParser - McpToolCallback 删除 EVENTS ThreadLocal 与 drainEvents()/resetEvents()（零调用），保留在用的 MCP_EVENTS_KEY/MCP_ROUNDS_KEY ToolContext 机制文档 - 同步更新 CLAUDE.md / README.md / DEPLOY.md 的版本号、组件说明与架构描述 - 修正 CLAUDE.md 中与代码不符的既有描述：主启动类并未排除 PgVectorStoreAutoConfiguration （项目用的是非 starter 坐标，classpath 上本就没有该自动配置）；分类过滤实现已完成，原「Spring AI filter 支持有限」的 TODO 已不成立	3 days ago
..
maven-wrapper.properties	初始化spring boot项目，测试spring ai框架是否能正常调用ai大模型	1 year ago

wanghanlin 84eea7564f refactor: 自造轮子改用 Spring AI 标准组件、清理死代码并修复既有缺陷

组件替换（改用 1.1.x 标准组件）
- 文档提取：删除自写 TikaDocumentReader（内部直接 new org.apache.tika.Tika()），
  改用官方 org.springframework.ai.reader.tika.TikaDocumentReader。
  pom 早已引入 spring-ai-tika-document-reader 却从未使用其类，属典型「引了标准依赖却手写实现」
- 意图识别：IntentRouter 的手写正则解析（含去 BOM/零宽字符/全角空格等约 60 行防御逻辑）
  改用标准 BeanOutputConverter<IntentResult>，保留原有降级语义（空输入/解析失败 → RAG）
- 推荐问题：SuggestionGenerator 的哨兵字符串 + 代码块剥离 + 按行降级解析改用
  ChatClient.entity(ParameterizedTypeReference<List<String>>)，整体删除 SuggestionResponseParser
- 分块：删除 MyTokenTextSplitter 薄壳，新增 OverlapTokenTextSplitter

分块器 overlap 缺陷修复（本次验证中发现并修复）
- 旧实现把 knowledge.chunk.overlap 传进了 TokenTextSplitter 第 2 个形参 minChunkSizeChars 位，
  overlap 从未生效（Spring AI 的 TokenTextSplitter 根本没有 overlap 形参）
- 新实现继承标准 TextSplitter，复刻 TokenTextSplitter 全部切分语义，仅把前进步长改为
  chunkSize - overlap，使重叠真正生效
- 验证中发现：标点截断会缩短本块消耗的 token 数，与 overlap 叠加后可把前进步长压到
  1 个 token，分块数膨胀 10 倍（实测 349 块 vs 修复后 44 块）。故仅当截断后仍能前进
  至少 (chunkSize - overlap) / 2 个 token 时才采用该截断，否则宁可切断句子
- overlap=0 时与标准 TokenTextSplitter 逐块一致（已对比验证）
- ⚠️ 存量文档需重新分块 + 重新向量化（POST /document/batch/reprocess），否则新旧向量口径混杂

其他既有缺陷修复
- RerankerService：原用 new RestTemplate() 且无任何超时，慢 provider 会把检索线程拖到
  TCP 超时；改用 RestClient + JdkClientHttpRequestFactory 显式设置 connect/read 超时（各 3s）
- McpServerConfigController：MCP Server 增删改/启停/全量刷新后未清 AssistantApp 的
  ChatClient 缓存，导致继续使用旧工具集；现补调 clearCache()

死代码清理（均已 grep 确认零引用）
- 删除 FileBasedChatMemory、ReReadingAdvisor（零装配且 before() 逻辑为 no-op）、
  SseEventBuilder（零引用）、SuggestionResponseParser
- McpToolCallback 删除 EVENTS ThreadLocal 与 drainEvents()/resetEvents()（零调用），
  保留在用的 MCP_EVENTS_KEY/MCP_ROUNDS_KEY ToolContext 机制

文档
- 同步更新 CLAUDE.md / README.md / DEPLOY.md 的版本号、组件说明与架构描述
- 修正 CLAUDE.md 中与代码不符的既有描述：主启动类并未排除 PgVectorStoreAutoConfiguration
  （项目用的是非 starter 坐标，classpath 上本就没有该自动配置）；分类过滤实现已完成，
  原「Spring AI filter 支持有限」的 TODO 已不成立

3 days ago

maven-wrapper.properties

初始化spring boot项目，测试spring ai框架是否能正常调用ai大模型

1 year ago