 wanghanlin
|
84eea7564f
|
refactor: 自造轮子改用 Spring AI 标准组件、清理死代码并修复既有缺陷
组件替换（改用 1.1.x 标准组件）
- 文档提取：删除自写 TikaDocumentReader（内部直接 new org.apache.tika.Tika()），
改用官方 org.springframework.ai.reader.tika.TikaDocumentReader。
pom 早已引入 spring-ai-tika-document-reader 却从未使用其类，属典型「引了标准依赖却手写实现」
- 意图识别：IntentRouter 的手写正则解析（含去 BOM/零宽字符/全角空格等约 60 行防御逻辑）
改用标准 BeanOutputConverter<IntentResult>，保留原有降级语义（空输入/解析失败 → RAG）
- 推荐问题：SuggestionGenerator 的哨兵字符串 + 代码块剥离 + 按行降级解析改用
ChatClient.entity(ParameterizedTypeReference<List<String>>)，整体删除 SuggestionResponseParser
- 分块：删除 MyTokenTextSplitter 薄壳，新增 OverlapTokenTextSplitter
分块器 overlap 缺陷修复（本次验证中发现并修复）
- 旧实现把 knowledge.chunk.overlap 传进了 TokenTextSplitter 第 2 个形参 minChunkSizeChars 位，
overlap 从未生效（Spring AI 的 TokenTextSplitter 根本没有 overlap 形参）
- 新实现继承标准 TextSplitter，复刻 TokenTextSplitter 全部切分语义，仅把前进步长改为
chunkSize - overlap，使重叠真正生效
- 验证中发现：标点截断会缩短本块消耗的 token 数，与 overlap 叠加后可把前进步长压到
1 个 token，分块数膨胀 10 倍（实测 349 块 vs 修复后 44 块）。故仅当截断后仍能前进
至少 (chunkSize - overlap) / 2 个 token 时才采用该截断，否则宁可切断句子
- overlap=0 时与标准 TokenTextSplitter 逐块一致（已对比验证）
- ⚠️ 存量文档需重新分块 + 重新向量化（POST /document/batch/reprocess），否则新旧向量口径混杂
其他既有缺陷修复
- RerankerService：原用 new RestTemplate() 且无任何超时，慢 provider 会把检索线程拖到
TCP 超时；改用 RestClient + JdkClientHttpRequestFactory 显式设置 connect/read 超时（各 3s）
- McpServerConfigController：MCP Server 增删改/启停/全量刷新后未清 AssistantApp 的
ChatClient 缓存，导致继续使用旧工具集；现补调 clearCache()
死代码清理（均已 grep 确认零引用）
- 删除 FileBasedChatMemory、ReReadingAdvisor（零装配且 before() 逻辑为 no-op）、
SseEventBuilder（零引用）、SuggestionResponseParser
- McpToolCallback 删除 EVENTS ThreadLocal 与 drainEvents()/resetEvents()（零调用），
保留在用的 MCP_EVENTS_KEY/MCP_ROUNDS_KEY ToolContext 机制
文档
- 同步更新 CLAUDE.md / README.md / DEPLOY.md 的版本号、组件说明与架构描述
- 修正 CLAUDE.md 中与代码不符的既有描述：主启动类并未排除 PgVectorStoreAutoConfiguration
（项目用的是非 starter 坐标，classpath 上本就没有该自动配置）；分类过滤实现已完成，
原「Spring AI filter 支持有限」的 TODO 已不成立
|
4 weeks ago |
|
wanghanlin
|
d6a20f228a
|
feat: 支持图片/附件 SFTP 上传、多模态对话与 FAQ Markdown 编辑器
后端：
- 新增 SFTP 附件上传服务与 /attachment/upload 接口
- 新增 StorageProperties 集中化存储配置（支持 DataSize 50MB）
- ChatContext 新增 imageUrls，AI 调用链路透传多模态图片
- AssistantApp 构造 UserMessage(text, Media) 实现视觉输入
- ContentSafetyAdvisor MASK 脱敏时保留原消息图片 Media
- 配置拆分到 application-dev.yml / application-prod.yml（对齐参考项目）
前端：
- 对话面板支持图片/附件上传与缩略图/下载链接展示
- chat.ts 透传 imageUrls，chatAdapter 增加 Attachment 模型
- FAQ 编辑器替换为 md-editor-v3，支持粘贴图片自动上传
- FAQ 表格答案摘要去除 markdown 语法
- UI-DEV-GUIDE 补充 FormDrawer 使用规范
|
1 month ago |
|
wanghanlin
|
f7eb0bfaf1
|
feat(P0): 完成阶段一全部需求 — 混合检索/内容安全/用户反馈/FAQ精准匹配
P0-001 混合检索+重排序引擎:
- HybridSearchService 支持 VECTOR/KEYWORD/HYBRID 三种检索模式
- RrfFusion RRF 融合算法 (k=60)
- RerankerService 支持 DashScope + OpenAI 兼容多提供商
- vector_store 新增 content_tsvector 列 + GIN 索引 + 触发器
- DocSearch.js 增加检索模式下拉选择
P0-004 内容安全过滤:
- ContentSafetyService DFA 字典树引擎（volatile + copy-on-write 线程安全）
- ContentSafetyAdvisor BaseAdvisor 实现，输入/输出双向审核
- SensitiveWordService 敏感词 CRUD + 批量导入 + 字典树热加载
- SensitiveWordManager.js 前端管理组件
P0-002 用户反馈系统:
- MessageFeedbackService upsert 语义反馈提交 + 统计 API
- ChatPanel.js 添加 👍/👎 反馈按钮
- Chat SDK handleFeedback() 对接后端 POST /feedback
- ConversationService 导出集成反馈信息
P0-003 意图识别+FAQ精准匹配:
- IntentRouter LLM 意图分类（FAQ/RAG/CHITCHAT）
- FaqMatchEngine 三级匹配（精确→关键词→向量语义，阈值 0.85）
- FaqService FAQ CRUD + 异步向量化
- FaqManager.js 前端管理（CRUD + 批量导入/导出 + 启用/禁用）
共享变更:
- DatabaseInitConfig 新增 5 张表 + 全文检索初始化
- api.js 新增反馈/敏感词/FAQ API 封装
- app.js 注册 SensitiveWordManager + FaqManager 组件
- application.yml 新增 knowledge.faq.semantic-threshold 配置
|
3 months ago |
|
wanghanlin
|
f79350c363
|
完成了模型配置管理页面（5家AI提供商集成+运行时动态切换）
|
3 months ago |
hygl
|
3035278135
|
新增App，集成客服咨询和商品信息抽取功能，并实现基于文件和基于内存的两种对话记忆持久化方案。
|
1 year ago |
