必要性
涉及内部文档、聊天、业务专业度高的场景
方案选型
推荐使用向量+关键字的混合索引,整体搭建成本适中。
注意
- 原始文档清洗:尽量保留文档结构
- embedding:根据实际情况选择私有部署的模型或者公共模型,选择时主要考察模型对中文和长本文的支持,这将决定你的 chunk 大小
- 切分 chunk:每个 chunk 要保留必要的元数据,方便模型推理
- 检索:固定检索、Agentic 检索
- 评估:知识库质量的重要标志
涉及内部文档、聊天、业务专业度高的场景
推荐使用向量+关键字的混合索引,整体搭建成本适中。