Spring AI RAG 企业文档问答全链路实战
一句话:RAG = 离线文档入库ETL + 在线检索增强生成。Spring AI 把文档解析、切片、Embedding、向量库、Advisor 检索增强全部标准化,Java/SpringBoot 生态无缝接入,不用自己封装向量检索逻辑。
一、RAG 解决什么问题?
大模型本身不知道你们公司内部手册、SOP、合同、技术规范,直接问容易幻觉、过时、泄露。
RAG 思路:开卷考试
- 先把公司 PDF/Word/Markdown 解析、切成片段、向量化存入向量库
- 用户提问时,把问题转向量,在向量库召回最相关文档片段
- 把【用户问题 + 召回文档】一起塞给大模型,约束它只基于给的资料回答,不知道就说不知道
Spring AI 核心亮点:
Advisor机制:拦截Chat请求,自动完成检索、Prompt注入,业务代码极简(QuestionAnswerAdvisor)- 组件可插拔:文档解析器、切分器、Embedding模型、向量库、LLM模型都可以替换
- 兼容 Spring AI Alibaba(通义、百炼)、OpenAI、Ollama本地模型、Milvus、PGVector、RedisVector、SimpleVectorStore(内存测试)
二、整体链路划分
阶段1:离线文档入库(ETL,后台任务/上传接口)
文档(PDF/MD/DOCX) → DocumentReader读取文本 → TextSplitter切片(chunk) → EmbeddingModel向量化 → VectorStore存储(文本+向量+元数据:文件名、部门、版本)
阶段2:在线问答(用户请求链路)
用户提问 → ChatClient(Advisor拦截)→ 问题Embedding → VectorStore相似检索(TopK+相似度阈值)→ 把上下文拼入Prompt → LLM生成答案,附带来源引用
Spring AI 的
QuestionAnswerAdvisor封装了这条链路,是最简单的上手方案;复杂企业级用RetrievalAugmentationAdvisor,支持查询改写、多查询扩展、Rerank重排、过滤等模块化编排
三、环境 & 依赖(Maven)
SpringBoot 3.x + Spring AI
<!-- Spring AI 核心 -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter</artifactId>
</dependency>
<!-- 向量库Advisor(RAG核心) -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-advisors-vector-store</artifactId>
</dependency>
<!-- 文档读取:PDF、TXT -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-document-readers</artifactId>
</dependency>
<!-- 文本切分器 -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-transformers</artifactId>
</dependency>
<!-- 示例:Ollama本地模型(LLM+Embedding,零API KEY,本地跑) -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>
<!-- 内存向量库(测试用,生产换Milvus/PGVector) -->
<dependency>
<groupId>org.springframework.ai</groupId>
<artifactId>spring-ai-vector-store-simple</artifactId>
</dependency>
如果用阿里云通义/百炼:换成
spring-ai-alibaba-starter
四、配置文件 application.yml(Ollama示例)
spring:
ai:
ollama:
base-url: http://localhost:11434
chat:
model: qwen:7b
embedding:
model: qwen:7b
五、核心代码实战
1. 配置类:向量库、ChatClient、RAG Advisor
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.rag.advisor.QuestionAnswerAdvisor;
import org.springframework.ai.vectorstore.SimpleVectorStore;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class RagConfig {
// 内存向量库,测试用;生产替换 MilvusVectorStore / PgVectorStore
@Bean
public VectorStore vectorStore(ChatClient.Builder builder) {
return SimpleVectorStore.builder(builder.build().getEmbeddingModel()).build();
}
// RAG Advisor:自动检索、拼接上下文
@Bean
public QuestionAnswerAdvisor questionAnswerAdvisor(VectorStore vectorStore) {
return QuestionAnswerAdvisor.builder(vectorStore)
.topK(4) // 召回前4个相关片段
.similarityThreshold(0.65) // 相似度门槛,低于的丢弃
.build();
}
@Bean
public ChatClient chatClient(ChatClient.Builder builder, QuestionAnswerAdvisor advisor) {
return builder
.defaultSystemPrompt("你是公司内部知识库助手,严格依据提供的文档上下文回答。" +
"如果上下文没有相关信息,直接回答【暂无相关资料】,禁止编造、不要脑补。回答末尾标注文档来源。")
.defaultAdvisors(advisor) // 全局挂载RAG增强
.build();
}
}
2. 文档入库Service(PDF/文本上传,切片入库)
import org.springframework.ai.document.Document;
import org.springframework.ai.document.reader.pdf.PdfReader;
import org.springframework.ai.transformer.splitter.TokenTextSplitter;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;
import java.io.InputStream;
import java.util.List;
import java.util.Map;
@Service
public class DocIngestService {
private final VectorStore vectorStore;
private final TokenTextSplitter splitter;
public DocIngestService(VectorStore vectorStore) {
this.vectorStore = vectorStore;
// 切片:500token一块,重叠80token,防止语义切断
this.splitter = new TokenTextSplitter(500, 80, true);
}
/**
* 上传PDF入库
*/
public void ingestPdf(MultipartFile file) throws Exception {
try (InputStream is = file.getInputStream()) {
PdfReader pdfReader = new PdfReader(is);
List<Document> rawDocs = pdfReader.read();
// 增加元数据:文件名,溯源用
rawDocs.forEach(d -> d.getMetadata().putAll(Map.of("filename", file.getOriginalFilename())));
// 切片
List<Document> chunks = splitter.transform(rawDocs);
// 写入向量库,自动Embedding
vectorStore.add(chunks);
}
}
}
3. 问答Controller
import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
@RestController
@RequestMapping("/rag")
public class RagController {
private final ChatClient chatClient;
public RagController(ChatClient chatClient) {
this.chatClient = chatClient;
}
@PostMapping("/ask")
public String ask(@RequestBody String question) {
// Advisor自动拦截,完成检索+上下文注入
return chatClient.prompt()
.user(question)
.call()
.content();
}
}
六、生产选型替换(重点)
| 组件 | 测试Demo | 企业生产推荐 |
|---|---|---|
| 向量库 | SimpleVectorStore(内存,重启丢失) | Milvus、PGVector(Postgres)、Redis Stack |
| LLM | Ollama本地Qwen | 通义千问、DeepSeek、OpenAI |
| Embedding | Ollama Embedding | bge-large、通义Embedding |
| 文档 | PDF/TXT | 增加DOCX、Markdown、网页解析;扫描PDF增加OCR |
权限控制进阶:元数据存入
department:研发,检索时增加过滤表达式FilterExpression,员工只能检索本部门文档
七、效果调优(RAG好不好,70%在检索)
- 切片策略:不要固定硬切;Markdown优先按标题切;chunk大小 400~700token,overlap 10%~20%
- 召回参数:topK 3~6;相似度阈值0.6~0.75,根据Embedding模型调
- 重排Rerank:粗召回topK=10,再用Rerank模型筛选3条,大幅提升准确率(
RetrievalAugmentationAdvisor支持) - Prompt约束:必须强约束幻觉,强制输出引用来源
- 增量更新:文档修改时,按元数据删除旧chunk,再新增切片,不要全量重建库
- 混合检索:向量语义检索 + BM25关键词检索融合(RRF),适合参数、编号类查询
八、常见坑
- Embedding模型必须和检索时同一个!维度不一致向量库报错
- 不要把超大chunk直接丢进去:噪声多,检索不准、超LLM上下文
- SimpleVectorStore只适合Demo,重启数据清空,绝对不上生产
- 扫描PDF图片型文档:PdfReader拿不到文字,需要OCR前置
- 幻觉:即使RAG,也要在System Prompt严格限制,必要时返回引用片段原文
九、扩展方向(企业级)
- 文件管理页面:上传、删除、文档版本管理
- 对话记忆:
VectorStoreChatMemoryAdvisor多轮对话 - 异步入库:大文档解析切片异步任务,避免接口超时
- 评测链路:构造测试集,统计Recall@K、问答准确率
- 和Spring Cloud微服务结合:知识库服务独立部署,网关鉴权
如果你想要,我可以给你:
- 一份可直接导入Postman的接口
- 升级版本:Milvus + Rerank + 部门权限过滤完整代码
- 一份面试版RAG问答总结(Spring AI RAG高频面试题)