用 Spring AI 搭 RAG 问答:把公司文档喂给大模型(全链路实战)

MKChan 发布于 阅读:0

Spring AI RAG 企业文档问答全链路实战

一句话:RAG = 离线文档入库ETL + 在线检索增强生成。Spring AI 把文档解析、切片、Embedding、向量库、Advisor 检索增强全部标准化,Java/SpringBoot 生态无缝接入,不用自己封装向量检索逻辑。

一、RAG 解决什么问题?

大模型本身不知道你们公司内部手册、SOP、合同、技术规范,直接问容易幻觉、过时、泄露。
RAG 思路:开卷考试

  1. 先把公司 PDF/Word/Markdown 解析、切成片段、向量化存入向量库
  2. 用户提问时,把问题转向量,在向量库召回最相关文档片段
  3. 把【用户问题 + 召回文档】一起塞给大模型,约束它只基于给的资料回答,不知道就说不知道

Spring AI 核心亮点:

二、整体链路划分

阶段1:离线文档入库(ETL,后台任务/上传接口)

文档(PDF/MD/DOCX) → DocumentReader读取文本 → TextSplitter切片(chunk) → EmbeddingModel向量化 → VectorStore存储(文本+向量+元数据:文件名、部门、版本)

阶段2:在线问答(用户请求链路)

用户提问 → ChatClient(Advisor拦截)→ 问题Embedding → VectorStore相似检索(TopK+相似度阈值)→ 把上下文拼入Prompt → LLM生成答案,附带来源引用

Spring AI 的 QuestionAnswerAdvisor 封装了这条链路,是最简单的上手方案;复杂企业级用 RetrievalAugmentationAdvisor,支持查询改写、多查询扩展、Rerank重排、过滤等模块化编排

三、环境 & 依赖(Maven)

SpringBoot 3.x + Spring AI

<!-- Spring AI 核心 -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter</artifactId>
</dependency>
<!-- 向量库Advisor(RAG核心) -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-advisors-vector-store</artifactId>
</dependency>
<!-- 文档读取:PDF、TXT -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-document-readers</artifactId>
</dependency>
<!-- 文本切分器 -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-transformers</artifactId>
</dependency>
<!-- 示例:Ollama本地模型(LLM+Embedding,零API KEY,本地跑) -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-starter-model-ollama</artifactId>
</dependency>
<!-- 内存向量库(测试用,生产换Milvus/PGVector) -->
<dependency>
    <groupId>org.springframework.ai</groupId>
    <artifactId>spring-ai-vector-store-simple</artifactId>
</dependency>

如果用阿里云通义/百炼:换成 spring-ai-alibaba-starter

四、配置文件 application.yml(Ollama示例)

spring:
  ai:
    ollama:
      base-url: http://localhost:11434
      chat:
        model: qwen:7b
      embedding:
        model: qwen:7b

五、核心代码实战

1. 配置类:向量库、ChatClient、RAG Advisor

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.ai.rag.advisor.QuestionAnswerAdvisor;
import org.springframework.ai.vectorstore.SimpleVectorStore;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class RagConfig {

    // 内存向量库,测试用;生产替换 MilvusVectorStore / PgVectorStore
    @Bean
    public VectorStore vectorStore(ChatClient.Builder builder) {
        return SimpleVectorStore.builder(builder.build().getEmbeddingModel()).build();
    }

    // RAG Advisor:自动检索、拼接上下文
    @Bean
    public QuestionAnswerAdvisor questionAnswerAdvisor(VectorStore vectorStore) {
        return QuestionAnswerAdvisor.builder(vectorStore)
                .topK(4)                // 召回前4个相关片段
                .similarityThreshold(0.65) // 相似度门槛,低于的丢弃
                .build();
    }

    @Bean
    public ChatClient chatClient(ChatClient.Builder builder, QuestionAnswerAdvisor advisor) {
        return builder
                .defaultSystemPrompt("你是公司内部知识库助手,严格依据提供的文档上下文回答。" +
                        "如果上下文没有相关信息,直接回答【暂无相关资料】,禁止编造、不要脑补。回答末尾标注文档来源。")
                .defaultAdvisors(advisor) // 全局挂载RAG增强
                .build();
    }
}

2. 文档入库Service(PDF/文本上传,切片入库)

import org.springframework.ai.document.Document;
import org.springframework.ai.document.reader.pdf.PdfReader;
import org.springframework.ai.transformer.splitter.TokenTextSplitter;
import org.springframework.ai.vectorstore.VectorStore;
import org.springframework.stereotype.Service;
import org.springframework.web.multipart.MultipartFile;

import java.io.InputStream;
import java.util.List;
import java.util.Map;

@Service
public class DocIngestService {

    private final VectorStore vectorStore;
    private final TokenTextSplitter splitter;

    public DocIngestService(VectorStore vectorStore) {
        this.vectorStore = vectorStore;
        // 切片:500token一块,重叠80token,防止语义切断
        this.splitter = new TokenTextSplitter(500, 80, true);
    }

    /**
     * 上传PDF入库
     */
    public void ingestPdf(MultipartFile file) throws Exception {
        try (InputStream is = file.getInputStream()) {
            PdfReader pdfReader = new PdfReader(is);
            List<Document> rawDocs = pdfReader.read();
            // 增加元数据:文件名,溯源用
            rawDocs.forEach(d -> d.getMetadata().putAll(Map.of("filename", file.getOriginalFilename())));
            // 切片
            List<Document> chunks = splitter.transform(rawDocs);
            // 写入向量库,自动Embedding
            vectorStore.add(chunks);
        }
    }
}

3. 问答Controller

import org.springframework.ai.chat.client.ChatClient;
import org.springframework.web.bind.annotation.PostMapping;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

@RestController
@RequestMapping("/rag")
public class RagController {

    private final ChatClient chatClient;

    public RagController(ChatClient chatClient) {
        this.chatClient = chatClient;
    }

    @PostMapping("/ask")
    public String ask(@RequestBody String question) {
        // Advisor自动拦截,完成检索+上下文注入
        return chatClient.prompt()
                .user(question)
                .call()
                .content();
    }
}

六、生产选型替换(重点)

组件 测试Demo 企业生产推荐
向量库 SimpleVectorStore(内存,重启丢失) Milvus、PGVector(Postgres)、Redis Stack
LLM Ollama本地Qwen 通义千问、DeepSeek、OpenAI
Embedding Ollama Embedding bge-large、通义Embedding
文档 PDF/TXT 增加DOCX、Markdown、网页解析;扫描PDF增加OCR

权限控制进阶:元数据存入 department:研发,检索时增加过滤表达式 FilterExpression,员工只能检索本部门文档

七、效果调优(RAG好不好,70%在检索)

  1. 切片策略:不要固定硬切;Markdown优先按标题切;chunk大小 400~700token,overlap 10%~20%
  2. 召回参数:topK 3~6;相似度阈值0.6~0.75,根据Embedding模型调
  3. 重排Rerank:粗召回topK=10,再用Rerank模型筛选3条,大幅提升准确率(RetrievalAugmentationAdvisor支持)
  4. Prompt约束:必须强约束幻觉,强制输出引用来源
  5. 增量更新:文档修改时,按元数据删除旧chunk,再新增切片,不要全量重建库
  6. 混合检索:向量语义检索 + BM25关键词检索融合(RRF),适合参数、编号类查询

八、常见坑

  1. Embedding模型必须和检索时同一个!维度不一致向量库报错
  2. 不要把超大chunk直接丢进去:噪声多,检索不准、超LLM上下文
  3. SimpleVectorStore只适合Demo,重启数据清空,绝对不上生产
  4. 扫描PDF图片型文档:PdfReader拿不到文字,需要OCR前置
  5. 幻觉:即使RAG,也要在System Prompt严格限制,必要时返回引用片段原文

九、扩展方向(企业级)

如果你想要,我可以给你:

  1. 一份可直接导入Postman的接口
  2. 升级版本:Milvus + Rerank + 部门权限过滤完整代码
  3. 一份面试版RAG问答总结(Spring AI RAG高频面试题)