2025/12/27 23:24:05
网站建设
项目流程
cn域名后缀网站,微官网和手机网站一样吗,郑州网站个人开发,网站更新内容本文专为AI小白、程序员设计#xff0c;全程实战导向#xff0c;详细拆解n8nOllamaQwen3构建企业级RAG检索系统的完整流程#xff0c;包含环境搭建、模型配置、工作流创建等关键步骤#xff0c;附避坑指南与常用命令#xff0c;建议收藏备用#xff0c;跟着操作即可快速上…本文专为AI小白、程序员设计全程实战导向详细拆解n8nOllamaQwen3构建企业级RAG检索系统的完整流程包含环境搭建、模型配置、工作流创建等关键步骤附避坑指南与常用命令建议收藏备用跟着操作即可快速上手企业级知识库搭建。一、Qwen3-Embedding模型核心介绍Qwen3-Embedding是阿里推出的高效嵌入模型具备优异的文本向量化能力是构建RAG系统的核心组件之一。以下是官方及权威获取渠道方便大家下载与查阅详情硅基流动https://cloud.siliconflow.cn/me/models魔搭社区https://www.modelscope.cn/search?searchQwen3-EmbeddingHuggingFacehttps://huggingface.co/Qwen/collections模型相关展示二、Ollama环境安装与配置附自定义路径避坑Ollama是轻量易用的本地大模型部署工具无需复杂配置即可快速运行各类大模型是本次RAG系统的本地算力核心。Ollama官方地址https://ollama.com/本次实操安装路径E:\S_Software\Ollama建议避开C盘系统盘避免后续模型下载占用过多系统空间2.1 自定义安装目录创建手动创建文件夹目录E:\S_Software\Ollama后续所有Ollama相关文件均放在此目录下方便统一管理。2.2 执行安装命令将Ollama安装包.exe文件放入上述自定义目录然后在该目录下打开CMD命令行输入以下安装命令OllamaSetup.exe /DIRE:\S_Software\Ollama说明DIR参数后紧跟的是手动创建的自定义路径输入命令后回车即可进入安装程序此时安装路径会自动定位到我们设置的目录。2.3 安装验证安装完成后在任意CMD窗口输入ollama命令若能正常显示Ollama版本信息及命令列表说明安装成功。2.4 关键配置修改模型下载目录Ollama默认模型下载目录在C盘容易占用系统空间建议手动修改到自定义目录下步骤如下① 创建模型存储目录修改默认路径在Ollama安装目录下新建models文件夹路径为E:\S_Software\Ollama\models打开Ollama客户端点击settings设置找到Model location模型位置选项将路径修改为上述新建的models文件夹路径。② 已有模型转移可选若之前已下载过模型先在CMD中输入ollama list查看已安装模型然后退出Ollama客户端找到默认模型目录C盘→用户→你的电脑用户名→.ollama→models将该目录下的所有内容剪切到新建的E:\S_Software\Ollama\models目录最后删除C盘原有的models文件夹即可。完成后验证重新打开Ollama输入ollama list仍能看到原有模型说明转移成功。2.5 前置依赖Node.js安装n8n运行基础n8n基于Node.js运行需先安装Node.js环境推荐版本v22及以上本次实操安装版本为v24.11.1。Node.js官网下载地址https://nodejs.cn/download/安装说明下载对应系统版本的安装包一路默认安装即可若需自定义安装路径可自行调整建议记录安装路径方便后续配置。安装完成后在CMD中输入以下命令全局安装n8nnpm install -g n8n # -g表示全局安装可在任意目录运行安装耗时5-10分钟左右视网络情况而定常见报错解决Windows系统可能出现gyp ERR! find VS错误Linux/macOS可能出现distutils缺失错误具体解决方案如下Windows解决gyp ERR! find VS报错① 报错原因n8n依赖的sqlite3模块需要本地编译系统缺少Visual Studio的C编译工具链。② 解决方案安装Visual Studio 2022版本的C桌面开发工具2026版本暂不兼容npm不推荐。工具下载地址最新2022版本https://visualstudio.microsoft.com/zh-hans/visual-cpp-build-tools/旧版备用https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/安装步骤运行安装包选择“C 桌面开发”勾选“Windows SDK”Win11系统勾选Win11 SDKWin10勾选对应版本建议同时勾选Win10和Win11 SDK避免兼容问题。自定义安装目录该工具需占用十几G空间建议安装到非系统盘如D盘。安装完成后重启电脑确保环境变量生效。补充说明若觉得安装Visual Studio繁琐也可选择Docker安装n8n一个命令即可完成适合对Docker熟悉的开发者。Linux/macOS解决distutils缺失报错安装Python 3.x版本并确保distutils模块可用以Ubuntu为例命令如下sudo apt-get install python3 python3-distutils2.6 重新安装n8n解决报错后若之前安装n8n失败需先卸载清理缓存再重新安装命令如下# 1、卸载全局n8n npm uninstall -g n8n # 2、强制清理npm缓存 npm cache clean --force # 3、验证缓存完整性 npm cache verify # 4、重新全局安装n8n npm install -g n8n # 5、查看n8n版本及依赖验证安装成功 npm list -g n8n2.7 启动n8n并访问环境配置完成后在CMD中输入n8n命令即可启动服务启动成功后打开浏览器输入http://localhost:5678/setup即可进入n8n初始化页面。三、Qwen3-Embedding本地模型下载与测试Qwen3-Embedding模型用于将文本转化为向量是RAG检索的核心环节以下提供两种本地下载方式推荐新手使用方式二命令行直接下载更简便。3.1 模型下载方式一HuggingFace下载Ollama创建进阶\1. 下载GGUF量化模型访问HuggingFace地址下载适合本地部署的GGUF格式模型推荐Q4_K_M量化版本平衡性能与显存占用https://huggingface.co/Qwen/Qwen3-Embedding-4B-GGUF/tree/main\2. 创建Modelfile在模型下载目录下打开CMD输入以下命令创建最简Modelfile将路径替换为你的模型实际路径echo FROM E:\Ollama\Qwen3-Embedding-4B-Q4_K_M.gguf Modelfile\3. 创建Ollama模型输入以下命令将下载的模型注册为Ollama可调用的模型qwen3_embedding为自定义模型名可自行修改ollama create qwen3_embedding -f Modelfile方式二Ollama命令直接下载推荐新手无需手动下载模型文件直接在CMD中输入以下命令Ollama会自动下载并部署Qwen3-Embedding模型Q4_K_M量化版本ollama run hf.co/Qwen/Qwen3-Embedding-4B-GGUF:Q4_K_M3.2 模型测试验证可用性模型部署完成后需验证是否能正常生成向量以下是两种方式的对应测试方法方式一测试curl命令调用APIWindows系统需用双引号包裹JSON注意转义命令如下model名需与ollama list输出的名称一致curl http://localhost:11434/api/embed -d {\model\:\qwen3_embedding\,\input\:\Hello\}方式二测试命令行直接调用curl验证\1. 直接调用测试在CMD中输入以下命令若输出一串向量数据说明模型正常运行ollama run hf.co/Qwen/Qwen3-Embedding-4B-GGUF:Q4_K_M 这是一个测试文本效果展示\2. curl API测试输入以下命令验证模型API调用可用性curl http://localhost:11434/api/embed -d {\model\: \hf.co/Qwen/Qwen3-Embedding-4B-GGUF:Q4_K_M\,\input\: \Hello World\}效果展示四、n8n可视化搭建RAG核心工作流n8n提供可视化拖拽式操作无需大量编码即可完成RAG工作流搭建核心流程为文件读取→循环处理→向量存储→文本分块→模型配置步骤如下4.1 第一步选择触发方式为方便测试先选择手动触发方式Trigger manually后续可根据实际需求替换为定时触发、API触发等。4.2 第二步添加文件读取节点用于读取本地知识库文件如MD、PDF等步骤如下添加步骤搜索file找到Read/Write Files from Disk节点。选择操作勾选Read读取文件因本次使用本地知识库此选项最适配。\3. 配置文件路径在File Path中输入本地知识库文件夹路径格式为E:\\F_File\\RAG\\****表示读取该文件夹下所有文件注意路径中的反斜杠需双写转义。\4. 测试验证点击节点旁的“测试”按钮提示成功后可查看右侧输出结果确认能正常读取文件夹内的文件如MD、PDF。输出示例可看到读取到的文件列表及基础信息。4.3 第三步添加循环处理节点Loop over Items用于循环读取文件夹内的多个文件确保每个文件都能被处理步骤如下添加节点搜索Loop over Items选择该节点中文文档参考https://docs.n8ncn.io/integrations/builtin/core-nodes/n8n-nodes-base.splitinbatches/。配置参数Batch Size批次大小默认1即可表示每次处理1个文件按需调整。\3. 执行测试点击工作流顶部的“执行”按钮验证循环节点能正常衔接文件读取节点处理所有文件。4.4 第四步添加向量存储节点将读取的文件转化为向量并存储步骤如下添加节点在循环节点后添加Vector节点新手推荐选择Simple Vector Store简易向量存储适合学习演示生产环境可替换为Pinecone、Milvus等专业向量数据库。选择操作勾选Add documents from vector store将文档添加到向量存储即文档向量化。配置Memory key默认值即可后续检索时需使用相同的Memory key确保前后一致。\4. 注意事项此时节点会显示红色感叹号需补充配置两个关键组件——Embedding模型配置和Document文件解析配置。4.5 第五步配置文件解析与语义分割包含Embedding模型配置关联本地Qwen3-Embedding、Document文件解析处理不同格式文件、语义分割拆分长文本提升检索精度三个核心子步骤① Embedding模型配置关联本地Ollama点击向量节点的Embedding配置项选择Ollama作为嵌入模型来源本地部署无需联网。配置连接地址默认localhost:11434若提示连接失败将localhost改为127.0.0.1本地回环地址兼容性更强。选择模型在Model下拉框中选择已部署的hf.co/Qwen/Qwen3-Embedding-4B-GGUF:Q4_K_M模型。② Document文件解析配置点击向量节点的Document配置项选择Default Data Loader默认数据加载器支持多种文件格式。配置参数Type of Data选择Binary二进制适配PDF、MD等本地文件。Mode默认Load All Input Data加载所有输入数据。Data Format选择Auto Detect自动解析文件格式或根据实际文件类型手动选择。Text Splitting选择Custom自定义分块提升检索精度。配置完成后工作流初步形态如下③ 语义分割配置关键优化长文本直接向量化会导致检索精度下降需进行语义分割按语义逻辑拆分短文本步骤如下添加节点在Document配置后添加Text Splitting语义分割节点。配置参数默认参数即可满足基础需求进阶可调整Chunk Size分块大小单位为token和Chunk Overlap分块重叠度建议10%-20%保证上下文连贯性。五、搭建检索知识库工作流实现问答功能完成文档向量化存储后需搭建检索工作流实现“用户提问→向量检索→模型生成答案”的完整链路步骤如下5.1 完整工作流形态文档处理链路文档处理链路向量化存储完整工作流如下确保所有节点无红色感叹号执行测试无报错运行成功提示5.2 新建检索工作流问答链路新建工作流点击n8n左侧“”号创建新工作流。选择触发方式选择On chat message聊天消息触发支持用户直接输入问题。5.3 添加AI Agent节点核心问答组件AI Agent用于衔接对话模型与向量存储实现“检索生成”一体化步骤如下添加节点搜索AI Agent选择该节点。配置Chat Mode选择对话模型本次使用Deepseek需提前获取API Key也可使用Ollama本地部署的大模型如Qwen3。获取API Key通过硅基流动或Deepseek官方平台生成生成后点击Create new credential创建凭证并填入。配置Tool添加Answer questions with vector store使用向量存储回答问题工具在“描述”中填入“该工具用于检索向量数据库中的知识库内容辅助回答用户问题”。配置完成后工作流形态如下5.4 关联向量存储与模型确保检索工作流能关联到之前创建的向量存储和本地Embedding模型步骤如下关联向量存储在Answer questions with vector store工具的Vector Store配置项中选择Simple Vector Store并确保Memory key与文档处理链路的Memory key一致。关联对话模型在Model配置项中选择之前配置的Deepseek Chat model或本地Ollama模型。关联Embedding模型在Simple Vector Store的Embedding配置项中再次关联本地的Qwen3-Embedding模型与文档处理链路一致。最终检索工作流形态六、测试知识库检索准确性工作流搭建完成后通过聊天窗口测试检索效果验证是否能精准匹配本地知识库内容打开聊天窗口点击AI Agent节点的open chat按钮弹出对话窗口。输入测试问题例如“找一下ios禁止系统更新的网址”该问题对应的答案需存在于本地知识库文件中。测试结果系统能精准提取知识库中的内容进行回答无冗余信息排版清晰。对比验证直接在Deepseek官方对话中提问相同问题无法获取本地知识库内容说明RAG系统已生效。优化方向对于分段式长文本检索精度可能受影响可通过调整语义分块参数如减小Chunk Size、增加重叠度、更换更优的Embedding模型等方式优化。补充测试进一步提问分段式内容通过精准提示如“请从知识库中查找XX相关的分段内容”可提升回答准确性。七、必备工具Ollama常用命令大全收藏备用整理Ollama日常使用高频命令涵盖模型下载、管理、调试等核心操作新手建议收藏下载/运行模型ollama run 模型名字如ollama run qwen3清除模型上下文/clear对话过程中使用清除当前会话记忆退出对话/关闭模型/bye退出当前模型对话界面查看模型运行细节速度token数ollama run 模型名字 --verbose查看本地已安装模型ollama list删除本地模型ollama rm 模型名字释放存储空间查看模型详细信息ollama show 模型名字如版本、大小、描述等启动Ollama服务器ollama serve手动启动服务默认自动启动创建自定义模型ollama create 自定义模型名 -f Modelfile需提前创建Modelfile总结本文通过n8nOllamaQwen3实现了企业级RAG检索系统的本地搭建全程实操导向覆盖环境配置、模型部署、工作流搭建、检索测试等全流程适合AI小白和程序员快速上手。通过该系统可将本地文档转化为可检索的知识库实现精准问答后续可基于此优化向量数据库替换为专业数据库、优化分块策略、接入更多格式文件提升系统性能与适用性。建议收藏本文后续搭建过程中可随时查阅避坑指南与命令大全。那么如何系统的去学习大模型LLM作为一名从业五年的资深大模型算法工程师我经常会收到一些评论和私信我是小白学习大模型该从哪里入手呢我自学没有方向怎么办这个地方我不会啊。如果你也有类似的经历一定要继续看下去这些问题啊也不是三言两语啊就能讲明白的。所以我综合了大模型的所有知识点给大家带来一套全网最全最细的大模型零基础教程。在做这套教程之前呢我就曾放空大脑以一个大模型小白的角度去重新解析它采用基础知识和实战项目相结合的教学方式历时3个月终于完成了这样的课程让你真正体会到什么是每一秒都在疯狂输出知识点。由于篇幅有限⚡️ 朋友们如果有需要全套 《2025全新制作的大模型全套资料》扫码获取~为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。大模型学习指南路线汇总我们这套大模型资料呢会从基础篇、进阶篇和项目实战篇等三大方面来讲解。①.基础篇基础篇里面包括了Python快速入门、AI开发环境搭建及提示词工程带你学习大模型核心原理、prompt使用技巧、Transformer架构和预训练、SFT、RLHF等一些基础概念用最易懂的方式带你入门大模型。②.进阶篇接下来是进阶篇你将掌握RAG、Agent、Langchain、大模型微调和私有化部署学习如何构建外挂知识库并和自己的企业相结合学习如何使用langchain框架提高开发效率和代码质量、学习如何选择合适的基座模型并进行数据集的收集预处理以及具体的模型微调等等。③.实战篇实战篇会手把手带着大家练习企业级的落地项目已脱敏比如RAG医疗问答系统、Agent智能电商客服系统、数字人项目实战、教育行业智能助教等等从而帮助大家更好的应对大模型时代的挑战。④.福利篇最后呢会给大家一个小福利课程视频中的所有素材有搭建AI开发环境资料包还有学习计划表几十上百G素材、电子书和课件等等只要你能想到的素材我这里几乎都有。我已经全部上传到CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】相信我这套大模型系统教程将会是全网最齐全 最易懂的小白专用课