企业官网建设流程全解析

h5制作网站开发,大凤号 网站建设,公司主页怎么填范本,上海网站建设网站“ 向量数据库的检索原理#xff0c;就是存储不同数据之间的向量关系#xff0c;在检索时通过向量关系查询相关数据 ” 文本分块也就是chunk技术是大模型领域中非常重要的一项技术#xff0c;原因就在于大模型众所周知的问题#xff0c;上下文窗口限制#xff1b;虽然说现…“向量数据库的检索原理就是存储不同数据之间的向量关系在检索时通过向量关系查询相关数据”文本分块也就是chunk技术是大模型领域中非常重要的一项技术原因就在于大模型众所周知的问题上下文窗口限制虽然说现在大模型的窗口经过几次扩容之后已经达到了一个非常可观的长度但依然还存在很多问题。比如说长文本导致的模型幻觉问题中间丢失现象等多种性能问题而且在RAG技术中长文本也是一个亟待解决的问题。而现在业内普遍的处理方式就是文本分块把一段长文本根据某种方式拆分成多种小的文本块这样就有助于大模型进行处理也能间接降低大模型的幻觉等问题。文本分块在大模型上下文窗口中文本分块就比较好理解这就类似于我们平常看一本很厚的书我们无法做到一次就给全部看完因此常见的做法就是今天看一点明天看一点然后一段时间之后就看完了。而我们在看书的过程中比如昨天看了一部分停了下来今天接着看但可能我们一时想不起来昨天看到哪里了因此就会找到昨天看的大概位置再往前一点这样有助于我们回忆昨天看的内容也有助于上下文的连贯性。而大模型长文本处理有一种方式也是采用类似的方式那就是把文本按照chunk_size进行分块然后使用chunk_overlap重叠一部分内容。而chunk_overlap重叠的部分就相当于我们看书时往前看的一部分这样有助于上下文的连贯性特别是对大模型这种没有记忆能力的系统来说。而在代码方面具体的表现就如下所示加载文档之后使用分词工具根据不同的长度进行分词分词的长度和重叠部分就是由chunk_size和chunk_overlap来指定之后再转化为向量。 加载文档 def load_documents(directorydir_path): loader DirectoryLoader(directory) documents loader.load() # for document in documents: # print(document) # 文档分割 text_spliter CharacterTextSplitter(chunk_size256, chunk_overlap10) spliter_docs text_spliter.split_documents(documents) return spliter_docs当然在一些没有语义相关的上下文中也可以不使用chunk_overlap参数只根据chunk_size或其它方式进行分块。比如说今天工作日我在上班今天天气不错这两句话从语义上来说没有任何相关性因此可以进行完全分块。虽然说文本分块是大模型技术中很常见的一种处理方式但现在有一个疑问就是在大模型上下文窗口中这样的使用方式很容易理解但在RAG中就存在一个问题。RAG中一般使用向量数据库作为数据的存储方式原因就在于向量数据库能很好的保证文本之间的语义关系(也有图像关系混合关系等多种情况)。但长文本被分块之后在向量数据库中的表现形式也是一条一条的记录如果说一条语义相关的长文本被拆分成多个小块然后存储在向量数据库的不同位置。这时在进行向量检索时向量数据库是怎么保证检索内容的相关性的难道是因为具有语义相关的内容被保存在相近距离的向量空间中比如欧氏距离就是通过计算不同向量之间的距离来表示其相关性。但如果面对着百亿级以上的向量存储需求向量数据库怎么保证快速且准确高效的检索到相关数据个人猜测长文本被拆分之后为了保证语义相关性因此采用了chun_overlap的方式来让拆分的文本有重叠的内容根据这些重叠的内容在进行向量计算的时候会把这相关的数据放到一块或者能够通过一种方式进行快速检索。如下图所示文本被拆分之后因为有chunk_overlap参数关联文本的语义关系那么在向量数据库中就会把语义相关的内容记录到更近的位置这样在检索的时候就可以根据向量之间的关系获取相关的数据。这就类似于传统SQL语句的like功能可以根据某个字段或语句查询到多条记录然后再从这多条记录中筛选出语义相关性最高的数据。但这同样有新的问题那就是chunk_overlap只是文档拆分的一种方式还有很多其它的方式可以拆分那么这就说明一件事chunk_overlap只是一种表象核心在于怎么保证上下文语义的相关性如果不使用chunk_overlap的方式或者不使用欧式距离的计算方式 那么怎么才能保证文本上下文的相关性呢而且我们都知道大模型是经过训练和微调的方式通过不断调整神经网络的参数值来“学习”不同文本(多模态)数据之间的关系那这个学习的过程是不是就是在不断的计算向量之间的关系如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线互联网企业工作十余年里指导过不少同行后辈。帮助很多人得到了学习和成长。我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限很多互联网行业朋友无法获得正确的资料得到学习提升故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…学习是一个过程只要学习就会有挑战。天道酬勤你越努力就会成为越优秀的自己。如果你能在15天内完成所有的任务那你堪称天才。然而如果你能完成 60-70% 的内容你就已经开始具备成为一名大模型 AI 的正确特征了。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】