企业官网建设流程全解析

荆州哪有做网站的公司,百度浏览器网址链接,百度浏览器网页,杭州做网站外包公司一、前言 介绍 本次选用百度百科——藜麦数据#xff08;https://baike.baidu.com/item/藜麦/5843874#xff09;模拟个人或企业私域数据 #xff0c;并基于langchain开发框架#xff0c;实现一种简单的RAG问答应用示例。软件资源 CUDA 11.7Python 3.10pytorch 1.13.1cu1…一、前言介绍本次选用百度百科——藜麦数据https://baike.baidu.com/item/藜麦/5843874模拟个人或企业私域数据 并基于langchain开发框架实现一种简单的RAG问答应用示例。软件资源CUDA 11.7Python 3.10pytorch 1.13.1cu117langchain二、环境搭建下载代码$构建环境$ conda create -n py310_chat python3.10 # 创建新环境$ source activate py310_chat # 激活环境安装依赖$ pip install datasets langchain sentence_transformers tqdm chromadb langchain_wenxin三、RAG问答应用实战数据构建藜麦数据https://baike.baidu.com/item/藜麦/5843874保存到 藜.txt 文件中。本地数据加载from langchain.document_loaders import TextLoader文档分割文档分割借助langchain的字符分割器这里采用固定字符长度分割chunk_size128# 文档分割from langchain.text_splitter import CharacterTextSplitter # 创建拆分器text_splitter CharacterTextSplitter(chunk_size128, chunk_overlap0) # 拆分文档documents text_splitter.split_documents(documents) documents[Document(page_content藜读音lí麦Chenopodium\xa0quinoa\xa0Willd.是藜科藜属 植物。穗部可呈红、紫、黄植株形状类似灰灰菜成熟后穗部类似高粱穗。植株大小受环境及遗传因素影响较大从0.3-3米不等茎部质地较硬可分枝可不分。单叶互生叶片呈鸭掌 状叶缘分为全缘型与锯齿缘型。藜麦花两性花序呈伞状、穗状、圆锥状藜麦种子较小 呈小圆药片状直径1.5-2毫米千粒重1.4-3克。\xa0[1]\xa0\n原产于南美洲安第斯山脉的哥 伦比亚、厄瓜多尔、秘鲁等中高海拔山区。具有一定的耐旱、耐寒、耐盐性生长范围约为海平面到海拔4500米左右的高原上最适的高度为海拔3000-4000米的高原或山地地区。\xa0[1]\xa0\n藜麦富含的维生素、多酚、类黄酮类、皂苷和植物甾醇类物质具有多种健康功效。藜麦具有高蛋白其所含脂肪中不饱和脂肪酸占83%还是一种低果糖低葡萄糖的食物能 在糖脂代谢过程中发挥有益功效。\xa0[1]\xa0\xa0[5]\xa0\n国内藜麦产品的销售以电商为主, 缺乏实体店销售,藜麦市场有待进一步完善。藜麦国际市场需求强劲,发展前景十分广阔。通过加快品种培育和生产加工设备研发,丰富产品种类,藜麦必将在“调结构,转方式,保增收”的农业政策落实中发挥重要作用。\xa0[5]\xa0\n2022年5月“超级谷物”藜麦在宁洱县试种成功。, metadata{source: ./藜.txt}),Document(page_content藜麦是印第安人的传统主食几乎和水稻同时被驯服有着6000多年的种植和食用历史。藜麦具有相当全面营养成分并且藜麦的口感口味都容易被人接受。在藜麦这种营养丰富的粮食滋养下南美洲的印第安人创造了伟大的印加文明印加人将藜麦尊为粮食之母。美国人早在80年代就将藜麦引入NASA作为宇航员的日常口粮FAO认定藜麦是唯一一 种单作物即可满足人类所需的全部营养的粮食并进行藜麦的推广和宣传。2013年是联合国钦定的国际藜麦年。以此呼吁人们注意粮食安全和营养均衡。, metadata{source: ./藜.txt}),Document(page_content繁殖\n地块选择应选择地势较高、阳光充足、通风条件好及肥力较好的地块种植。藜麦不宜重茬忌连作应合理轮作倒茬。前茬以大豆、薯类最好其次是玉米、高粱等。\xa0[4]\xa0\n施肥整地早春土壤刚解冻趁气温尚低、土壤水分蒸发慢的时 候施足底肥达到土肥融合壮伐蓄水。播种前每降1次雨及时耙耱1次做到上虚下实干旱时只耙不耕并进行压实处理。一般每亩667平方米/亩下同施腐熟农家肥1000-2000千 克、硫酸钾型复合肥20-30千克。如果土壤比较贫瘠可适当增加复合肥的施用量。\xa0[4], metadata{source: ./藜.txt}),...]向量化数据入库接下来对分割后的数据进行embedding并写入数据库。这里选用from langchain.embeddings import HuggingFaceBgeEmbeddings from langchain.vectorstores import Chroma# embedding model: m3e-base model_name moka-ai/m3e-base model_kwargs {device: cpu}encode_kwargs {normalize_embeddings: True} embedding HuggingFaceBgeEmbeddings(model_namemodel_name,model_kwargsmodel_kwargs,encode_kwargsencode_kwargs,query_instruction为文本生成向量表示用于文本检索)# load data to Chroma dbdb Chroma.from_documents(documents, embedding) # similarity search db.similarity_search(藜一般在几月播种)m3e-base作为embedding模型向量数据库选用ChromaPrompt设计prompt设计这里只是一个prompt的简单示意在实际业务场景中需要针对场景特点针对性调优。RetrievalqaChain构建这里采用ConversationalRetrievalChainConversationalRetrievalQA chain 是建立在 RetrievalQAChain 之上提供历史聊天记录组件。如下面定义了memory来追踪聊天记录在流程上先将历史问题和当前 输入问题融合为一个新的独立问题然后再进行检索获取问题相关知识最后将获取的知识和生成的新 问题注入Prompt让大模型生成回答。from langchain import LLMChainfrom langchain_wenxin.llms import Wenxin from langchain.prompts import PromptTemplatefrom langchain.memory import ConversationBufferMemory from langchain.chains import ConversationalRetrievalChainfrom langchain.prompts.chat import ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate# LLM选型llm Wenxin(modelernie-bot, baidu_api_keybaidu_api_key, baidu_secret_keybaidu_secret_key)retriever db.as_retriever()memory ConversationBufferMemory(memory_keychat_history, return_messagesTrue) qa ConversationalRetrievalChain.from_llm(llm, retriever, memorymemory) qa({question: 藜怎么防治虫害}){question: 藜怎么防治虫害,chat_history: [HumanMessage(content藜怎么防治虫害),AIMessage(content藜麦常见虫害有象甲虫、金针虫、蝼蛄、黄条跳甲、横纹菜蝽、萹蓄齿 胫叶甲、潜叶蝇、蚜虫、夜蛾等。防治方法可每亩用3%的辛硫磷颗粒剂2-2.5千克于耕地前均 匀撒施随耕地翻入土中。也可以每亩用40%的辛硫磷乳油250毫升加水1-2千克拌细土20- 25千克配成毒土撒施地面翻入土中防治地下害虫。)],answer: 藜麦常见虫害有象甲虫、金针虫、蝼蛄、黄条跳甲、横纹菜蝽、萹蓄齿胫叶甲、潜叶蝇、蚜虫、夜蛾等。防治方法可每亩用3%的辛硫磷颗粒剂2-2.5千克于耕地前均匀撒施 随耕地翻入土中。也可以每亩用40%的辛硫磷乳油250毫升加水1-2千克拌细土20-25千克配成毒土撒施地面翻入土中防治地下害虫。}高级用法针对多轮对话场景增加 question_generator对历史对话记录进行压缩生成新的question增加combine_docs_chain对检索得到的文本进一步融合from langchain.chains import ConversationalRetrievalChain, StuffDocumentsChain from langchain.chains.qa_with_sources import load_qa_with_sources_chainfrom langchain.prompts.chat import ChatPromptTemplate, SystemMessagePromptTemplate, HumanMessagePromptTemplate# 构建初始 messages 列表这里可以理解为是 openai 传入的 messages 参数messages [SystemMessagePromptTemplate.from_template(qa_template),HumanMessagePromptTemplate.from_template({question})]# 初始化 prompt 对象prompt ChatPromptTemplate.from_messages(messages) llm_chain LLMChain(llmllm, promptprompt)combine_docs_chain StuffDocumentsChain(llm_chainllm_chain,document_separator\n\n,document_variable_namecontext,)q_gen_chain LLMChain(llmllm, promptPromptTemplate.from_template(qa_condense_template))qa ConversationalRetrievalChain(combine_docs_chaincombine_docs_chain,question_generatorq_gen_chain,return_source_documentsTrue,return_generated_questionTrue,retrieverretriever) print(qa({question: 藜麦怎么防治虫害, chat_history: []})){question: 藜怎么防治虫害, chat_history: [],answer: 根据背景知识藜麦常见虫害有象甲虫、金针虫、蝼蛄、黄条跳甲、横纹菜蝽、萹蓄齿胫叶甲、潜叶蝇、蚜虫、夜蛾等。防治方法如下\n\n1. 可每亩用3%的辛硫磷颗粒剂2- 2.5千克于耕地前均匀撒施随耕地翻入土中。\n2. 也可以每亩用40%的辛硫磷乳油250毫升 加水1-2千克拌细土20-25千克配成毒土撒施地面翻入土中防治地下害虫。\n\n以上内容仅供参考如果需要更多信息可以阅读农业相关书籍或请教农业专家。, source_documents: [ Document(page_content病害主要防治叶斑病使用12.5%的烯唑醇可湿性粉剂3000-4000倍液喷雾防治一般防治1-2次即可收到效果。\xa0[4]\xa0\n虫害藜麦常见虫害有象甲虫、金针虫、蝼蛄、黄条跳甲、横纹菜蝽、萹蓄齿胫叶甲、潜叶蝇、蚜虫、夜蛾等。防治方法可每亩用3%的辛硫磷颗粒剂2-2.5千克于耕地前均匀撒施随耕地翻入土中。也可以每亩用40%的辛硫磷乳油250毫升加水1-2千克拌细土20-25千克配成毒土撒施地面翻入土中防治地下害虫, metadata{source: ./藜.txt}), Document(page_content中期管理\n在藜麦8叶龄时将行中杂草、病株及残株拔掉提高整齐度增加通风透光同时进行根部培土防止后期倒伏。\xa0[4], metadata{source: