企业官网建设流程全解析

东莞做网站公司电话,什么是网络设计原则,石家庄搭建网站,软件开发都有哪些项目DeepSeek-R1-Distill-Qwen-1.5B实操手册#xff1a;API封装为FastAPI服务供其他系统调用 1. 为什么要把Streamlit聊天应用改造成FastAPI服务#xff1f; 你已经跑通了那个清爽好用的Streamlit本地对话界面——输入问题#xff0c;气泡弹出思考链答案#xff0c;侧边栏一点…DeepSeek-R1-Distill-Qwen-1.5B实操手册API封装为FastAPI服务供其他系统调用1. 为什么要把Streamlit聊天应用改造成FastAPI服务你已经跑通了那个清爽好用的Streamlit本地对话界面——输入问题气泡弹出思考链答案侧边栏一点就清空显存整个过程丝滑又安心。但很快你会发现Streamlit是给“人”用的不是给“系统”用的。比如你想把DeepSeek-R1-Distill-Qwen-1.5B的能力嵌入到公司内部的知识库搜索页里用户搜“报销流程”后端自动调用模型生成结构化解读或者集成进客服工单系统当坐席遇到复杂技术问题时一键触发模型推理并返回参考话术再比如想用Python脚本批量测试不同提示词对数学题求解效果的影响……这些场景都绕不开一个核心需求稳定、无状态、可编程调用的HTTP接口。而Streamlit本质是个前端驱动的交互式应用框架它不暴露标准REST API无法被curl、requests或Postman直接调用也不支持并发请求管理、身份认证、请求限流等生产级能力。这时候把它“抽离逻辑、封装接口、交由FastAPI托管”就成了从“玩具”走向“工具”的关键一步。本手册不讲大道理只做一件事手把手带你把已有的Streamlit项目中那套成熟可用的推理逻辑完整剥离出来封装成一个轻量、健壮、开箱即用的FastAPI服务。全程基于你已部署好的/root/ds_1.5b模型路径零模型重下载、零参数重调优、零环境重配置——你只需要改代码、加路由、启服务。1.1 你将获得什么不是概念是具体能力一个独立运行的FastAPI服务监听http://localhost:8000提供标准/v1/chat/completions兼容接口完全复用原Streamlit项目的全部推理能力原生聊天模板拼接、思维链格式化、temperature0.6/top_p0.95精准采样、max_new_tokens2048长推理支持支持标准OpenAI-style JSON请求体含messages,model,stream等字段下游系统无需改造即可接入自动处理GPU/CPU设备识别、显存清理、无梯度推理和原来一样省资源内置健康检查端点/health和模型信息端点/models方便监控与集成提供完整可运行代码、启动命令、请求示例复制粘贴就能跑没有抽象架构图没有理论推导只有你能立刻执行、立刻验证、立刻集成的实操路径。2. 核心改造思路三步剥离四层封装我们不做“重写”只做“迁移”。整个过程围绕一个原则保留所有已验证的推理逻辑只替换掉Streamlit的UI层和交互层用FastAPI的标准组件重新组织。2.1 第一步剥离模型加载与推理核心inference.py原Streamlit代码里模型加载、分词器初始化、推理函数通常混在st.cache_resource装饰器下和UI逻辑耦合。我们要做的是把它们“提纯”出来变成一个干净、无依赖、可独立测试的模块。新建inference.py内容如下# inference.py import torch from transformers import AutoTokenizer, AutoModelForCausalLM, pipeline from typing import List, Dict, Optional # 全局模型与分词器实例单例避免重复加载 _model None _tokenizer None def load_model_and_tokenizer(model_path: str /root/ds_1.5b) - tuple: 加载模型与分词器自动适配设备与精度 global _model, _tokenizer if _model is not None and _tokenizer is not None: return _model, _tokenizer print(f Loading model from {model_path}...) _tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) _model AutoModelForCausalLM.from_pretrained( model_path, device_mapauto, torch_dtypeauto, trust_remote_codeTrue ) print( Model loaded successfully.) return _model, _tokenizer def format_thinking_output(text: str) - str: 将模型原始输出中的|think|.../think标签转为结构化格式 # 原Streamlit中使用的相同逻辑 import re pattern r\|think\|(.*?)\|answer\| match re.search(pattern, text, re.DOTALL) if match: thinking match.group(1).strip() answer text.split(|answer|)[-1].strip() return f「思考过程」\n{thinking}\n\n「最终回答」\n{answer} return text.strip() def generate_response( messages: List[Dict[str, str]], max_new_tokens: int 2048, temperature: float 0.6, top_p: float 0.95, do_sample: bool True ) - str: 执行一次完整推理模板拼接 → 模型生成 → 格式化输出 model, tokenizer load_model_and_tokenizer() # 1. 使用官方聊天模板拼接上下文 input_text tokenizer.apply_chat_template( messages, tokenizeFalse, add_generation_promptTrue ) # 2. 编码输入 inputs tokenizer(input_text, return_tensorspt).to(model.device) # 3. 无梯度推理节省显存 with torch.no_grad(): outputs model.generate( **inputs, max_new_tokensmax_new_tokens, temperaturetemperature, top_ptop_p, do_sampledo_sample, pad_token_idtokenizer.eos_token_id, eos_token_idtokenizer.eos_token_id ) # 4. 解码并去除输入部分 full_output tokenizer.decode(outputs[0], skip_special_tokensFalse) response full_output[len(input_text):].strip() # 5. 格式化思维链输出 return format_thinking_output(response)这个文件就是你的新“引擎”。它完全复用了原项目的所有关键逻辑apply_chat_template、device_mapauto、torch.no_grad()、format_thinking_output——只是去掉了所有st.前缀和UI相关代码。你可以单独运行它测试# test_inference.py from inference import generate_response msgs [ {role: system, content: 你是一个严谨的数学助手}, {role: user, content: 解方程2x 3 7} ] print(generate_response(msgs))2.2 第二步定义FastAPI路由与请求模型main.py现在把引擎装进FastAPI的“车身”。新建main.py# main.py from fastapi import FastAPI, HTTPException, status from pydantic import BaseModel from typing import List, Dict, Optional, Any from inference import generate_response import uvicorn import json app FastAPI( titleDeepSeek-R1-Distill-Qwen-1.5B API, description基于DeepSeek-R1-Distill-Qwen-1.5B蒸馏模型的轻量级本地推理服务, version1.0.0 ) class ChatMessage(BaseModel): role: str content: str class ChatCompletionRequest(BaseModel): model: str deepseek-r1-distill-qwen-1.5b messages: List[ChatMessage] max_tokens: Optional[int] 2048 temperature: Optional[float] 0.6 top_p: Optional[float] 0.95 stream: Optional[bool] False # 本版本暂不支持流式保持兼容 class ChatCompletionResponse(BaseModel): id: str object: str chat.completion created: int model: str choices: List[Dict[str, Any]] usage: Dict[str, int] app.get(/health) def health_check(): 健康检查端点 return {status: healthy, model_loaded: True} app.get(/models) def list_models(): 列出可用模型信息 return { data: [{ id: deepseek-r1-distill-qwen-1.5b, object: model, owned_by: local, permission: [] }] } app.post(/v1/chat/completions, response_modelChatCompletionResponse) def chat_completions(request: ChatCompletionRequest): 标准OpenAI-style聊天补全接口 try: # 调用核心推理函数 response_text generate_response( messages[m.dict() for m in request.messages], max_new_tokensrequest.max_tokens, temperaturerequest.temperature, top_prequest.top_p ) # 构造标准响应简化版满足基本集成需求 import time import uuid return { id: fchatcmpl-{uuid.uuid4().hex}, object: chat.completion, created: int(time.time()), model: request.model, choices: [{ index: 0, message: { role: assistant, content: response_text }, finish_reason: stop }], usage: { prompt_tokens: 0, # 实际可扩展为真实统计 completion_tokens: 0, total_tokens: 0 } } except Exception as e: raise HTTPException( status_codestatus.HTTP_500_INTERNAL_SERVER_ERROR, detailf推理失败: {str(e)} ) if __name__ __main__: uvicorn.run(app, host0.0.0.0, port8000, workers1)注意几个关键点请求体ChatCompletionRequest严格遵循OpenAI API规范messages字段支持system/user/assistant角色generate_response调用方式与你在Streamlit中完全一致参数一一对应/v1/chat/completions返回结构也尽量贴近OpenAI下游系统如LangChain、LlamaIndex可直接复用已有客户端错误处理明确异常直接转为标准HTTP错误码。2.3 第三步启动服务并验证终端操作确保你已安装必要依赖pip install fastapi uvicorn transformers torch sentencepiece然后在项目根目录与main.py同级执行uvicorn main:app --host 0.0.0.0 --port 8000 --reload注意--reload仅用于开发调试生产环境请去掉并使用--workers 1因模型加载耗显存多进程需谨慎。服务启动后你会看到类似日志INFO: Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit) INFO: Started reloader process [12345] INFO: Started server process [12346] INFO: Waiting for application startup. Loading model from /root/ds_1.5b... Model loaded successfully. INFO: Application startup complete.此时服务已就绪。打开新终端用curl测试curl -X POST http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: deepseek-r1-distill-qwen-1.5b, messages: [ {role: system, content: 你是一个代码助手}, {role: user, content: 用Python写一个快速排序函数} ] } | python -m json.tool你会看到结构清晰的JSON响应其中choices[0].message.content就是带「思考过程」「最终回答」的完整结果——和你在Streamlit界面上看到的一模一样。3. 进阶实用技巧让服务更稳、更快、更好集成光能跑通还不够。在真实系统中你需要应对并发、监控、日志、安全等现实问题。以下是几条经过验证的轻量级增强建议全部基于现有代码微调无需引入复杂中间件。3.1 显存自动回收避免长时间运行后OOM原Streamlit的「 清空」按钮在FastAPI里没了但我们可以用atexit钩子在服务退出时主动释放显存在main.py顶部添加import atexit import torch def cleanup_gpu(): if torch.cuda.is_available(): torch.cuda.empty_cache() print( GPU cache cleared on exit) atexit.register(cleanup_gpu)更进一步如果你希望在每次请求后都轻量清理适合低频但长时服务可在chat_completions函数末尾加一行torch.cuda.empty_cache() # 放在return之前3.2 请求日志记录排查问题有据可依在chat_completions函数开头加入简单日志import logging logging.basicConfig(levellogging.INFO) logger logging.getLogger(__name__) app.post(/v1/chat/completions, response_modelChatCompletionResponse) def chat_completions(request: ChatCompletionRequest): logger.info(fReceived request for model {request.model}, user message: {request.messages[-1][content][:50]}...) # ...后续逻辑日志会输出到控制台清晰显示谁在什么时候问了什么极大缩短排障时间。3.3 简单请求限流防止单个客户端拖垮服务对于内部系统调用一般不需要复杂限流。用slowapi库加一行即可pip install slowapi在main.py中from slowapi import Limiter from slowapi.util import get_remote_address limiter Limiter(key_funcget_remote_address) app.state.limiter limiter app.post(/v1/chat/completions, response_modelChatCompletionResponse) limiter.limit(5/minute) # 每分钟最多5次 def chat_completions(request: ChatCompletionRequest): # ...原有逻辑超过限制会自动返回429 Too Many Requests无需额外处理。3.4 Docker一键封装可选但强烈推荐把服务打包成Docker镜像彻底解决环境一致性问题。新建DockerfileFROM nvidia/cuda:12.1.1-base-ubuntu22.04 RUN apt-get update apt-get install -y python3-pip python3-dev rm -rf /var/lib/apt/lists/* COPY requirements.txt . RUN pip3 install --no-cache-dir -r requirements.txt COPY . /app WORKDIR /app CMD [uvicorn, main:app, --host, 0.0.0.0:8000, --port, 8000]requirements.txt内容fastapi0.110.0 uvicorn0.29.0 transformers4.40.0 torch2.2.0cu121 sentencepiece0.2.0构建并运行docker build -t ds15b-api . docker run -p 8000:8000 --gpus all -v /root/ds_1.5b:/root/ds_1.5b ds15b-api模型路径通过卷映射挂载安全又灵活。4. 与其他系统的集成示例三行代码接入服务跑起来后怎么用下面给出最常用的三种集成方式每种都只需3-5行核心代码。4.1 Python requests调用最常用import requests url http://localhost:8000/v1/chat/completions headers {Content-Type: application/json} data { model: deepseek-r1-distill-qwen-1.5b, messages: [ {role: user, content: 解释下Transformer的自注意力机制} ] } response requests.post(url, headersheaders, jsondata) result response.json() print(result[choices][0][message][content])4.2 LangChain快速接入已有LangChain项目from langchain.llms import OpenAI from langchain.chat_models import ChatOpenAI # 复用OpenAI客户端只需改base_url llm ChatOpenAI( openai_api_basehttp://localhost:8000/v1, openai_api_keynot-needed, # 本服务无需key model_namedeepseek-r1-distill-qwen-1.5b ) result llm.invoke(用一句话总结量子计算的核心思想) print(result.content)4.3 前端JavaScript调用嵌入网页async function askDeepSeek(question) { const response await fetch(http://localhost:8000/v1/chat/completions, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify({ model: deepseek-r1-distill-qwen-1.5b, messages: [{ role: user, content: question }] }) }); const data await response.json(); return data.choices[0].message.content; } // 调用示例 askDeepSeek(如何给初学者解释递归).then(console.log);所有方式都复用你已验证的同一套推理逻辑。你投入在Streamlit上的所有调优工作此刻全部生效。5. 总结从界面到接口能力真正流动起来你刚刚完成的不只是一个技术动作而是一次能力升级从“演示”到“可用”Streamlit界面是展示FastAPI服务是交付从“单点”到“网络”一个模型不再只服务一个浏览器标签页而是成为整个系统可调用的智能节点从“实验”到“生产”健康检查、日志、限流、Docker封装——每一步都在拉近与真实业务的距离。整个过程没有魔改模型没有重写推理没有新增依赖。你只是把已有的、可靠的、经过验证的代码用更合适的方式组织起来。这正是工程实践的精髓不追求炫技只关注价值落地。现在你的DeepSeek-R1-Distill-Qwen-1.5B已经准备好为知识库、客服系统、自动化脚本、内部工具……提供稳定、私有、高效的文本推理能力。下一步就是把它接入你真正需要的地方。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。