企业官网建设流程全解析

谷歌网站怎么做外链,vps搭建网站是什么意思,wordpress友链自定义排序,学校网站模板 中文完整部署步骤#xff1a;Linux下保留系统CUDA12.6#xff0c;通过Conda创建CUDA11.8环境部署DeepSeek-OCR 核心逻辑#xff1a;利用Conda环境隔离性#xff0c;在新环境中安装CUDA11.8 toolkit#xff0c;系统CUDA12.6完全不受影响#xff0c;所有依赖均在隔离环境内安装…完整部署步骤Linux下保留系统CUDA12.6通过Conda创建CUDA11.8环境部署DeepSeek-OCR核心逻辑利用Conda环境隔离性在新环境中安装CUDA11.8 toolkit系统CUDA12.6完全不受影响所有依赖均在隔离环境内安装。步骤1安装/验证CondaAnaconda/Miniconda如果已安装Conda跳过此步未安装则执行下载MinicondaLinux x86_64wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh执行安装按提示操作建议同意将conda加入PATHbash Miniconda3-latest-Linux-x86_64.sh刷新环境变量source ~/.bashrc验证condaconda --version步骤2创建Conda隔离环境CUDA11.8 Python3.12.91. 创建环境名称deepseek-ocrPython3.12.9conda create -n deepseek-ocr python3.12.9 -y2. 激活环境conda activate deepseek-ocr3. 安装Conda版CUDA11.8 toolkit仅环境内生效不影响系统CUDA12.6conda install -c conda-forge cudatoolkit11.8 -y4. 验证环境内CUDA版本关键输出需包含cudatoolkit11.8conda list | grep cudatoolkit步骤3克隆DeepSeek-OCR仓库克隆仓库git clone https://github.com/deepseek-ai/DeepSeek-OCR.git进入仓库根目录cd DeepSeek-OCR步骤4安装PyTorchCUDA11.8版本严格匹配仓库要求的torch2.6.0cu118指定PyTorch官方cu118源pip install torch2.6.0 torchvision0.21.0 torchaudio2.6.0 --index-url https://download.pytorch.org/whl/cu118验证Torch关联的CUDA版本必须输出11.8和Truepython -c “import torch; print(‘Torch CUDA版本:’, torch.version.cuda); print(‘CUDA可用:’, torch.cuda.is_available())”若输出不是11.8删除环境重新创建或检查pip源是否被代理干扰。步骤5安装vllm 0.8.5cu118先下载对应CUDA11.8的vllm whl包再安装下载vllm-0.8.5cu118适配包Python3.8manylinux1_x86_64wget https://github.com/vllm-project/vllm/releases/download/v0.8.5/vllm-0.8.5cu118-cp38-abi3-manylinux1_x86_64.whl安装下载的vllm包pip install vllm-0.8.5cu118-cp38-abi3-manylinux1_x86_64.whl若下载慢可手动从vllm Release页下载对应whl到本地再执行pip install 本地whl路径。步骤6安装其他依赖requirements flash-attn安装仓库依赖pip install -r requirements.txt安装flash-attn 2.7.3需编译先装系统编译工具sudo apt update sudo apt install -y gcc g build-essential # Ubuntu/DebianCentOS/RHELsudo yum install -y gcc gcc-c make安装flash-attn关键参数–no-build-isolationpip install flash-attn2.7.3 --no-build-isolation步骤7配置运行参数修改config.py进入vllm推理目录修改核心路径和参数cd DeepSeek-OCR-master/DeepSeek-OCR-vllm编辑config.py用vim/nano/VSCode等vim config.py修改以下关键参数示例模型路径自动从Hugging Face下载也可指定本地路径MODEL_PATH ‘deepseek-ai/DeepSeek-OCR’输入路径改为你的测试文件图片/jpg/png 或 PDFINPUT_PATH ‘/path/to/your/test.jpg’ # 或 /path/to/your/test.pdf输出路径自定义输出目录自动创建OUTPUT_PATH ‘/path/to/your/output_dir’其他参数按需调整GPU内存不足时降低MAX_CONCURRENCY 20 # 默认100低配GPU改为20/10MAX_CROPS 4 # 默认6低配GPU改为4/2CROP_MODE True # 保持默认步骤8运行测试图片/PDF推理确保始终在deepseek-ocr Conda环境中执行激活环境若已激活可跳过conda activate deepseek-ocr1. 单图片推理流式输出python run_dpsk_ocr_image.py2. PDF推理A100-40G约2500tokens/spython run_dpsk_ocr_pdf.py3. 批量评估基准测试python run_dpsk_ocr_eval_batch.py关键问题解决CUDA隔离常见报错解决ptxas路径报错TRITON_PTXAS_PATH由于系统CUDA是12.6Conda环境内CUDA11.8的ptxas需手动指定修改run_dpsk_ocr_image.py/run_dpsk_ocr_pdf.py的开头CUDA判断逻辑if torch.version.cuda ‘11.8’:# 自动获取Conda环境内的ptxas路径无需硬编码os.environ[“TRITON_PTXAS_PATH”] f{os.environ[‘CONDA_PREFIX’]}/bin/ptxas2. GPU内存不足降低config.py中MAX_CONCURRENCY如10、MAX_CROPS如2修改脚本中llm LLM(…)的gpu_memory_utilization为0.8默认0.9。3. Transformers版本冲突仓库说明无需担心但若报错可升级pip install transformers4.51.1 -U核心说明CUDA隔离性Conda环境内的cudatoolkit11.8仅作用于该环境系统nvcc --version仍显示12.6完全不影响其他应用模型下载首次运行会自动从Hugging Face下载deepseek-ai/DeepSeek-OCR模型需保证网络通畅环境复用后续使用只需执行conda activate deepseek-ocr即可无需重复安装依赖。