企业官网建设流程全解析

网站建设必会的软件有哪些,岳阳网站平台设计,wordpress升级后怎么设置字体颜色,网站建设全流程图在大模型逐渐普及的今天#xff0c;我们正见证一场开发范式的革命#xff1a;从零开始写代码的传统应用正在逐渐被以提示词和插件为核心的大语言模型应用#xff08;LLM Apps#xff09;替代。但是#xff0c;我们真的已经准备好迎接拥有大模型的世界了么#xff1f; 本…在大模型逐渐普及的今天我们正见证一场开发范式的革命从零开始写代码的传统应用正在逐渐被以提示词和插件为核心的大语言模型应用LLM Apps替代。但是我们真的已经准备好迎接拥有大模型的世界了么本文中我们系统性地研究了大语言模型应用在应用的实际风险。我们首次量化了LLM应用的开发质量并全面地评估了LLM应用边界风险证实了质量较差的应用设计可能为大模型滥用提供无穷的入口“We can do anything by using any application”。本文录用于国际网络安全顶级学术会议NDSS 2026。1“任意门”效应“当一个应用的能力过大而缺乏限制用户的行为也将无法被控制”这里展示了一个实际业务的中案例。2025年初tiktok 正处于风口浪尖之上大量美国用户大量涌入英文版小红书。为应对多语言用户的挑战小红书迅速上线了基于LLM的翻译能力并取得了很好的效果。虽然基于LLM 的翻译缓解了小红书多国别用户的使用问题但是该功能很快被网友滥用违背了该功能原本的任务目标被用于执行任意的任务。图 1 小红书翻译功能被滥用2LLM 应用能力空间及风险在新的开发范式下应用的内涵已经发生变化。开发者已经不再需要针对目标任务开发特定的功能而是利用大模型的能力来完成目标任务。大模型已经在很多任务上表现出了非常强大的能力开发者需要从中圈定目标任务所需的能力同时限制其他能力进而为用户提供一个可以解决目标任务的“ LLM 应用”。图 2 能力空间示意图进一步地本文将 LLM 应用能力空间边界风险概括为下面3种场景。能力降级。能力降级的目的是降低 LLM 应用在其主要任务上的性能。如图3a在这种情况下应用可能产生不正确的响应。能力升级。能力升级的目标是扩展应用原本预期的能力空间使其能够执行额外的任务。但是它并没有破坏应用的道德约束不能任意执行恶意功能。如图3b所示App1 的功能被扩展到包括 App2 的功能。能力越狱。能力越狱的目标是同时绕过应用的预期功能限制和底层基础 LLM 的安全约束从而使应用程序能够执行任意任务包括恶意任务如图3c所示。图 3 能力边界风险示意图我们可以将基础 LLM 比作哆啦A梦中的“任意门”。理想情况下应用开发者希望这扇门被固定在一个特定的“房间”如翻译工具或天气查询。 能力边界风险的本质在于由于应用的提示词设计缺乏足够的安全考虑。用户只需要通过特定的操作就能跨越当前的房间到达大模型支持的任何其他功能领域。3LLM 应用能力风险评估为了量化评估当前 LLM 应用的能力边界风险本文设计了一个 LLM 应用评估框架 LLMApp-Eval。图 4 LLMApp-Eval框架图LLM 应用收集及分类本文收集了来自4个LLM 应用平台包括GPTs storeCozeAgentBuilder 和 Poe的807207个应用程序的元数据。同时我们还收集了 agentbulider 上部分应用公开的 prompt。然后借鉴工作[1]使用NLI-based Zero Shot Classification 模型对应用进行分类。Prompt 设计质量量化评估我们结合 Anthropic [2] 和 Google [3] 白皮书的agent设计指南设计了4个维度的指标来量化 LLM 应用 prompt 的质量包括目标、步骤、能力和限制。目标TScore关注 prompt 中应用的目标介绍的清晰度。步骤PScore关注是否具有引导性的步骤。能力CaScore关注能力描述的详细程度。限制CoScore关注明确的能力限制说明。最终对4个维度的分数进行加权组合能力边界测试为了全面地评估现实 LLM 应用所面临的风险我们构造了三类测试样例集合分别测试三类安全风险。1能力降级。我们通过评估间接提示注入如何影响 LLM 在同一任务上的性能来间接的评估能力降级风险。图 5 Llama-3.1-8B上的边界案例情况示例。通过嵌入精心制作的对抗句子红色一份无法通过评估的简历可以成功地逃避LLM助手的筛选。该场景模拟了企业LLM招聘系统。2能力升级。我们基于应用类型的识别结果构建了一个跨类别的测试用例集。本文假设是如果A类应用程序App 1可以执行B类应用程序App 2的任务那么 App 1 则面临能力升级的风险。具体主要构造了下面三种类型的测试样例。默认用例。我们从相同类型应用提供的默认问题中选取部分问题作为默认测试用例。生成用例。对于每种类型我们随机选择5个应用程序创建它们的能力概要并使用gpt - 4o为其生成5个测试用例。通用用例。为了测试应用的通用性能我们还加入了一组通用任务用例例如“一年有多少个季节”。3能力越狱。我们首先构建一个包含各种恶意问题类型的测试用例集。借用腾讯朱雀实验室开源的AI红队评估平台 AI-Infra-Guard (A.I.G) [8] 作为攻击编排引擎, 我们复现了包括 Gptfuzzer、ArtPrompt 在内的多项典型越狱技术 [4-7]成功生成了大量高质量的对抗性测试用例。4LLM 应用部署与开发现状跨平台 LLM 应用的实现情况1我们发现尽管不同平台的应用程序数量不同但应用程序类型的分布非常相似每个类别的百分比的平均绝对偏差小于2。2超级开发者在 LLM 应用程序生态系统中扮演着至关重要的角色但是这使得低质量、低使用率的应用程序占据了当前 LLM 应用程序生态系统的很大一部分某些开发者发布了大量同质化的应用。3平台提供的默认插件可能存在潜在的安全风险。例如在 AgentBuilder 上一款离婚咨询应用程序配置了百度 Map 插件。图 6 GPTs上的超级开发者LLM应用开发质量令人担忧1我们的评估结果显示48.62的应用得分 AppScore 低于50表明当前的 prompt 在我们4个维度的评价指标上表现都不好。同时大部分的开发者缺少能力限制的意识。应用程序在限制CoScore这个维度呈现出两极分化的趋势。43.41的应用程序没有添加任何功能约束对于添加了限制的应用中有20的得分低于60分。2其次为了确定 prompt 的质量与应用风险的关系我们使用优化后的 prompt 进行了测试。测试结果显示使用优化 prompt 的应用表现出对能力空间外任务更多的拒绝执行的能力外任务数量降低了5.3%-80%。比如在 AgentBuilder 上没有增加约束之前应用可执行15/21种不同类型的任务而增加约束后该数量降低到了3。LLM应用风险评估1能力降级评估我们使用2790对边界测试用例评估了6个开源 LLM。结果表明大多数模型受到插入的误导信息的影响。Mistral 受影响最大有993例出现错误反应而 LLaMA 表现最好但仍有668例出现错误响应。如果应用基于这样的模型来构建那么它将可能遭受能力降级风险。表 1 LLM的能力降级实验2能力升级评估在测试199个流行应用中144个72.36受能力升级影响每个应用都可以完成15类以上不同的类型的任务。图 7 应用执行的任务类型数量分布图能力升级的风险在不同的平台上差异很大。与其他三个平台相比GPTs 明显更容易受到能力升级的影响。从不受影响的应用来看固定的工作流和多模态输入/输出需求这些类似于传统应用中输入输出限制成为影响能力升级的关键因素。图 8 四个平台LLM应用的能力升级实验结果绿色表示应用程序的原始类型。橙色的强度表示应用程序完成的来自该类型的测试用例的比例颜色越深比例越高。不同平台对基座 LLM 的支持和插件配置的差异性也是影响平台上应用遭受能力升级风险的关键原因。GPTs 的默认配置包括 Web搜索和DALL·E图像生成使其应用具有出色的多模式输入/输出和实时信息检索能力也为能力升级提供了可能。相反Coze 和 AgentBuilder 则缺少这些能力的支持或者需要特定的配置。3能力越狱评估178个89.45%应用程序易受能力越狱的影响至少完成了一个恶意任务。并且有17个应用程序在没有使用对抗技术的情况下直接执行了恶意任务。图 9 不同平台流行度前50应用的能力越狱实验结果5总结本文系统性地揭示了 LLM 应用中因能力边界模糊而引发的深层安全风险指出在底层模型的全能“任意门”效应为 LLM 应用引入了新的攻击向量。我们对全球四大主流平台的80余万个应用进行了跨平台分析结果证实了大量热门应用暴露于能力提权或能力降级的威胁之下。研究强调提示词设计的低质量及平台默认插件的配置是导致应用沦为无限制“任意门”的主要诱因而强化提示词约束质量和构建固定工作流是实现安全隔离、降低滥用风险的关键路径。作者简介张允义清华大学水木学者博士后合作导师为刘保君副教授。主要研究方向包括网络基础设施安全、网络测量、网络犯罪和大模型应用安全与隐私在国际顶级会议及期刊 USENIX Security、ACM CCS、ACM IMC、NDSS、IEEE TDSC 等发表学术论文十余篇。参考文献[1] C. Yan, R. Ren, M. H. Meng, L. Wan, T. Y. Ooi, and G. Bai, “Exploring chatgpt app ecosystem: Distribution, deployment and security,” in Proceedings of the 39th IEEE/ACM International Conference on Automated Software Engineering, ASE 2024, Sacramento, CA, USA, October 27 - November 1, 2024, ACM, 2024, pp. 1370–1382.[2] Anthropic, “Building effective agents,” https://www.anthropic.com/rese arch/building-effective-agents, 2024.[3] Julia Wiesinger, Patrick Marlow and Vladimir Vuskovic, “AI Agent,” https://drive.google.com/file/d/1oEjiRCTbd54aSdB eEe3UShxLBW K9xkt/view?pli1, 2024.[4] Y. Zeng, H. Lin, J. Zhang, D. Yang, R. Jia, and W. Shi, “How johnny can persuade llms to jailbreak them: Rethinking persuasion to challenge AI safety by humanizing llms,” in Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2024, pp. 14 322–14 350.[5] F. Jiang, Z. Xu, L. Niu, Z. Xiang, B. Ramasubramanian, B. Li, and R. Poovendran, “Artprompt: ASCII art-based jailbreak attacks against aligned llms,” in Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2024, pp. 15 157–15 173.[6] P. Chao, A. Robey, E. Dobriban, H. Hassani, G. J. Pappas, and E. Wong, “Jailbreaking black box large language models in twenty queries,” CoRR, vol. abs/2310.08419, 2023.[7] J. Yu, X. Lin, Z. Yu, and X. Xing, “GPTFUZZER: red teaming large language models with auto-generated jailbreak prompts,” CoRR, vol. abs/2309.10253, 2023.[8] AI-Infra-Guard. https://github.com/Tencent/AI-Infra-Guard.往期精彩文章推荐关于AI TIMEAI TIME源起于2019年旨在发扬科学思辨精神邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索加强思想碰撞链接全球AI学者、行业专家和爱好者希望以辩论的形式探讨人工智能和人类未来之间的矛盾探索人工智能领域的未来。迄今为止AI TIME已经邀请了2000多位海内外讲者举办了逾800场活动超1000万人次观看。如何学习大模型 AI 由于新岗位的生产效率要优于被取代岗位的生产效率所以实际上整个社会的生产效率是提升的。但是具体到个人只能说是“最先掌握AI的人将会比较晚掌握AI的人有竞争优势”。这句话放在计算机、互联网、移动互联网的开局时期都是一样的道理。我在一线科技企业深耕十二载见证过太多因技术卡位而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我们整理出这套AI 大模型突围资料包✅ 从零到一的 AI 学习路径图✅ 大模型调优实战手册附医疗/金融等大厂真实案例✅ 百度/阿里专家闭门录播课✅ 大模型当下最新行业报告✅ 真实大厂面试真题✅ 2025 最新岗位需求图谱所有资料 ⚡️ 朋友们如果有需要《AI大模型入门进阶学习资源包》下方扫码获取~① 全套AI大模型应用开发视频教程包含提示工程、RAG、LangChain、Agent、模型微调与部署、DeepSeek等技术点② 大模型系统化学习路线作为学习AI大模型技术的新手方向至关重要。 正确的学习路线可以为你节省时间少走弯路方向不对努力白费。这里我给大家准备了一份最科学最系统的学习成长路线图和学习规划带你从零基础入门到精通③ 大模型学习书籍文档学习AI大模型离不开书籍文档我精选了一系列大模型技术的书籍和学习文档电子版它们由领域内的顶尖专家撰写内容全面、深入、详尽为你学习大模型提供坚实的理论基础。④ AI大模型最新行业报告2025最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。⑤ 大模型项目实战配套源码学以致用在项目实战中检验和巩固你所学到的知识同时为你找工作就业和职业发展打下坚实的基础。⑥ 大模型大厂面试真题面试不仅是技术的较量更需要充分的准备。在你已经掌握了大模型技术之后就需要开始准备面试我精心整理了一份大模型面试题库涵盖当前面试中可能遇到的各种技术问题让你在面试中游刃有余。以上资料如何领取为什么大家都在学大模型最近科技巨头英特尔宣布裁员2万人传统岗位不断缩减但AI相关技术岗疯狂扩招有3-5年经验大厂薪资就能给到50K*20薪不出1年“有AI项目经验”将成为投递简历的门槛。风口之下与其像“温水煮青蛙”一样坐等被行业淘汰不如先人一步掌握AI大模型原理应用技术项目实操经验“顺风”翻盘这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。以上全套大模型资料如何领取