2025/12/26 10:41:43
网站建设
项目流程
北京建设网站哪家好,大型网站许多网站,凯里网站设计公司哪家好,可以做蛋白三位结构图的网站文章介绍谷歌开源的computer-use-preview项目#xff0c;这是一个让AI直接操控电脑的Agent框架。它采用三层架构#xff1a;BrowserAgent智能层、Computer接口抽象层和Playwright/Browserbase执行层。主要技术特点包括坐标归一化、截图滑动窗口和新页面劫持。该框架成本较高这是一个让AI直接操控电脑的Agent框架。它采用三层架构BrowserAgent智能层、Computer接口抽象层和Playwright/Browserbase执行层。主要技术特点包括坐标归一化、截图滑动窗口和新页面劫持。该框架成本较高每步约$0.002速度较慢单步3-6秒目前仅适配Chrome面临页面加载完整性、弹窗广告等挑战。前排提示文末有大模型AGI-CSDN独家资料包哦前两天谷歌悄咪咪开源了一个叫computer-use-preview的项目。可以让AI直接操控你电脑的Agent框架, 对标broswer_use。虽然是为了适配自家的新模型但是代码里边的一些处理细节还是可以学习一下的~这到底是个什么东西简单来说就是让Gemini模型看着你的屏幕截图然后自己决定该点哪、该输什么、该滚动到哪。自然语言驱动AI Agent执行大家应该都非常熟悉了。架构设计真的很谷歌3层架构干净得一批。plaintextBrowserAgent智能层 ↓Computer 接口抽象层 ↓Playwright/Browserbase执行层BrowserAgent - 负责和Gemini对话维护整个任务的上下文。 Computer 接口 - 定义了15个标准动作任何浏览器环境都得实现。包括鼠标的点击、悬停、拖拽键盘的输入、快捷键导航的搜索、跳转获取当前截图、url。 几个设计 ---- ### 1. 坐标归一化 - 跨分辨率适配 LLM只知道 0-1000 的坐标系不管屏幕多大换显示器都不用重新训练。 plaintext def denormalize_x(x: int) - int: screen_width, _ computer.screen_size() return int(x / 1000 * screen_width)2. 截图滑动窗口 - 上下文不炸只保留最近3轮的截图老的直接删除。这个策略让长任务也能跑下去。MAX_RECENT_TURN_WITH_SCREENSHOTS 3for i, content in enumerate(contents[:-MAX_RECENT_TURN_WITH_SCREENSHOTS]): if has_screenshot(content): remove_screenshot(content) # 保留结构删除图片数据3. 新页面劫持 - 单标签约束网页想开新标签不存在的。涉及会强行把多标签场景转成单标签简化模型决策。def _handle_new_page(new_page): url new_page.url new_page.close() # 立刻关闭 current_page.goto(url) # 在当前页打开谷歌没讲的那些事儿这套模式的局限性可以简单归纳一下成本问题每个动作都要截图LLM推理Gemini API调用每次 $0.002带视觉的请求更贵 长任务可能几刀起步。速度问题截图(0.5s) LLM推理(2-5s) 动作执行(0.5s) 单步3-6秒复杂任务10步就是30-60秒。还有目前只适配了chrome以及 页面加载完整性、弹窗广告、网络问题都是纯视觉Agent的困扰。好了这就是我今天想分享的内容。如果你对构建AI智能体感兴趣我们下期再见如何学习AI大模型 “最先掌握AI的人将会晚掌握AI的人有竞争优势晚掌握AI的人比完全不会AI的人竞争优势更大”。在这个技术日新月异的时代不会新技能或者说落后就要挨打。老蓝我作为一名在一线互联网企业保密不方便透露工作十余年指导过不少同行后辈。帮助很多人得到了学习和成长。我是非常希望可以把知识和技术分享给大家但苦于传播途径有限很多互联网行业的朋友无法获得正确的籽料得到学习的提升所以也是整理了一份AI大模型籽料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、落地项目实战等免费分享出来。点击即可获取大模型学习包2026年最新版AI大模型学习路线图100套AI大模型商业化落地方案100集大模型视频教程200本大模型PDF书籍LLM面试题合集AI产品经理资源合集大模型学习路线想要学习一门新技术你最先应该开始看的就是学习路线图而下方这张超详细的学习路线图按照这个路线进行学习学完成为一名大模型算法工程师拿个20k、15薪那是轻轻松松视频教程首先是建议零基础的小伙伴通过视频教程来学习其中这里给大家分享一份与上面成长路线学习计划相对应的视频教程。文末有整合包的领取方式技术书籍籽料当然当你入门之后仅仅是视频教程已经不能满足你的需求了这里也分享一份我学习期间整理的大模型入门书籍籽料。文末有整合包的领取方式大模型实际应用报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。文末有整合包的领取方式大模型落地应用案例PPT光学理论是没用的要学会跟着一起做要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。文末有整合包的领取方式大模型面试题答案截至目前大模型已经超过200个在大模型纵横的时代不仅大模型技术越来越卷就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道我总结了大模型常考的面试题。文末有整合包的领取方式领取方式这份完整版的 AI大模型学习籽料我已经上传CSDN需要的同学可以微⭐扫描下方CSDN官方认证二维码免费领取