大模型之家讯 就在刚刚,OpenAI 头号竞争对手 Anthropic 推出了 “computer use” 功能,让 Claude 能够像人类一样操作电脑了!看屏幕、动光标、点按钮、打字等。通过 API,开发者可以让 Claude 将指令翻译成计算机指令,从而解放一些枯燥的重复性流程任务。
一、Anthropic 的 Computer use
开发人员可以通过 Anthropic 的 API、 Amazon Bedrock 和 Google Cloud 的 Vertex AI 平台试用Computer Use 。
功能特性解析
Claude 模型通过 API 实现了令人惊叹的像人一样操作电脑的能力。它能够观看屏幕截图,精准地移动光标,在需要的位置点击按钮,还能使用虚拟键盘输入文本。这种操作方式真正模拟了人类与计算机交互的方式,让 AI 助手不再局限于专门定制的工具,而是可以直接使用为人类设计的各类软件。
例如,在多个演示视频中,Claude 可以丝滑地执行打开软件、网页搜索、文本输入、编写代码、下载文件、debug、查找网页表格并填入信息等任务。
实验阶段表现
目前,Anthropic 的 Computer use 功能处于实验阶段,确实存在一些不足之处。操作速度较慢,一些简单的操作如滚动、拖拽和缩放等,对 Claude 来说仍具有相当的挑战性。
在基准测试中,Claude 在 OSWorld 电脑操作评估测试中获得了 14.9% 的成绩,远超其他 AI 模型的 7.8% 最高分,但与人类的 70 – 75% 的水平相比仍有相当大的差距。当用户提供更多完成任务所需的步骤时,Claude 的得分可以提升到 22.0%。
在软件工程方面,新版 Claude 3.5 Sonnet 在 SWE-bench Verified 评测中的得分从 33.4% 大幅跃升至 49.0%,一举超越了包括 OpenAI o1-preview 在内的所有公开可用模型。在零售领域的 TAU-bench 测试中,其表现从 62.6% 提升到 69.2%,在难度更高的航空领域测试中也从 36.0% 提升至 46.0%。
开发者反馈与未来展望
官方提前发布这项功能,是为了获取开发者的反馈。随着开发者的积极参与,预计这一功能将随着时间逐渐改进。未来,Computer use 功能有望变得更快、更可靠、更容易使用。Anthropic 可能会进一步优化 Claude 的操作速度,减少错误的发生。
同时,可能会通过更多的训练和优化,让 Claude 在处理复杂任务时更加得心应手,逐渐接近人类的操作水平。例如,在处理一些需要快速响应的任务时,Claude 可能会更加高效地移动光标、点击按钮和输入文本。此外,随着技术的不断进步,可能会有更多的软件和工具被 Claude 熟练掌握,为用户提供更加丰富和便捷的服务。
二、实在智能的 RPA-Agent
在人们对国外科技的迅猛发展赞叹不已之际,殊不知国内的国人团队 “实在智能” 早在去年,即 2023 年 8 月,就已率先推出国内外首个 “实在 Agent” 智能体。该智能体借助垂直大语言模型 TARS,调用 RPA 和 ISSUT 来完成点击、输入、下载等任务。它无需 API,能够为企业员工配备全能业务专家,实现超自动化执行以及自然对话式交互,堪称智能办公的 “AI 个人助理”。用户可以通过实在智能官网下载 AI 产品“实在 Agent 智能体”。
示例
在一个办公场景中,如果你想将销售人员的业绩排序,并把结果通过钉钉发送给张总,过去需要找到桌面上的表格,打开进行排序,再保存关闭后发给张总。现在打开实在 Agent 智能体,输入“读取桌面上的销售业绩清单,按照销售人员统计销售金额并从高到低排序,将结果文件通过钉钉发送给张总”,实在 Agent 即可自动完成。
告诉实在 Agent 需求,它会自动拆解生成流程。
不需要 API,通过 RPA 和 ISSUT 来完成打开钉钉、查找发送人、完成发送。
产品特性概述
实在智能的 RPA-Agent 将 RPA 的自动化能力与 Agent 智能体的自主决策能力完美融合。它以 TARS 大模型为 “脑”,具备强大的文本生成、语言理解、知识问答和逻辑推理能力。同时,ISSUT(智能屏幕语义理解)技术作为 “眼”,能够支持对电脑、手机、平板等屏幕的理解,精准找到所要操作的屏幕画面上的输入框、登录按钮或者聊天窗口等。
而 RPA/IPA 则如同 “手脚”,负责执行具体的操作任务。这种独特的组合使得实在智能的 RPA 智能体能够自主拆解任务、感知当前环境、执行并且反馈、记忆历史经验,实现真正的超自动化。例如,当用户发出 “我要买一台笔记本电脑,帮我推荐下” 的指令时,RPA 智能体可将其拆解成 “登录购物网站,查询笔记本电脑品牌、配置、价格等信息,完成产品推荐” 等多个步骤并加以自动实现。
广泛应用场景
实在智能的 RPA-Agent 在企业办公、客户服务、金融、电商等多个领域都有着广泛的应用。在企业办公领域,它成为员工的智能办公助手,可自动处理日常的行政事务,如撰写邮件、安排会议、整理文件等,减轻员工的工作负担,提升办公效率。
在财务、人力资源等部门也能发挥重要作用,例如进行财务数据的统计分析、协助招聘流程等。在客户服务领域,作为智能客服,它能够快速响应客户的咨询和问题,提供准确的解答和解决方案,改善客户体验。无论是在线客服还是电话客服,都能大大提高服务的质量和效率。
在金融领域,它应用于风险评估、欺诈检测、投资分析等业务流程中,能够快速处理大量的金融数据,识别潜在的风险和机会,为金融决策提供有力支持。在电商领域,它帮助电商企业进行商品推荐、库存管理、订单处理等。通过对用户行为和偏好的分析,精准地为用户推荐商品,提高销售转化率,同时优化库存管理,降低成本。
未来发展前景
随着技术的不断进步,实在智能的 RPA-Agent 未来发展前景十分广阔。它将在更多的行业和领域得到应用,为人们带来更多的便利和价值。其智能化程度将不断提高,能够处理更加复杂和多样化的任务,甚至具备一定的创造性思维。例如,在未来可能能够根据用户的需求自动设计广告文案、策划营销活动等。
同时,与其他技术的融合也将更加紧密,如与物联网、大数据等技术相结合,发挥出更大的协同效应。在企业数字化转型的浪潮中,实在智能的 RPA-Agent 将成为不可或缺的重要力量,推动企业实现业务流程的自动化和智能化,提升企业的核心竞争力,助力企业在激烈的市场竞争中取得优势。
四、两者对比与思考
Anthropic 的 Computer use 和实在智能的 RPA-Agent 两者虽在功能特性、技术应用、进展阶段、未来趋势存在异曲同工之处,但都推动从 “用户适应软件” 到 “软件适应用户” 的转变,可以预见未来,它将颠覆传统的软件使用方式,为用户带来巨大的便利。
相似点:十分便捷、智能
便捷性:两者都致力于实现一句话操作电脑,为用户带来极大的便利,让用户无需再进行复杂的软件操作流程,仅通过自然语言指令就能完成各种任务。
智能性:都具备较高的智能水平,能够理解用户的指令并转化为计算机可执行的操作。例如,Anthropic 的 Claude 可以将指令翻译成计算机指令,实在智能的 RPA-Agent 能自主拆解任务并执行。
差异点:应用功能、场景
功能侧重:Anthropic 的 Computer use 主要侧重于模拟人类操作电脑的方式,通过观看屏幕截图来实现移动光标、点击按钮、输入文本等操作。而实在智能的 RPA-Agent 则更注重将 RPA 的自动化能力与 Agent 智能体的自主决策能力融合,以 TARS 大模型为 “脑”,ISSUT 技术为 “眼”,RPA/IPA 为 “手脚”,实现超自动化。
应用场景:Computer use 在一些特定的软件开发和研究等场景中表现出色,适合开发者使用。实在智能的 RPA-Agent 应用场景更加广泛,涵盖企业办公、客户服务、金融、电商等多个领域。
未来 AI 操作电脑工具的发展趋势将呈现以下几个特点。一是智能化程度不断提高,随着人工智能技术的不断进步,AI 操作的电脑工具将变得更加智能,能够更好地理解用户的指令,处理更加复杂的任务。例如,能够准确识别用户的意图,即使是模糊的指令也能进行合理的推测和执行。二是融合更多技术,AI 操作电脑工具将与更多的技术融合,如虚拟现实、增强现实、物联网、大数据等。这将为用户带来更加沉浸式、互动式的使用体验,同时也能更好地发挥协同效应,提高工作效率。三是个性化服务,未来的 AI 操作电脑工具将更加注重个性化服务,能够根据用户的习惯和偏好进行定制化设置。例如,根据用户的工作方式和需求,自动调整软件界面和操作流程,提供更加贴心的服务。
当然,随着人们对数据安全和隐私的关注度不断提高,未来的 AI 操作电脑工具将加强安全与隐私保护措施。采用更加先进的加密技术和安全认证机制,确保用户数据的安全。同时,严格遵守相关的法律法规,保护用户的隐私权益。
原创文章,作者:志斌,如若转载,请注明出处:http://www.damoai.com.cn/archives/7680