发布日期：2024-11-01 13:57 点击次数：153
你是个熟悉的 AI 了匿名 文爱 app，该学会我方干活了。
这也曾不是一句破梗，最近，越来越多的 AI 居品，不错让咱们的手机和电脑我方跑起来。
Anthropic 的「computer use」，像东说念主相通主管电脑，工程师让它维护点外卖，它念念考了一分钟，选拔了披萨。
荣耀的 YOYO 智能体，听到 CEO 说困了，平直在发布会现场点了一杯咖啡饮品。
智谱的 AutoGLM 期骗，更是将咱们常用的 app 杜绝后患，打车、点外卖、发微信，它都能代劳。
等等，这不是前年就火了的 agent（智能体）吗？东说念主类一句话，AI 我方干活。想法惊艳，但模子才智没跟上，渐渐就没了水花。
挖了一年的坑，本年有望填上了，以后确切不错说：听我诠释，是手机我方干的！
让 AI 代发微信、加购物车，都能用嘴说
智谱正在内测的期骗 AutoGLM，是使用门槛较低的一款 agent，也曾不错让咱们动嘴玩手机了。
你尽管谈话，AI 语音转翰墨，然后隐世无争完成任务，天然，如果不便捷谈话，也不错打字发送敕令。
先发条微信音信给好友吧，咱们几秒料理的事情，AI 花了 20 多秒。
发送微信音信
但第一次亲眼看到 AI 玩手机，真实崭新。因为「触及明锐操作」，AI 还知说念文告一下我的意见。
AutoGLM 也能发起语音通话，便是旅途有点绕。等着页面一次次跳转，老练急性子本东说念主。
发起语音通话
维护打车、购物，AutoGLM 也没问题，它还会给出追问，主动对都需求。举个例子，当我条目打车到广州南站，AutoGLM 会问我是哪个站口。
至于下单，照旧咱们我方来。你大约缅想，咱们的银行卡会不会任 AI 宰割，但 AutoGLM 不会帮你「立即打车」。
访佛的，在淘宝下单一条优衣库玄色 m 号工装裤，AutoGLM 会停留在证据订单的页面，不会代咱们支付。
在淘宝下单
一些 app 的图标、菜单、按钮，AutoGLM 用得比我都熟练。当我条目在群众点评找到海珠区三家评价最佳的披萨店，AutoGLM 听懂了，先搜索「披萨店」，然后选拔地点，按好评优先排序，临了给出了一个小结。
懂交互的 AutoGLM，也能作念一些翰墨职责，我让它找到公众号「爱范儿」最近的一篇著作，点赞并总结内容，或者在小红书找广西旅游攻略，储藏三篇并总结内容，固然速率有些慢，但每个需求都莫得蒙眬。
为公众号著作点赞和评述
这对大模子来说不算什么，要点在于，咱们不错看顺利机自主完成整个进程，AI 让你亲躯壳会「你别作念，我来作念」的霸总发言。
AutoGLM 的才智边界
面前，AutoGLM 能作念的并不算多，但如实有了 agent 的形貌，贪图任务，代东说念主类实施操作匿名 文爱 app，解决日常生计中的问题。
曩昔咱们要教长者玩手机，一步步截图并加备注、用录屏纪录操作进程，致使手绘使用说明书，但 AI 不错平直帮咱们玩手机，一步到位，若何不算一种很新的无阻挡体验？
东说念主和手机的交互，AI 要学的还有好多
天然，算作一个内测居品，AutoGLM 细则是不熟悉的。
不少放上来的例子，我其实试了好屡次才奏效，失败的原因主淌若任务中断，其中有不少失败得很搞笑的素材。
我请 AutoGLM 评述微信好友的最新一又友圈，固然完成了任务，它却保留了自证 AI 身份的发轫，措辞也满满的机器味。有些智能，但不那么多。
是以，先别指望让 AI 帮咱们一键珍重东说念主脉了，友谊的划子很难不翻。
语音识别固然便捷，但可能因为个东说念主的普通话水平所限，不够准确，比如，AutoGLM 把「爱范儿」听成了「f2」，需要手动修改。
稍许复杂的、触及多步念念考的任务，AutoGLM 可能完不成。
我让 AutoGLM 点鸡蛋瘦肉肠粉和豆乳的外卖，AI 试图添加冰冻豆乳的时刻，触发了考据码教唆，可能是平台监测到了机器东说念主行径，然后任务就终端了。
更啼笑皆非的事情发生了，它说鸡蛋瘦肉肠粉售罄了，我看了下，这家有肉蛋肠粉，差未几的商品，换个说法就不成理会了，AI 还不够变通。
在好意思团触发考据码
悉力悉力白悉力的情况也有，条目 AutoGLM 在携程找到周四广州飞北京最廉价机票，眼睁睁看着它胡乱操作一通，临了搜索到一些北京好意思食，大显示皮地说我方完成了。
最让东说念主共情 AI 的是，AutoGLM 跳不外告白弹窗，需要咱们手动操作，但哪怕咱们帮了 AI，任务也很容易中断。AI就像每个被软件开屏霸凌的用户相通，被困在告白里。
毕竟，AutoGLM 还在萌芽，问题虽多，却让咱们直不雅地看到了一种新的交互形态。
咱们早已习尚了用手指示击图标、按钮、菜单，我方完成操作，但面前，咱们不错通过天然语言、语音指示等方式，平直抒发意图，AI 自动实施操作。
从门槛较高的敕令行界面，到更直不雅的用户图形界面，再到更安妥东说念主类沟透习尚的天然语言界面，东说念主机交互的进化标的，是变得更天然。不久的将来，除了对话，说不定还不错让 AI 平直看我眼色行事。
手机的自动驾驶，唯有 AI 是不够的
让 AutoGLM 在手机跑起来，要在手机确立里授权「无阻挡」「悬浮球」等权限，它才能得到现时页面信息，与腹地期骗进行交互。
这也说明，兑现 agent，唯有大模子是不够的，AI 需要适配不同开导和期骗、得到高下文的信息，才能实施具体的操作。
兜兜转转，大模子期骗的战场，回顾了传统的平台和硬件。渠说念在那处，用户信息在那处，用户惯性在那处，他们也往那处去，智谱和荣耀融合加强端侧 AI 便是一个例子。
除了大模子公司，手机厂商也可能需要和期骗厂商搞好关系。荣耀 CEO 赵明说过，agent 不错分为两种，有些不需要第三方，比如点咖啡、打微信电话，但有些就需要介入，比如充值手机话费，调用运营商的大模子进行给与。
除了生态，agent 在本年能随处吐花，天然离不开工夫的跳动。
前年有个很火的 agent 样子 AutoGPT，不错主管电脑、上网查府上、使用第三方器具，但英伟达 AI 科学家 Jim Fan 并不看好，觉得 AutoGPT 只可解决一些浮浅的、明确的任务，这本色是因为 GPT-4 有局限性，就像莫得任何教唆词不错把 GPT-3 造成 GPT-4。
本年就不相通了，多模态大语言模子熟悉了，同期，各家厂商还在计议相干的架构，让大模子学习多半的 UI 数据，更好地理会手机和电脑屏幕。
拳交苹果在 4 月发布了多模态大语言模子 Ferret-UI 的论文，为的便是移动端。教练 Ferret-UI 时，苹果麇集了多半基础 UI 任务的教练样本，为了增强模子的推理才智，还编制了一个用于高档任务的数据集。
为什么要学习这些数据？苹果给出了几个原因：手机屏幕长宽比与大多数图像不同，图标、按钮等图像的尺寸都十分小，以及，模子需要与 app 交互，不成像诠释静态图像那样，一次性理会信息。
这样一说，现时的苹果 AI 应该仅仅前菜，siri 可能确切会迎来「史诗级更新」，而不是才智不够 GPT 来凑。
最近，Google 也传出开导 agent 的音信，样子干脆就叫贾维斯，由 Gemini 运转，不错截取屏幕截图后理会内容，将网页任务自动化，实施麇集计议、购买居品、预定航班等任务。
微软应该和 Google 很有共识，旗下 AI PC 的 Recall，亦然每隔几秒钟截取一次屏幕截图，最近还低调开源了 OmniParser，一个基于大模子的屏幕理会器具。
OmniParser，将用户界面屏幕截图理会为结构化元素
不外，agent 面前的水平，仅仅让东说念主对工夫有了实感，不成捧杀，透彻自动操作不可靠，仍然需要东说念主类下判断。
况兼，一些浮浅的操作，AI 仍然完成得很忙活，Anthropic 就真话实说，操作筹划机时，滚动、拖动、缩放，东说念主类像呼吸相通天然的事情，对 Claude 来说依然是个不小的挑战。
我也在使用 AutoGLM 时发现，跨期骗的任务完成得跌跌撞撞，让它在小红书找到一条帖子，共享连气儿给微信好友，前边很顺利，但卡在临了一步「复返小红书照旧留在微信」不升沉了，莫得像往常相通，给出「完成任务」的教唆。
小红书跳转微信
任务其实也曾完成，这一步本就不在它的指示规模之内，卡住了也无可厚非，链接学吧，学无极度。
比起「智能体」这种略显概述的翻译，以「主驾驶」理会 agent，和「copilot」（副驾驶）相对，大约会让咱们更心生期待。
汽车驾驶自动化正常分为六个级别，0-2 级为驾驶接济，3-5 级为自动驾驶，其实，agent 就像手机的「自动驾驶」。
10 月，信通院都集荣耀，为 AI 手机的智能化，提议了一个访佛驾驶自动化的分级模范，分为 L1 到 L5。
面前，agent 的水平更接近 L3，AI 助理，理会并完成用户的好多指示。
荣耀 CEO 赵明之前在发布会演示了一个场景，他对着 YOYO 智能体说：「我有些困了，帮我点杯喝的」，发问有些恍惚，但智能体不错把柄过往的纪录和话中的信息，判断他需要喝咖啡，加购物车，恭候结算证据。
但更多、更复杂的指示还待开导，更多东说念主类侵略的地点恭候摒除，达到 L4 的水平，AI 还得理会咱们的潜台词，具备一定的反念念和自我校正的才智。
L5 应该长什么形式？不错梦意想的便是漫威全国的贾维斯了，不仅仅 AI，亦然家东说念主，罢休盔甲和各式开导，时时秀出幽默感吐槽托尼，又能在钢铁侠生命攸关的时刻平缓地告诉他「先生，请深呼吸」。
毕竟，东说念主类对我方的造物总有一种情结，更懂我，更像我，致使杰出我，又赤忱于我，就像在钢铁侠问「你在吗」的时刻，贾维斯恢复得那样：「为你，先生，历久都在」 。
匿名 文爱 app
