“AI操控破解崩铁清，NUS论文解析技术奥秘”

新加坡国立大学的研究团队最近对人工智能在电脑操控领域的应用进行了深入探索，测试了其在多种场景下的表现。其中，最引人注目的成果是AI可以自主完成手游《崩坏：星穹铁道》的日常任务，这对于广大玩家来说无疑是一个巨大的福音。

研究团队选择了《崩坏：星穹铁道》作为测试对象，通过语音指令“帮我完成今天的模拟宇宙”，AI助手Claude能够迅速进入游戏，找到任务界面“黄金花萼”，并自动设置6次挑战次数。更令人惊叹的是，Claude还能启动自动战斗，并在战斗结束后优雅地退出，整个过程流畅得如同行云流水。

值得一提的是，这并非简单的机械操作。Claude能够智能理解游戏规则和目标，根据游戏界面上的不同任务进行调整。这一成就标志着AI电脑操控技术迈出了重要的一步，也让人类玩家对未来的游戏体验充满了期待。

除了游戏场景，研究团队还对Claude在办公场景下的能力进行了测试。结果显示，Claude能够成功在Amazon和Apple官网上完成购物任务，包括选择颜色配置、填写地址等。在Apple Music中添加歌曲、编辑Excel数据、在App Store安装应用等自动任务也难不倒它。即便是界面设计和跳转逻辑更为复杂的场景，Claude也能智能地理解任务目标，展现出其强大的AI能力。

此外，Claude还能在Outlook中转发邮件、调整Word布局、设置PowerPoint背景和插入图形等，极大地提升了办公效率。

在游戏领域，除了《崩坏：星穹铁道》，Claude还能自主操控《炉石传说》，包括创建和重命名牌组、使用英雄技能等。

Claude电脑操控的背后，是一个基于其API设计的自动化GUI框架。该框架主要分为六个部分：系统提示、状态观察、推理范式、工具使用、GUI动作空间和历史视觉上下文维护。

为了更全面地测试Claude的能力，研究团队设计了详尽的测试实验。实验内容包括网页搜索、工作流程、办公生产力和视频游戏等多个领域。尽管在复杂网页操作和办公软件应用中，Claude偶尔会遇到一些挑战，但总体表现仍然十分出色。

新加坡国立大学的研究成果为AI电脑操控领域带来了新的启示。未来，我们期待看到更多类似于Claude的AI助手，在更多场景下展现出其强大的能力，为我们的生活带来便利。