Mirasim 文档

第 19 章

Computer Use

让会话里的智能体在浏览器或电脑应用里替你打开页面、点击、输入,再核对结果。

能做什么

Computer Use 是会话里的智能体可以调用的一个工具:看页面或窗口、点击、输入、滚动,再截图核对结果。你照常在会话里说要做什么,什么时候用它由智能体自己决定。它用的是这个会话已经在用的模型和账号。

  • 检查它刚做好的网页:打开、点一遍,哪里不对就接着改。
  • 在你登录了的网站上查东西、填表。
  • 操作没有接口的电脑应用。

打开 Computer Use

  1. 打开设置

    左下角头像菜单 ›「插件」›「Computer Use」。

  2. 打开总开关

    新装时这里全部关着。总开关关着的时候,智能体根本拿不到这个工具。

  3. 打开要用的连接

    每种浏览器连接、每类应用各有一个开关,见下文。

  4. 在会话里说要做什么

    例如:「打开你刚做好的页面,看看注册表单能不能用。」

设置 › 插件 › Computer Use
设置 › 插件 › Computer Use:总开关和操作预览,三种浏览器连接,以及 macOS 应用控制。

三种浏览器连接

内嵌浏览器
工作台里打开的网页,比如会话旁边预览你正在跑的页面。不用装任何东西。有的空间不支持,会写「这个空间暂不支持」。
独立浏览器
单独的一个 Chrome 或 Chromium,有自己的数据目录和登录状态。「管理」里可以设浏览器和数据目录;「复制你的登录」把你选的 Chrome 配置里的 cookie、保存的密码和书签复制一份过去。这是一次性的快照,之后新登录的网站要点「更新登录」;你正在用的 Chrome 不受影响。
浏览器扩展
智能体直接在你正在用的浏览器里操作,用的是它现有的登录。从 Chrome 应用商店装一次 Mirasim 浏览器扩展,之后会自动连上;第一次打开这个开关时会请你确认。智能体新开的标签页都放在「mirasim」标签组里,要关你自己的标签页之前会先问你,操作期间浏览器会显示正在调试的提示。

三种可以同时打开,各自的登录状态互不影响,智能体每次调用时自己选用哪一种。

「自动清理标签页」:打开时,智能体用完会关掉自己开的标签页;默认关闭,标签页留着给你查看或接手。等你操作的页面(登录、验证)一律留着。

电脑应用

macOS 应用
打开「应用控制」后,智能体直接读取和操作 Mac 上的应用,不再一个个询问;Mirasim 自己的窗口除外。「管理」里检查需要的系统权限:「辅助功能」用来读取和操作控件,「屏幕录制」用来截图和操作预览。点「去授权」打开系统设置,回来后会自动重新检测。
Windows 应用
打开「应用控制」后,智能体可以读取和操作 Windows 应用。每次操作都会把那个窗口切到前台,用的是真实的鼠标和键盘,所以默认关闭,要你自己打开。
Electron 应用
开了渲染进程调试端口的 Electron 应用也能操作:带上调试端口启动它,再把地址告诉智能体。

操作预览

打开「操作预览」,智能体操作时可以在一个单独的小窗里看实时画面。预览只能看、不能点。关掉小窗只是不看了,智能体照样在做;要让它停下,停掉会话的这一轮。

哪些事由你决定

  • 新装时全部关闭,每一种连接都要你自己打开。
  • 浏览器扩展第一次打开时要你确认。
  • 只有你点了「复制你的登录」,独立浏览器才有你的登录;「清除副本」可以删掉。
  • 智能体要关你自己开的标签页,会先问你。
  • 关掉总开关,所有智能体立刻都用不了这个工具。
在终端里看和改这些开关
mirasim ui-cli --port 4970 computer-use                         # what is on, and each connection's state
mirasim ui-cli --port 4970 config set computerUse.enabled=true

这一页有错或缺了什么? 告诉我们