Browser & Computer automation
电脑命令
通过 `omniscout computer` 子命令实现 macOS 桌面自动化。
omniscout computer 控制原生 macOS 应用、窗口、剪贴板与屏幕 — 是浏览器自动化的桌面对应部分。命令使用相同的 daemon JSON 信封与 --session 模型。
先检查支持情况:omniscout computer doctor 诊断环境,omniscout computer backend 列出可用后端。桌面自动化目前通过原生 open、AppleScript、screencapture 与剪贴板工具支持 macOS。
打开、输入、按键
omniscout computer navigate /Applications/Notes.app # app, file, dir, or URL
omniscout computer navigate "Notes" --session notes
omniscout computer type "Meeting notes" --session notes
omniscout computer key cmd+s
omniscout computer wait 300 # millisecondsnavigate打开 OS 能打开的任何东西:应用路径 / 名称、文件、目录、URL。type向当前聚焦窗口输入;key发送组合键(cmd+s、ctrl+c、cmd+space……)。wait固定休眠毫秒数 — 只建议用于动画;桌面没有 DOM 条件可等。
剪贴板与截图
omniscout computer clipboard set "Hello from Scout"
omniscout computer clipboard get
omniscout computer screenshot --out /tmp/desktop.png剪贴板往返是在桌面与 shell(或 agent)之间搬运文本的最简单方式:set,key cmd+v 粘贴,get 验证。
窗口
omniscout computer window list
omniscout computer window activate "Notes"
omniscout computer window close "Notes"先 list(标题必须匹配),再 activate 聚焦,然后输入。
UI 元素交互
如需元素级控制而非盲打,对无障碍树做 snapshot 并操作 @eN ref — 与浏览器自动化相同的模型:
omniscout computer ui snapshot
omniscout computer ui click '@e4'
omniscout computer ui drag '@e2' '@e7'
omniscout computer ui is '@e4' button完整示例
# Open Notes and type a message
omniscout computer navigate "Notes" --session notes
omniscout computer wait 300
omniscout computer type "Hello from OmniScout!" --session notes
omniscout computer key cmd+s
omniscout computer screenshot --out /tmp/notes.png --session notes云端对应
在 OmniScout Cloud 上,相同原语运行在远程 Sprite 上,通过统一会话的 computer.* 操作调用 — 见端点。
所有选项见 omniscout computer --help(以及 omniscout computer ui --help)。