コンピューターコマンド

`omniscout computer`サブコマンドによるmacOS向けデスクトップ自動化。

omniscout computerはネイティブmacOSアプリケーション、ウィンドウ、クリップボード、画面を操作します — ブラウザ自動化のデスクトップ版です。コマンドは同じdaemon JSONエンベロープと--sessionモデルを使います。

最初に対応を確認します：omniscout computer doctorで環境を診断し、omniscout computer backendで利用可能なバックエンドを一覧表示します。デスクトップ自動化は現在、ネイティブopen、AppleScript、screencapture、クリップボードツール経由でmacOSに対応しています。

開く、入力、キー

omniscout computer navigate /Applications/Notes.app   # app, file, dir, or URL
omniscout computer navigate "Notes" --session notes
omniscout computer type "Meeting notes" --session notes
omniscout computer key cmd+s
omniscout computer wait 300                            # milliseconds

navigateはOSが開けるものなら何でも開きます：アプリのパス／名前、ファイル、ディレクトリ、URLです。
typeは現在フォーカス中のウィンドウに入力します。keyは組み合わせ（cmd+s、ctrl+c、cmd+spaceなど）を送信します。
waitは固定ミリ秒スリープします — アニメーション向けにのみ使い分けます。デスクトップにDOM条件はありません。

クリップボードとスクリーンショット

omniscout computer clipboard set "Hello from Scout"
omniscout computer clipboard get
omniscout computer screenshot --out /tmp/desktop.png

クリップボードの往復はデスクトップとシェル（またはエージェント）間でテキストを移動する最も簡単な方法です：設定し、key cmd+vで貼り付け、getで検証します。

ウィンドウ

omniscout computer window list
omniscout computer window activate "Notes"
omniscout computer window close "Notes"

最初に一覧表示し（タイトルは一致必須）、入力の前にactivateでフォーカスします。

UI要素の操作

盲目的に入力する代わりに要素単位で操作する場合は、アクセシビリティツリーを取得して@eN refで操作します — ブラウザ自動化と同じモデルです：

omniscout computer ui snapshot
omniscout computer ui click '@e4'
omniscout computer ui drag '@e2' '@e7'
omniscout computer ui is '@e4' button

完全な実例

# Open Notes and type a message
omniscout computer navigate "Notes" --session notes
omniscout computer wait 300
omniscout computer type "Hello from OmniScout!" --session notes
omniscout computer key cmd+s
omniscout computer screenshot --out /tmp/notes.png --session notes

クラウド相当機能

OmniScout Cloudでは、統合セッション上のcomputer.*アクションで同じプリミティブをリモートSprite上で実行します — エンドポイントをご覧ください。

すべてのオプションはomniscout computer --help（およびomniscout computer ui --help）をご覧ください。