Команды компьютера

omniscout computer управляет нативными приложениями macOS, окнами, буфером обмена и экраном — десктопный аналог Автоматизации браузера. Команды используют тот же JSON-конверт daemon и модель --session.

Сначала проверьте поддержку: omniscout computer doctor диагностирует окружение, а omniscout computer backend показывает доступные бэкенды. Автоматизация рабочего стола пока поддерживает macOS через нативные open, AppleScript, screencapture и инструменты буфера обмена.

Открытие, ввод, клавиши

omniscout computer navigate /Applications/Notes.app   # app, file, dir, or URL
omniscout computer navigate "Notes" --session notes
omniscout computer type "Meeting notes" --session notes
omniscout computer key cmd+s
omniscout computer wait 300                            # milliseconds

• navigate открывает всё, что может открыть ОС: пути/имена приложений, файлы, каталоги, URL.
• type печатает в текущее фокусное окно; key отправляет комбинации (cmd+s, ctrl+c, cmd+space, …).
• wait спит фиксированное число миллисекунд — используйте только для анимаций; DOM-условий на десктопе нет.

Буфер обмена и скриншоты

omniscout computer clipboard set "Hello from Scout"
omniscout computer clipboard get
omniscout computer screenshot --out /tmp/desktop.png

Круговые trips буфера обмена — простейший способ перемещать текст между десктопом и шеллом (или агентом): установите, вставьте через key cmd+v, получите для проверки.

Окна

omniscout computer window list
omniscout computer window activate "Notes"
omniscout computer window close "Notes"

Сначала список (названия должны совпадать), затем фокус через activate перед вводом.

Взаимодействие с элементами UI

Для элементного управления вместо слепого ввода сделайте snapshot accessibility-дерева и действуйте по @eN refs — та же модель, что в автоматизации браузера:

omniscout computer ui snapshot
omniscout computer ui click '@e4'
omniscout computer ui drag '@e2' '@e7'
omniscout computer ui is '@e4' button

Полный пример

# Open Notes and type a message
omniscout computer navigate "Notes" --session notes
omniscout computer wait 300
omniscout computer type "Hello from OmniScout!" --session notes
omniscout computer key cmd+s
omniscout computer screenshot --out /tmp/notes.png --session notes

Облачный эквивалент

В OmniScout Cloud те же примитивы работают на удалённом Sprite через действия computer.* на единой сессии — см. Endpoints.

См. omniscout computer --help (и omniscout computer ui --help) для всех опций.