Search & research
抽出
任意のURLや検索クエリをクリーンなMarkdownや構造化JSONに変換します。
extractはページを取得して読みやすいコンテンツを返します — ブラウザセッションは不要です。単一URL、検索クエリによるクロール、サイト全体のエクスポートという3つのモードで動作します。
単一URL → Markdown
omniscout extract https://example.com
omniscout extract https://example.com --format text
omniscout extract https://example.com > /tmp/page.md--format/-f | 戻り値 |
|---|---|
markdown（デフォルト） | クリーンで読みやすいMarkdownです |
text | 書式なしのプレーンテキストです |
json | 構造化フィールドです（--fieldsが必要です） |
structured | 自動抽出フィールドです。--fieldsで絞り込めます |
構造化抽出
ページ全体ではなく特定フィールドだけを取得します：
omniscout extract https://example.com --format structured --fields founder,pricingExa形式のスキーマ駆動抽出では、JSON Schemaをファイルまたはインラインで渡します：
omniscout extract https://stripe.com/pricing \
--schema-inline '{"type":"object","properties":{"pricing":{"type":"string"}}}'
omniscout extract https://stripe.com/pricing --schema ./schema.json--dataを付けると、フィールドとあわせて完全な結果メタデータ（キャッシュ状態、タイミング、コンテンツ統計）を含めます。
クエリモード — 検索ヒットを横断して抽出します
URLを省略して--queryを渡すと、Web検索して上位ヒットから多層リンククロールで抽出します：
omniscout extract -q "SpaceX founder" --format structured --fields founderクロールは以下で調整します：
| フラグ | 意味 | デフォルト |
|---|---|---|
--results/-n | 検索から取得するシードURL数です | 5 |
--depth | リンクホップ数：1＝ページのみ、2＝直接リンク、3以上＝深掘りです | URLモードでは1、--queryでは3です |
サイトエクスポート — サイト全体を1ファイルにクロールします
--outを渡すとサイトクロールモードになります：OmniScoutが同一ホストのリンクをクロールし、結合したMarkdownをファイルに書き込みます：
omniscout extract https://example.com --depth 2 --out /tmp/site.md| フラグ | 意味 | デフォルト |
|---|---|---|
--max-pages | 取得する最大ページ数です | 40 |
--max-links | ページごとにたどる同一ホストリンク数です | 20 |
--concurrency | 並列取得の上限です | 4 |
--include / --exclude | 保持／除外するパスの部分文字列（カンマ区切り）です | — |
omniscout extract https://example.com --depth 2 --out /tmp/site.md \
--include blog,docs --exclude tag,authorキャッシュ
抽出済みページはディスクにキャッシュされます（cache/pages/配下でコンテンツハッシュ管理）。ページが変わらない限り再実行は即時完了します。--no-cacheでバイパスできます。
エージェント向けヒント
- まずは素のMarkdownから始めます。型付きデータが必要な場合にのみ
--fieldsやスキーマを使います。 extractの出力は--jsonでjqにきれいにパイプできます：omniscout extract https://... | jq '{title, word_count}'。- JavaScriptの多いページで抽出がうまくいかない場合は、代わりにブラウザを操作します：
browser navigate→browser extract-visible（任意で--schema付き） — ブラウザ自動化をご覧ください。