Search & research
추출
어떤 URL이나 검색 쿼리든 깨끗한 Markdown이나 구조화된 JSON으로 바꾸세요.
extract는 페이지를 가져와 읽기 쉬운 콘텐츠로 반환합니다 — 브라우저 세션이 필요 없습니다. 단일 URL, 검색 쿼리 크롤, 사이트 전체 내보내기의 세 가지 모드로 동작합니다.
단일 URL → Markdown
omniscout extract https://example.com
omniscout extract https://example.com --format text
omniscout extract https://example.com > /tmp/page.md--format/-f | 반환값 |
|---|---|
markdown (기본값) | 깨끗하고 읽기 쉬운 Markdown |
text | 서식 없는 일반 텍스트 |
json | 구조화된 필드 (--fields 필수) |
structured | 자동 추출된 필드, --fields로 제한 가능 |
구조화된 추출
페이지 전체가 아니라 특정 필드만 가져오세요:
omniscout extract https://example.com --format structured --fields founder,pricingExa 스타일의 스키마 기반 추출을 하려면 JSON Schema를 파일이나 인라인으로 전달하세요:
omniscout extract https://stripe.com/pricing \
--schema-inline '{"type":"object","properties":{"pricing":{"type":"string"}}}'
omniscout extract https://stripe.com/pricing --schema ./schema.json--data를 붙이면 필드와 함께 전체 결과 메타데이터(캐시 상태, 타이밍, 콘텐츠 통계)가 포함됩니다.
쿼리 모드 — 검색 히트에서 추출
URL을 생략하고 --query를 전달하면 웹을 검색한 뒤 상위 히트에서 다단계 링크 크롤로 추출합니다:
omniscout extract -q "SpaceX founder" --format structured --fields founder크롤을 조정하세요:
| 플래그 | 의미 | 기본값 |
|---|---|---|
--results/-n | 검색에서 가져올 시드 URL 수 | 5 |
--depth | 링크 홉: 1 = 페이지만, 2 = 직접 링크, 3+ = 더 깊게 | URL 모드에서는 1, --query에서는 3 |
사이트 내보내기 — 사이트 전체를 하나의 파일로 크롤링
--out을 전달하면 사이트 크롤 모드가 켜집니다: OmniScout가 동일 호스트 링크를 크롤링하고 결합된 Markdown을 파일에 씁니다:
omniscout extract https://example.com --depth 2 --out /tmp/site.md| 플래그 | 의미 | 기본값 |
|---|---|---|
--max-pages | 가져올 최대 페이지 수 | 40 |
--max-links | 페이지당 따라갈 동일 호스트 링크 수 | 20 |
--concurrency | 병렬 fetch 제한 | 4 |
--include / --exclude | 유지/제외할 쉼표 구분 경로 부분 문자열 | — |
omniscout extract https://example.com --depth 2 --out /tmp/site.md \
--include blog,docs --exclude tag,author캐싱
추출된 페이지는 디스크에 캐시됩니다(cache/pages/ 아래 콘텐츠 해시). 페이지가 바뀌지 않는 한 재실행은 즉시 끝나며, --no-cache로 우회할 수 있습니다.
에이전트 팁
- 일반 Markdown으로 시작하고, 타입 있는 데이터가 필요할 때만
--fields/스키마를 사용하세요. extract출력은--json에서jq로 깔끔하게 파이프됩니다:omniscout extract https://... | jq '{title, word_count}'.- 추출이 잘 안 되는 JavaScript 위주 페이지는 브라우저를 직접 구동하세요:
browser navigate→browser extract-visible(선택적으로--schema포함) — 브라우저 자동화를 참고하세요.