macOSWindowsiOSAndroidHub
Анализ сайта → ingest
Двухфазный web ingest: сначала обнаружение страниц (robots/sitemap/crawl), затем parse только выбранных URL.
Перед началом
- Вход в аккаунт и право записи в блокнот.
- Сайт допускает обход (публичная документация/блог; уважайте robots.txt).
Шаги
- 1
Откройте Добавить источники → Websites (или панель Sources → Анализировать сайт).
- 2
Введите корневой URL (например https://docs.example.com) и нажмите Анализировать сайт.
- 3
Проверьте список страниц — заголовки, источник (sitemap/crawl), подсказка качества.
- 4
Снимите галочки с лишних страниц (логин, ассеты, дубли). Trial — до 25 страниц; Pro — до 100.
- 5
Нажмите Добавить выбранные — сервер запускает PARSE (FetchURLDocument) для каждого URL (Trial 10 / Pro 50 за batch).
- 6
Источники появятся в блокноте с meta site_analyze и ingest_phase=parse.
- 7
Альтернатива: вручную вставить список URL одного origin (site-pack) без analyze.
Частые ошибки
- Сайты с sitemap.xml обрабатываются быстрее; crawl заполняет пробелы, если sitemap пуст.
- Ссылка на справку есть в Hub Sources, модалке Add Sources и нативных листах Add Sources.
- Refresh from cloud — для источников из Drive, не для обычных URL ingest.