Common Crawl index (покрытие индексации, index.commoncrawl.org)
Краул
URL проиндексировано
Статусы
17
0
—
21
ошибка (HTTP 504)
—
25
0
—
30
0
—
Moz Link Explorer
Ключ: настроен (~/.config/claude-seo/backlinks-api.json), но на момент прогона 2026-08-06 аккаунт вернул insufficient-quota (квота исчерпана) — данные DA/PA/ссылки не получены.
После сброса квоты (месячный период): запросить метрики заново.
Common Crawl Web Graph (PageRank)
Ранги-файл графа ~2.4 ГБ, рёбра ~17-25 ГБ — скачивание нецелесообразно для точечной проверки.
Альтернатива (в пайплайне): commoncrawl_graph.py имеет лимит 500 МБ стрима и не находит домены. Использовать только для массового прогона по всем доменам рынка.
Дропы и линкбилдинг (expireddomains.net)
API нет. Парсер scripts/expired_domains_scraper.py работает (колонки: бэклинки Majestic, domainpop, год в архиве, статусы TLD).
Поиск по ключевым словам ниши — только в member-режиме (бесплатная регистрация).
Дефолтные листинги забиты спам-доменами (.cn) — фильтр ниши дал 0 совпадений в выборке 221 дропа.
Для мониторинга дропов ниши: запускать скрейпер ежедневно и фильтровать по TLD/ключевым словам.
Ограничения источников
Moz: квота исчерпана (403 insufficient-quota).
Common Crawl index: сервер периодически блокирует по IP после ~100 запросов — нужны паузы.
Common Crawl Web Graph: файлы графа 2-25 ГБ — не практично.
Bing Webmaster: ключ не настроен.
DataForSEO / Ahrefs / Semrush: платные, не подключены.