web-archive
Common Crawl (CDX index)
Некоммерческий проект, который обходит открытый веб в петабайтных масштабах и публикует всё собранное: около 2,2 миллиарда страниц на обход, причём новые обходы выходят регулярно. У каждого обхода есть бесплатный индексный API без ключа, который сообщает, был ли URL сохранён и когда, после чего сохранённое содержимое страницы можно выгрузить из публичного набора данных. Это серия снимков обхода, а не архивация по запросу, поэтому сервис подходит для проверки того, как выглядел сайт в последних окнах обхода, или для массовых веб-исследований.
Чем полезен и как работает
Common Crawl: лучший ресурс, когда нужно узнать, попал ли URL в один из недавних широких обходов открытого веба, или когда вы ведёте массовое исследование сразу по множеству сайтов. Каждый ежемесячный обход публикует бесплатный индексный API без ключа: вы передаёте URL, а он сообщает, был ли адрес сохранён и когда, а также даёт указатель на сохранённое содержимое в публичном наборе данных. Поскольку это серия периодических снимков обхода, а не архивация по запросу, сервис подходит для проверки состояния сайта в последние месяцы, а не для получения произвольных исторических версий.
Что внутри
Каждый обход охватывает примерно 2,2 миллиарда веб-страниц. Обход за апрель 2026 года (CC-MAIN-2026-17) содержит около 2,19 миллиарда страниц и 379 терабайт несжатого содержимого. Совокупный архив всех обходов с 2008 года превышает 300 миллиардов страниц.
Доступ по API
https://index.commoncrawl.org/CC-MAIN-2026-25-index?url= <url>&output=json ; collection list https://index.commoncrawl.org/collinfo.json ; WARC on s3://commoncrawl/ and https://data.commoncrawl.org/
Что мы измерили
Наши собственные замеры, а не заявления архива. Перепроверяются периодически; у каждого показателя стоит дата.
Доступность
- Прямой запрос
- Ответил HTTP 200 827 мс
- Через датацентр-прокси
- Ответил HTTP 200 869 мс
- API, напрямую
- Ответил HTTP 200 487 мс
- API, через прокси
- Ответил HTTP 200 784 мс
Вернул ли реальный поиск хоть что-то?
Вернул результаты · 20 результатов на тестовый запрос · медиана 1,2 с · стабильно от прогона к прогону
Тестовый запрос: https://www.example.com/
Покрытие на бенчмарке
Нашёл 7 из 10 тестовых объектов (70%) в кластере Веб-страницы и сайты. Медиана ответа 434 мс.
По известности объекта: 3/3 широко известных, 2/4 средних, 2/3 малоизвестных .
Доступность измерена 2026-08-22. Поиск проверен 2026-08-22. Прогон бенчмарка 2026-08-22.
Доступ
Программный доступ через API (может потребоваться ключ, см. метку API).