Cloudflare дала AI-компаниям срок до 15 сентября — разделить краулеры или быть заблокированными

Компания Cloudflare, предоставляющая услуги в области интернет-инфраструктуры и безопасности, объявила о введении жёсткого дедлайна для AI-компаний: к 15 сентября 2026 года они должны разделить свои веб-краулеры на три категории — поисковые, тренировочные и агентурные. В противном случае такие «смешанные» боты будут заблокированы по умолчанию на сайтах с рекламой. Официальное заявление компании рассказывает подробности. AI Digest (ai-digest.ru) — актуальные новости, статьи и гайды об искусственном интеллекте.

Что именно изменится с 15 сентября

Начиная с указанной даты Cloudflare изменит настройки по умолчанию для всех новых клиентов, новых сайтов существующих клиентов и всех пользователей бесплатного тарифа. Смешанные краулеры, которые используют один и тот же агент одновременно для классического поиска, обучения моделей и питания AI-агентов, будут автоматически заблокированы на страницах с рекламным контентом.

Владельцы сайтов смогут вручную перенастроить разрешения, однако новые значения по умолчанию создают принципиально иную ситуацию: теперь защита от смешанных ботов включена «из коробки», а не наоборот.

Почему это важно для AI-индустрии

Согласно данным Cloudflare, боты впервые в истории обогнали человеческий трафик в интернете — эта веха ожидалась лишь в следующем году, но произошла уже сейчас. Генеральный директор и сооснователь Cloudflare Мэтью Принц (Matthew Prince) заявил, что «поскольку большинство трафика в интернете сейчас не является человеческим, необходимо действовать быстрее, чтобы устойчивая экосистема успела сформироваться».

Новые инструменты Cloudflare дают владельцам сайтов возможность видеть, какие боты их посещают, и получать за это коммерческую компенсацию. Для AI-компаний это означает, что свободный доступ к контенту для обучения моделей прекращается — придётся либо разделять краулеры, либо договариваться с издателями. Стоит учитывать, что AI-агенты уже активно меняют поисковую выдачу, и новая политика Cloudflare — часть этого тренда.

Кого это касается больше всего?

Cloudflare прямо указывает на крупнейшую поисковую систему (очевидно, Google), которая получает примерно вдвое больше информации, чем другие AI-компании, из-за того, как устроена модель дистрибуции контента. По сути, Google может обходить сайты и для поиска, и для обучения своих AI-систем, тогда как конкуренты вынуждены выбирать что-то одно.

Мелким AI-лабораториям и стартапам, которые не имеют собственной поисковой системы, придётся инвестировать в разведку и создание отдельных краулеров — это дополнительные затраты, которые усиливают и без того значительный барьер входа. Любопытно, что выбор правильного AI-агента становится всё более критичным именно из-за таких инфраструктурных ограничений.

Что дальше

В период до 15 сентября AI-компании должны определиться со своей стратегией краулинга. Ожидается, что крупные игроки начнут разделение агентов, чтобы сохранить доступ к популярным сайтам. Для рынка это может стать точкой перелома: кто-то уйдёт с рынка AI-краулинга, кто-то — заплатит издателям. В любом случае эра безвозмездного сбора данных для обучения AI подходит к концу.

Подробности новой политики Cloudflare доступны на официальном сайте компании.