Cloudflare объявила новую настройку Disallow AI Training. С ней сайт остаётся в поисковом индексе, а тот же краулер не может обучаться на его контенте. По словам компании, Apple, Google и Microsoft уже соблюдают эту настройку или обязались соблюдать её в определённый срок.[1][2]
Настройка есть только в категории Training, для Search и Agent её нет. В режиме Disallow AI Training краулеры смешанного назначения со статусом Accountable остаются разрешены для поиска. Чтобы получить этот статус, оператор должен гарантировать, что отказ от обучения ИИ не повлияет на обычную поисковую выдачу. Остальные обучающие краулеры в этом режиме блокируются, в том числе чисто обучающие краулеры Amazon, Anthropic, Meta и OpenAI. Их блокировка, по словам Cloudflare, на поиск не влияет.[3][4][5]
Изменились и прежние режимы. Block и «Block on pages with ads» теперь распространяются на все обучающие краулеры, включая краулеры смешанного назначения. Раньше они на такие краулеры не действовали, потому что блокировка могла задеть поиск. Режим Block блокирует все краулеры, в том числе смешанного назначения.[6][7]
С 15 сентября 2026 года новые домены на Cloudflare получают обновлённые настройки по умолчанию: боты Training и Agent блокируются на страницах с рекламой, а Search остаётся разрешён. Управлять ИИ-краулерами по их поведению на сайте компания позволяет всем клиентам, включая тариф Free. По данным Cloudflare, поисковых ботов блокируют менее 1% её сайтов, а 17% включают какой-либо механизм блокировки обучения.[8][9][10]
Автор статьи на Хабре разобрал исследование Seensure по 1 046 сайтам. После обновления запросы от имени обучающих ботов стали блокировать чаще, а от имени поисковых реже. По оценке самого автора, тест шёл с подставленными именами ботов и поэтому не доказывает доступ настоящих краулеров. Реальный доступ, по его мнению, нужно проверять по логам.[11][12]
К началу следующего года Cloudflare ставит целью дать сайтам возможность задавать долю своего контента в ИИ-сводках один раз в Cloudflare, а не с каждым оператором отдельно.[13]
По материалам
Текст составлен ИИ по материалам ниже и не содержит фактов, которых нет в источниках.
Today, Cloudflare is announcing a new Disallow AI Training setting that lets you easily stay indexed for search while refusing to let that same crawler train on your content.
Every other training crawler is blocked, including the training-only crawlers run by Amazon, Anthropic, Meta, and OpenAI — blocking those does not affect search.
Now that we have the new Disallow AI Training setting, Block and “Block on pages with ads” apply to all training crawlers, including mixed-use crawlers.
Starting September 15, 2026, new domains onboarding to Cloudflare receive updated defaults: Bots classified as Training or as Agent are blocked on pages that display ads, while Search remains allowed.
less than 1% of Cloudflare sites choose to block Search bots. Training, however, is a different story: 17% of sites choose to enable some mechanism to block training.
By early next year, our goal is to let you control how much of your content is included — set once on Cloudflare, rather than with each operator separately.
