Cloudflare впроваджує диференційований контроль ШІ-краулерів за призначенням (heise.de)

• Cloudflare вводить три категорії ШІ-краулерів: Search, Agent, Training
• З вересня 2026 року блокування за замовчуванням навчальних/агент-краулерів на нових доменах з рекламою
• Корпоративна база BotBase класифікує ботів та рівні використання

"Cloudflare розширює контроль над ШІ-краулерами: оператори веб-сайтів тепер можуть розрізняти та блокувати доступ за призначенням (пошук, агент, навчання). З 15 вересня 2026 року нові домени за замовчуванням блокуватимуть навчальні та агенти-краулери на сайтах з рекламою, дозволяючи краулери пошукових систем. Cloudflare також запускає BotBase, базу даних перевірених ботів з класифікаціями та рівнями використання. Функції доступні всім клієнтам, включаючи безкоштовний тариф."