Cloudflare voert gedifferentieerde controle van AI-crawlers in per doel (heise.de)

• Cloudflare introduceert drie AI-crawler categorieën: Search, Agent, Training
• Vanaf sept 2026 standaard blokkade van trainings-/agentcrawlers op nieuwe domeinen met advertenties
• Zakelijke BotBase-database classificeert bots en gebruiksniveaus

"Cloudflare breidt de controle over AI-crawlers uit: websitebeheerders kunnen toegang nu onderscheiden en blokkeren op basis van doel (zoeken, agent, training). Vanaf 15 september 2026 blokkeren nieuwe domeinen standaard trainings- en agentcrawlers op sites met advertenties, terwijl zoekmachinecrawlers worden toegestaan. Cloudflare introduceert ook BotBase, een database van geverifieerde bots met classificaties en gebruiksniveaus. De functies zijn beschikbaar voor alle klanten, inclusief het gratis abonnement."