Cloudflare выпустила бесплатный инструмент для защиты сайтов от ботов, собирающих данные для ИИ

На фоне растущей популярности генеративного ИИ и увеличивающегося спроса на данные для обучения моделей, одной из новых проблем для владельцев веб-сайтов являются боты, которые собирают контент для обучения искусственного интеллекта. Компания Cloudflare объявила о выпуске нового инструмента, который поможет бороться с такими ботами. Эта функция доступна для всех пользователей, включая тех, кто использует бесплатный тарифный план.

Что представляет собой новый инструмент?

Инструмент Cloudflare для блокировки ботов был создан с целью защиты контента сайтов от несанкционированного использования. Компания отмечает, что некоторые разработчики собирают данные без разрешения, обходя даже установленные ограничения, и не платят за использование этих данных для тренировки своих моделей ИИ.

Чтобы воспользоваться новой функцией, пользователям нужно зайти в настройки безопасности (Security) своего аккаунта на Cloudflare и перейти в раздел «Боты» (Bots). Там можно найти опцию, которая позволяет блокировать ИИ-ботов всего одним нажатием. Cloudflare утверждает, что их алгоритмы способны выявлять даже тех роботов, которые маскируются под обычных пользователей.

Как это работает?

Новый инструмент от Cloudflare автоматически обновляется, чтобы отслеживать и блокировать новых ботов, которые занимаются сбором данных для обучения ИИ. Компания регулярно анализирует трафик на своей платформе, чтобы выявлять новые типы ботов и их поведение. Это позволяет своевременно вносить изменения в алгоритмы и обеспечивать надежную защиту.

Cloudflare также создала специальную форму, через которую владельцы сайтов могут сообщить о ботах, которых не удалось остановить с помощью автоматических алгоритмов. Это позволяет компании оперативно реагировать на новые угрозы и улучшать свои защитные механизмы.

Примеры использования и статистика

Согласно данным Cloudflare, самые популярные ИИ-боты, которые совершают наибольшее количество запросов, включают Bytespider, Amazonbot, ClaudeBot и GPTBot. Например, Bytespider, управляемый китайской компанией ByteDance, используется для сбора данных для языковых моделей, таких как Doubao, аналог ChatGPT. GPTBot от OpenAI также активно собирает данные для своих продуктов, таких как ChatGPT.

Cloudflare отмечает, что многие сайты не блокируют ботов, несмотря на их активность. В июне этого года ИИ-боты получили доступ к 39% из миллиона топовых сайтов, защищенных Cloudflare, но лишь 2.98% этих сайтов предприняли меры для блокировки запросов. Чем популярнее сайт, тем больше он привлекает ботов, и тем чаще предпринимаются попытки их блокировки.

Новый инструмент от Cloudflare позволяет владельцам сайтов эффективно блокировать ботов, собирающих данные для обучения ИИ, и тем самым защищать свой контент.