На фоне растущей популярности генеративного ИИ и увеличивающегося спроса на данные для обучения моделей, одной из новых проблем для владельцев веб-сайтов являются боты, которые собирают контент для обучения искусственного интеллекта. Компания Cloudflare объявила о выпуске нового инструмента, который поможет бороться с такими ботами. Эта функция доступна для всех пользователей, включая тех, кто использует бесплатный тарифный план.
Что представляет собой новый инструмент?
Инструмент Cloudflare для блокировки ботов был создан с целью защиты контента сайтов от несанкционированного использования. Компания отмечает, что некоторые разработчики собирают данные без разрешения, обходя даже установленные ограничения, и не платят за использование этих данных для тренировки своих моделей ИИ.
Чтобы воспользоваться новой функцией, пользователям нужно зайти в настройки безопасности (Security) своего аккаунта на Cloudflare и перейти в раздел «Боты» (Bots). Там можно найти опцию, которая позволяет блокировать ИИ-ботов всего одним нажатием. Cloudflare утверждает, что их алгоритмы способны выявлять даже тех роботов, которые маскируются под обычных пользователей.
Как это работает?
Новый инструмент от Cloudflare автоматически обновляется, чтобы отслеживать и блокировать новых ботов, которые занимаются сбором данных для обучения ИИ. Компания регулярно анализирует трафик на своей платформе, чтобы выявлять новые типы ботов и их поведение. Это позволяет своевременно вносить изменения в алгоритмы и обеспечивать надежную защиту.
Cloudflare также создала специальную форму, через которую владельцы сайтов могут сообщить о ботах, которых не удалось остановить с помощью автоматических алгоритмов. Это позволяет компании оперативно реагировать на новые угрозы и улучшать свои защитные механизмы.
Примеры использования и статистика
Согласно данным Cloudflare, самые популярные ИИ-боты, которые совершают наибольшее количество запросов, включают Bytespider, Amazonbot, ClaudeBot и GPTBot. Например, Bytespider, управляемый китайской компанией ByteDance, используется для сбора данных для языковых моделей, таких как Doubao, аналог ChatGPT. GPTBot от OpenAI также активно собирает данные для своих продуктов, таких как ChatGPT.
Cloudflare отмечает, что многие сайты не блокируют ботов, несмотря на их активность. В июне этого года ИИ-боты получили доступ к 39% из миллиона топовых сайтов, защищенных Cloudflare, но лишь 2.98% этих сайтов предприняли меры для блокировки запросов. Чем популярнее сайт, тем больше он привлекает ботов, и тем чаще предпринимаются попытки их блокировки.
Новый инструмент от Cloudflare позволяет владельцам сайтов эффективно блокировать ботов, собирающих данные для обучения ИИ, и тем самым защищать свой контент.
- Обновления Samsung Galaxy (19 – 25 октября 2026): глобальный выпуск One UI 9.0 для Galaxy S23, Z Fold5, Z Flip5 и серии AПоследние обновления|25 окт
- Gemini 4 Carbon: что известно о новой ИИ-модели GoogleНовости|25 окт
- Драйвер GeForce 621.01 вызывает зависание видео и черный экран: NVIDIA зарегистрировала ошибкуПоследние обновления|25 окт
- Обновления Java SE: Доступны версии 27.0.1.0.3, 25.0.5.0.3 LTS, 21.0.13.0.3 LTS, 17.0.21.0.3 LTS, 11.0.33.0.3 и 8 (8u511 b33)Последние обновления|24 окт
- Google может использовать данные Gmail и Google Фото из ИИ-поиска для рекламыПоследние обновления|24 окт