В последние годы с технологическим развитием искусственного интеллекта возрос интерес к защите персональной информации и контента, который выкладывается в интернет. Например, в апреле 2023 года крупные ресурсы, такие как Stack Overflow и Reddit, заявили о намерении взимать плату с компаний, использующих данные их форумов для обучения больших языковых моделей.
Теперь OpenAI, разработчик популярного языкового моделирования ChatGPT, предоставил владельцам сайтов инструменты для контроля доступа их ресурсов к индексации.
Что такое GPTBot?
GPTBot – это веб-краулер, поисковый робот от OpenAI. Веб-краулеры – это программы, которые автоматически просматривают и анализируют содержимое веб-страниц.
User agent GPTBot выглядит так:
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.0; +https://openai.com/gptbot)
Страницы, которые GPTBot просматривает, могут быть использованы для улучшения моделей AI, исключая контент, который нарушает политику OpenAI.
Как закрыть свой сайт от GPTBot?
Для блокировки доступа GPTBot к вашему сайту необходимо добавить следующие строки в файл robots.txt вашего сайта:
User-agent: GPTBot Disallow: /
Если вы хотите разрешить GPTBot доступ к определенным частям вашего сайта, используйте следующий код:
User-agent: GPTBot Allow: /directory-1/ Disallow: /directory-2/
Также, заблокировать доступ к вашему сайту можно посредством IP-адресов, которые размещены в документе поддержки на сайте OpenAI.
Почему это важно?
Контроль доступа к содержимому вашего сайта не только поможет защитить вашу информацию от использования, но также дает возможность участвовать в формировании и обучении моделей искусственного интеллекта на вашем контенте.
Благодаря инструментам, предоставляемым компаниями, такими как OpenAI, владельцы сайтов могут лучше контролировать, как их контент используется в интернете.
Последние статьи #Windows
• Обновление KB5046714 (Build 19045.5194) Preview для Windows 10, версия 22H2
• Обновление KB5046732 (Build 22631.4534) Preview для Windows 11, версия 23H2
• Обновление KB5046740 (Build 26100.2448) Preview для Windows 11, версия 24H2
• Microsoft сегодня удаляет функцию «Аркада» из Microsoft Store для Windows 11 и Windows 10
• Официальные ISO-образы Windows 11, версия 24H2 доступны для чистой установки ОС
• Официальные ISO-образы Windows 11 на ARM стали доступны для загрузки с сайта Microsoft