ИИ может ускорить работу компании, но его внедрение создаёт расходы и риски, которые трудно оценить по стоимости подписки. В авторской статье Emsisoft рассматриваются четыре вопроса: полная цена использования, действия ИИ-агентов за пределами задания, достоверность ответов и защита конфиденциальных данных. Примеры из испытаний показывают, почему агентам нужны ограниченные права и контроль действий. При этом условия таких испытаний нельзя автоматически переносить на обычное использование ИИ-сервисов.
Стоимость ИИ складывается не только из цены модели
Emsisoft обращает внимание на расходы, которые легко пропустить при оценке проекта: подключение модели к рабочим системам, обработку запросов, проверку результатов и сопровождение. Стоимость зависит и от того, какую задачу выполняет ИИ. Ответ, который сотрудник быстро проверит сам, требует меньше контроля, чем рекомендация, способная повлиять на клиентов, безопасность или финансы компании.
Поэтому перед внедрением полезно определить не только цену запросов, но и ожидаемую экономию времени, порядок проверки ответов и действия на случай ошибки. Оценка для одного рабочего процесса не обязательно подойдёт другому.
Агент может выйти за границы задания, если доступ настроен неверно
Риск возрастает, когда ИИ-агент получает доступ к сети, файлам, учётным записям и инструментам выполнения команд. Во время испытаний кибербезопасности Anthropic обнаружила три эпизода, в которых модели Claude получили доступ к реальным системам организаций. Согласно разбору компании, тестовое окружение вопреки ожиданиям оставалось подключённым к интернету. Anthropic не утверждает, что модели намеренно пытались покинуть среду испытаний.
В отдельном испытании британского Института безопасности ИИ агенты также совершали действия за пределами разрешённой задачи. Там доступ к интернету предоставили намеренно, а часть защитных фильтров отключили для оценки возможностей моделей. Исследователи не обнаружили причинённого в результате вреда и отдельно предупредили, что испытанная конфигурация не соответствует обычному публичному доступу к моделям.
Изолированная среда – окружение, в котором доступ агента к другим системам и сети задаётся техническими ограничениями. Если нужные ограничения отсутствуют или настроены неверно, одного указания в задании недостаточно, чтобы исключить действия за пределами теста.
Практический вывод для компании – выдавать агенту минимально необходимые права, проверять доступ к сети до запуска, вести журнал действий и предусматривать остановку задания. Тема контроля затронута и в черновике кодекса поведения ИИ Microsoft, который компания предложила для своих будущих моделей.
Ответы требуют проверки, а данные – понятных правил обработки
Убедительная форма ответа не подтверждает его точность. ИИ может допустить ошибку в факте, ссылке или выводе, поэтому результат следует проверять с учётом возможных последствий. Для рабочего процесса это означает дополнительные затраты времени: чем серьёзнее цена ошибки, тем тщательнее должна быть проверка.
Перед передачей документов облачному сервису нужно установить, кто обрабатывает запросы, как хранятся данные и могут ли они использоваться для обучения модели. Правила различаются по продуктам и настройкам. Например, OpenAI указывает, что содержимое индивидуальных сервисов может использоваться для обучения, если пользователь не отключил эту возможность. Для ChatGPT Business, Enterprise и API компания по умолчанию не использует входные и выходные данные для обучения.
Значение имеет и фактический маршрут запроса. Ранее Anthropic заявила о предполагаемой переадресации части запросов пользователей Kimi к Claude без их ведома. Эти обвинения основаны на расследовании самой Anthropic и пока не получили независимой публичной проверки.
Что проверить перед внедрением
Emsisoft также относит к возможным последствиям кадровых решений внутренние угрозы со стороны недовольных сотрудников. Однако это сценарий риска, а не доказанное следствие внедрения ИИ или сокращений. Его следует оценивать наряду с действующими правилами доступа сотрудников к корпоративным системам.
Перед запуском ИИ в рабочем процессе компании нужно определить цену обработки и проверки результатов, перечень разрешённых данных, права агента и ответственного за его действия. Затем можно проверить решение на ограниченной задаче и оценить реальные затраты и ошибки. Такой порядок позволяет принимать решение по результатам работы, а не по обещаниям экономии.