Глава Microsoft Сатья Наделла в воскресенье, , опубликовал развёрнутую заметку, в которой ввёл понятие «обратного информационного парадокса» (Reverse Information Paradox). Суть в том, что заказчик ИИ платит дважды: деньгами за расход токенов и — незаметно для себя — собственными наработками, которые приходится раскрывать, чтобы модель отвечала точнее. По словам Наделлы, поставщики дообучают модели на «выхлопе»: промптах сотрудников, действиях агентов и особенно на исправлениях, которые пользователи вносят в неверные ответы. Каждое такое исправление превращается в институциональные знания, которые конкурент не смог бы купить, а предприятие отдаёт их поставщику модели даром.
Почему заказчик ИИ платит дважды
Наделла оттолкнулся от «информационного парадокса» нобелевского лауреата Кеннета Эрроу, сформулированного в 1962 году: продавец информации вынужден раскрыть её, чтобы убедить купить, но, раскрыв, фактически отдаёт даром. Шесть десятилетий эта проблема была заботой продавца. В эпоху ИИ, доказывает Наделла, всё перевернулось — раскрываться теперь приходится покупателю.
Вы, по сути, платите за интеллект дважды: сначала деньгами, а затем кое-чем более ценным — проприетарными знаниями, которые приходится раскрыть, чтобы этот интеллект приносил пользу. Чем лучше вы хотите, чтобы модель работала, тем больше таких знаний в неё нужно вложить.
— Сатья Наделла, глава Microsoft
Опаснее всего, продолжает он, что предприятия фактически обучают модели тонкостям собственного бизнеса. Источником такого перетока Наделла называет «выхлоп» — следы повседневной работы с ИИ. Речь о трёх вещах: промпты сотрудников выдают, над чем работает компания; исправления фиксируют, как принято делать в конкретной отрасли; а наборы оценочных тестов задают внутреннее определение качества.
«Выхлоп» и упрёк в двойных стандартах при дистилляции
Здесь же Наделла упрекает разработчиков моделей в двойных стандартах. Если ИИ-лаборатории свободно обучаются на данных всего интернета по праву добросовестного использования (fair use), то справедливо, считает он, дать и предприятиям право изучать — или «дистиллировать» — сами модели в ответ.
Дистилляция — обучение новой, зачастую более дешёвой модели на выходах другой: по её ответам восстанавливают, как она устроена, и переносят это в собственную разработку.
Инновации, которые дают провайдерам моделей право на добросовестное обучение на публичных данных, нужны. Но я нахожу ироничным, что при этом принято накладывать ограничения на дистилляцию и оставлять за собой право использовать для обучения данные о том, как клиент работает с моделью.
— Сатья Наделла
Похожий конфликт уже случался. В феврале Anthropic обвинила авторов китайских открытых моделей в том, что к Claude отправлялись миллионы промптов ради улучшения их собственных разработок, и призвала власти США ужесточить экспортный контроль. Наделла подводит к тому, что нельзя одновременно свободно обучаться на чужих данных и запрещать другим делать то же самое со своими моделями.
Пять принципов Наделлы для защиты знаний компании
Решение выдержано в духе главы крупного облачного провайдера. Наделла призывает компании сохранять за собой права на свои данные — промпты, отзывы, решения — и строить собственные среды обучения там, где эти данные и так уже хранятся. Нетрудно прочитать здесь намёк на облако Microsoft Azure. Второй призыв — выстраивать слой оркестрации, позволяющий легко переключаться между моделями разных поставщиков, а не привязываться к одной.
Слой оркестрации — промежуточный уровень между приложением и моделями, через который запросы направляются к разным поставщикам; сменить модель можно правкой одной строки, не переписывая приложение.
Рекомендации Наделла свёл к пяти принципам:
- Контроль: заводить собственные оценочные тесты, поскольку именно они задают, что в компании считается хорошим результатом, и сохранять права на память организации — трассировки, отзывы, решения — и на использование выходов модели по своим задачам.
- Возможности: строить собственные среды обучения в пределах своего контура, где модели дообучают на реальных рабочих процессах, не раскрывая знания вовне.
- Выбор: держать слой оркестрации не привязанным к конкретной модели, чтобы собственные оценочные тесты продолжали работать даже при отзыве какой-либо модели.
- Стоимость: через этот развязанный слой сочетать контекст, модели и задачи без потери качества.
- Приумножение: свести всё вместе в непрерывный цикл обучения, наращивающий отдачу от вложений в ИИ.
Сдвиг к открытым моделям на собственных серверах
Слов «открытый исходный код» Наделла не произносит, но подтекст очевиден. Крупные компании, у части которых наряду с облаком сохранились собственные дата-центры, уже переходят на открытые модели, развёрнутые на своих серверах.
Идит Левин, основательница и глава Solo.io (компания выпускает сетевое ПО и средства защиты для управления ИИ-системами), видит тот же сдвиг у своих заказчиков. После экспериментов с проприетарными моделями они, по её словам, задаются вопросом: на открытой модели, развёрнутой на собственных серверах, решается почти 90% задач большой модели, обходится это заметно дешевле, и всё остаётся под их контролем.
Технологию Solo.io в прошлом году выбрали основой для проекта Agentgateway под эгидой Linux Foundation. Среди заказчиков компании — T-Mobile, ADP и SAP. Левин считает переход на локальные открытые модели следующей крупной волной корпоративного использования ИИ.
То же видно по площадкам, которые распределяют запросы между моделями. Vercel и OpenRouter фиксируют всплеск обращений к открытым моделям: в прошлом месяце на них пришлось 29% всего трафика через шлюз Vercel. Предостеречь предприятия от проприетарных моделей открыто призвал глава Microsoft — компании, вложившейся и в OpenAI, и в Anthropic.
Заключение
Наделла переводит разговор с того, какая модель мощнее, на то, кому достаётся знание, рождённое при работе с ней. Для корпоративных заказчиков это повод пересмотреть условия использования ИИ: где хранятся промпты и исправления, кто вправе на них обучаться и насколько просто сменить поставщика модели. На практике интерес смещается к открытым моделям на собственных серверах и к инструментам, которые позволяют не зависеть от одного разработчика.
Потребляя интеллект, вы его создаёте. И созданное должно принадлежать вам.
— Сатья Наделла