Grok для iPhone получил функцию «зрения»: ИИ-помощник описывает объекты через камеру

xAI продолжает активно развивать своего ИИ-помощника Grok, и на этот раз в приложении Grok для iPhone появилась функция «зрения». Теперь Grok в голосовом режиме может использовать камеру iPhone, чтобы «видеть» окружающий мир и описывать увиденное голосом.

Для этого в приложении достаточно нажать на чёрный значок справа от поля ввода, чтобы перейти в режиме голосового ассистента "Assistant". Если включить камеру и навести на предмет — Grok сразу комментирует, что перед ним. Пока функция работает в режиме предварительного тестирования и активно дорабатывается, но уже сейчас доступна всем пользователям, в том числе без подписки.

Как это работает

Функция «зрения» встроена в голосовой режим Grok, который уже позволяет выбирать стиль общения с ИИ. Например, Grok может быть «романтичным», «гением» или «не в себе» — последний вариант доступен только подписчикам тарифа Premium+, и именно он позволяет ассистенту выражаться нецензурно или даже отказываться от общения.

Grok описывает, что «видит» через камеру, а пользователи могут вести диалог голосом, как с настоящим ассистентом.

Встроенные в Grok голоса — женский Ara и мужской Rex — делают взаимодействие с ИИ ещё более живым. Однако стоит учитывать, что в голосовом режиме пока нельзя задавать пользовательские инструкции, поэтому полная настройка поведения ассистента недоступна.

Примеры использования

• Пользователи уже демонстрируют в соцсетях, как Grok помогает в ремонте автомобиля, распознавая и описывая детали.
• Другие просят ИИ определить свежесть овощей — камера передаёт изображение, а Grok анализирует его и отвечает голосом.
• Некоторые замечают перебои в работе функции из-за высокой нагрузки на сервера, что неудивительно на этапе тестирования.

Что дальше?

Пока Grok умеет только озвучивать то, что «видит» через камеру, но в будущем планируется внедрение полноценного ИИ-анализа изображений, что расширит возможности помощника — от распознавания объектов до объяснения контекста сцен.

Функция уже встроена в последнюю версию приложения xAI Grok для iPhone и, судя по активности разработчиков xAI, скоро станет полноценной частью голосового интерфейса.