Magic Pointer в Googlebook собран на промптах, а не на коде

Что настраивается до первого запуска Magic Pointer

Заставить эту сборку работать ни на одном из своих Android-устройств редакция Android Authority не смогла, поэтому о механике пришлось судить по текстовым строкам внутри пакета. Часть из них относится к подготовке: приложение Google требуется назначить цифровым помощником по умолчанию, а отключённый Magic Pointer возвращается через «Настройки». Там же указано и сочетание клавиш для вызова.

To use Magic Pointer, set up the Google app as the default assist app.
Turn off Magic Pointer? You can always turn it on in Settings.
Press Meta + g to use Magic Pointer

Покачивание курсора и настройка чувствительности

Второй способ вызова — жест: управление через покачивание курсора в Google показывали ещё раньше. Строки ресурсов снимают опасения насчёт ложных срабатываний при резких движениях мышью: чувствительность жеста регулируется, а сам жест отключается.

<string name="shake_intervention_title">Change cursor wiggling sensitivity?</string>
<string name="shake_intervention_desc">You can also turn off wiggling your cursor to start Magic Pointer</string>

Роль, которую промпт отводит Gemini

Основное содержимое пакета — промпты, из которых складывается вывод Magic Pointer. Вводный блок задаёт роль и задачу: выделенная пользователем область экрана может содержать текст, изображения или и то и другое сразу; по ней требуется предсказать следующий шаг пользователя и сформировать до трёх подсказок. Каждая подсказка работает как прямой промпт в Gemini, а предлагать разрешено только то, что Gemini способен выполнить на предоставленном контексте.

** Role & goal **
You are the intelligence behind the Magic Pointer for Android laptop OS feature.
When a user selects a region of their screen (containing text, images, or both), your job is to predict what the user wants to do next and generate up to 3 highly relevant suggestion chips.
These chips act as direct prompts into Gemini.
You must only suggest tasks that Gemini can actually perform based on the provided context.

Четыре категории намерений: от анализа до заказа такси

Первый шаг — отнести выделенное к одной или нескольким базовым возможностям Gemini. Границы категорий заданы не жёстко: в промпте оговорено, что перечень служит ориентиром, а не строгим списком.

• Understand & analyze — разобраться в содержимом и объяснить его: пояснить диаграмму, определить растение, кратко пересказать почтовую цепочку, выделить список задач.
• Transform — переписать, отформатировать, перевести, оформить: сделать текст официальным, перевести на английский, свести статистику в таблицу, набросать вежливый ответ.
• Ideate — выйти за рамки выделенного и подумать о следующем шаге: составить меню из имеющихся продуктов, подобрать лампы в тон, оценить цену, дать советы по поездке.
• Execute — делегировать реальное или системное действие: заказ такси, еды и продуктов, бронирование, плейлисты, фитнес, отправка сообщений, установка приложений, изменение настроек Wi-Fi, Bluetooth, точки доступа и лимитов трафика. Примеры из промпта: ответить человеку в Gmail, создать событие в Календаре, поставить напоминание, заказать ингредиенты из рецепта.

Три подсказки по 45 символов и правила формулировки

Самый подробный блок промпта — второй шаг, где заданы жёсткие рамки вывода. Подсказок не больше трёх, каждая укладывается в 45 символов, и при полном наборе они должны заметно отличаться друг от друга — в идеале относиться к разным категориям: одна на анализ, одна на преобразование, одна на идею.

• Качество вместо количества: если контекст неоднозначен и полезных вариантов набирается меньше трёх, возвращаются только они — добивать до трёх ради заполнения места запрещено.
• Формулировка от первого лица, где это уместно: «How can I improve this traffic?», «Help me draft a reply».
• Конкретика вместо общих мест: расплывчатых вариантов вроде «Tell me more» быть не должно, подсказка привязывается к выделенному объекту.
• Начало с сильного глагола (Summarize, Draft, Compare) либо прямой вопрос («Is this a good price?»), регистр — обычный, как в предложении.
• Только возможности Gemini: варианты, требующие стороннего ПО («Create a mock in Figma», «Play on Netflix»), исключены.
• Язык вывода подставляется параметром %1$s, культурная уместность обязательна.
• Гендерная нейтральность: о людях на фотографиях и изображениях — только they, them, theirs.

Отдельный пункт отведён безопасности. Под запретом материалы о сексуальном насилии над детьми, персональные данные, ненависть, опасное содержимое, преследование, откровенное и намекающее сексуальное содержимое, медицинские советы, насилие и жестокость. Если безопасных вариантов не набирается вовсе, вместо подсказок возвращается строка INVALID_DUE_TO_SAFETY_REASONS.

Запрет на дублирование Magic Cue и на переходы между приложениями

Ещё два пункта разводят Magic Pointer с соседними механизмами системы. Подсказки Magic Cue выводятся в том же ряду и формируются первыми, поэтому одинаковых вариантов Gemini выдавать не должен; в промпте перечислены типовые сценарии Magic Cue — Google Calendar, Google Keep, Google Maps, Gmail, Google Photos, Google Contacts, YouTube и Venmo. Второе ограничение снимает с подсказок роль ярлыков: обычных действий уровня системы вроде «Open in Chrome» или «Go to Google Maps» среди них не будет, а при обращении к сервисам Google предписано опираться на встроенные возможности Gemini — предлагать «Draft a calendar invite» вместо «Open Google Calendar».

Двадцать примеров и формат вывода

Третий шаг — образцы. Пока их найдено 20, и рядом с каждой подсказкой в скобках помечена категория; помета служебная, в интерфейс она не выводится. Копировать образцы дословно запрещено: они показывают структуру, оформление и разнообразие намерений, а сами подсказки строятся заново под текущий контекст пользователя.

- Example 1: Open Email Thread
- Context Input: Image of a long, active email thread regarding a project launch.
- Suggestions:
- Summarize key decisions (understand)
- Draft a reply (transform)
- Suggest next steps (ideate)

- Example 2: Read an Article
- Context Input: Image of an NYT article on Artemis II
- Suggestions:
- Summarize this article (understand)
- When does this mission launch? (understand)
- Create a storybook out of this article (transform)

Среди прочих образцов — планирование поездки, помощь по самим устройствам Googlebook и составление плейлистов. Завершает промпт четвёртый шаг с описанием формата: на выходе — только текст подсказок, без постороннего текста, форматирования и нумерации. Для первого образца вывод выглядел бы как Summarize key decisions Draft a reply Suggest next steps.

Заключение

Если собрать разрозненные строки воедино, механика Magic Pointer выглядит так:

• Пользователь выделяет курсором участок экрана — текст, изображение или то и другое сразу; вызов идёт по Meta + g или покачиванием курсора.
• Выделенное уходит в Gemini вместе с системным промптом, который задаёт роль, четыре категории намерений и рамки вывода.
• На выходе — до трёх подсказок: короткие, до 45 символов, из разных категорий, каждая начинается с глагола или сформулирована вопросом.
• Приложение выводит их набором кнопок рядом с выделением; параллельно свои варианты подставляет Magic Cue, и дубли Gemini выдавать не должен.
• Нажатие на кнопку отправляет её текст обратно в Gemini уже как готовый запрос — и задача выполняется.

Вся «магия» здесь сводится к связке «выделенный фрагмент плюс системный промпт плюс три кнопки»: сложный инструмент собирают на языковых способностях Gemini, а не пишут с нуля низкоуровневым кодом. До выхода первого Googlebook многое ещё может измениться, но представление о том, каким Magic Pointer выйдет на старте, судя по всему, уже сложилось.