Microsoft рассказала, как работает Recall — ИИ-функция для записи всех действий пользователя в Windows 11

2024-05-22 2913 комментарии
Microsoft рассказала подробности о новой функции Recall для Windows 11 на конференции Build 2024. Эта ИИ-технология записывает действия пользователя и позволяет возвращаться к ним через приложения, используя локальные ИИ-модели и Windows Semantic Index

Краткая cводка

  • Компания Microsoft подробно рассказала о новой технологии Windows Copilot Runtime и Semantic Index на конференции Build 2024.
  • Эти технологии являются основой для многих новых ИИ-решений, анонсированных для Windows 11, включая Recall.
  • Windows Recall — это ключевая ИИ-функция, которая использует локальные ИИ-модели.
  • Разработчики приложений могут подключиться к Windows Recall, чтобы позволить пользователям возвращаться к своим приложениям на основе данных, сохраненных Recall.

На конференции Build 2024 Microsoft предоставила подробную информацию о том, как новая функция Windows Recall будет работать на ПК Copilot+, используя Windows Semantic Index и Windows Copilot Runtime. Также были описаны способы, как разработчики приложений могут улучшить свои приложения для лучшей работы с Windows Recall, поддерживая создание более бесшовного взаимодействия между снимками, захваченными Recall, и сторонними приложениями.

Разработчики приложений смогут подключаться к интерфейсам Recall, чтобы обеспечить более бесшовное взаимодействие между «снимком» и приложением.

Новая библиотека Windows Copilot включает набор API, которые поддерживаются более чем 40 ИИ-моделями и алгоритмами на устройстве, встроенными прямо в Windows. Эта библиотека обеспечивает работу многих новых ИИ-функций в Windows, включая Studio Effects, автоматические субтитры, OCR в «Ножницах» и новую функцию Windows Recall.

Microsoft заявляет, что Recall будет автоматически работать во многих приложениях, но разработчики могут улучшить этот опыт, добавляя контекстную информацию в основную векторную базу данных через User Activity API. Это позволит Recall возвращаться к ранее захваченной части приложения, создавая более бесшовный опыт.

Microsoft PowerPoint и Teams стали первыми приложениями Microsoft, поддерживающими новый поток. Среди сторонних приложений в качестве примера был приведен графический редактор для создания эскизов Concepts.

Microsoft описала, как на самом деле работает функция Windows Recall:

База данных Recall поддерживается Windows Semantic Index, новой возможностью ОС, которая переопределяет поиск в Windows. Recall основан на нескольких современных ИИ-моделях, включая мультимодальные SLM, работающие одновременно и интегрированные в саму ОС.

Эти модели понимают различные виды контента и работают на нескольких языках, чтобы организовать огромное количество информации от текста до изображений и видео. Эти данные преобразуются и хранятся в векторном хранилище, называемом Windows Semantic Index. Семантический индекс хранится полностью на локальном устройстве пользователя и доступен через поиск на естественном языке. Эта глубокая интеграция обеспечивает уникально надежный подход к конфиденциальности, так как данные не покидают локальное устройство.

Microsoft подчеркивает, что этот опыт полностью обрабатывается на устройстве. Данные, обработанные Recall, не отправляются на облачные сервера, и Microsoft не обучает ИИ-модели на данных, сгенерированных Recall.

© . По материалам Windows Central
Комментарии и отзывы

Нашли ошибку?

Новое на сайте