Краткая cводка
- Компания Microsoft подробно рассказала о новой технологии Windows Copilot Runtime и Semantic Index на конференции Build 2024.
- Эти технологии являются основой для многих новых ИИ-решений, анонсированных для Windows 11, включая Recall.
- Windows Recall — это ключевая ИИ-функция, которая использует локальные ИИ-модели.
- Разработчики приложений могут подключиться к Windows Recall, чтобы позволить пользователям возвращаться к своим приложениям на основе данных, сохраненных Recall.
На конференции Build 2024 Microsoft предоставила подробную информацию о том, как новая функция Windows Recall будет работать на ПК Copilot+, используя Windows Semantic Index и Windows Copilot Runtime. Также были описаны способы, как разработчики приложений могут улучшить свои приложения для лучшей работы с Windows Recall, поддерживая создание более бесшовного взаимодействия между снимками, захваченными Recall, и сторонними приложениями.
Новая библиотека Windows Copilot включает набор API, которые поддерживаются более чем 40 ИИ-моделями и алгоритмами на устройстве, встроенными прямо в Windows. Эта библиотека обеспечивает работу многих новых ИИ-функций в Windows, включая Studio Effects, автоматические субтитры, OCR в «Ножницах» и новую функцию Windows Recall.
Microsoft заявляет, что Recall будет автоматически работать во многих приложениях, но разработчики могут улучшить этот опыт, добавляя контекстную информацию в основную векторную базу данных через User Activity API. Это позволит Recall возвращаться к ранее захваченной части приложения, создавая более бесшовный опыт.
Microsoft PowerPoint и Teams стали первыми приложениями Microsoft, поддерживающими новый поток. Среди сторонних приложений в качестве примера был приведен графический редактор для создания эскизов Concepts.
Microsoft описала, как на самом деле работает функция Windows Recall:
База данных Recall поддерживается Windows Semantic Index, новой возможностью ОС, которая переопределяет поиск в Windows. Recall основан на нескольких современных ИИ-моделях, включая мультимодальные SLM, работающие одновременно и интегрированные в саму ОС.
Эти модели понимают различные виды контента и работают на нескольких языках, чтобы организовать огромное количество информации от текста до изображений и видео. Эти данные преобразуются и хранятся в векторном хранилище, называемом Windows Semantic Index. Семантический индекс хранится полностью на локальном устройстве пользователя и доступен через поиск на естественном языке. Эта глубокая интеграция обеспечивает уникально надежный подход к конфиденциальности, так как данные не покидают локальное устройство.
Microsoft подчеркивает, что этот опыт полностью обрабатывается на устройстве. Данные, обработанные Recall, не отправляются на облачные сервера, и Microsoft не обучает ИИ-модели на данных, сгенерированных Recall.
Последние статьи #Windows
• Обновление KB5044373 (Build 22635.4367) для Windows 11, версия 23H2 (Beta)
• Обновление KB5044374 (Build 26120.2122) для Windows 11, версия 24H2 (Dev)
• Windows 11, версия 24H2: Системная очистка теперь удаляет не все временные файлы
• Обновление KB5044380 (Build 22631.4387) Preview для Windows 11, версия 23H2
• Обновление KB5044384 (Build 26100.2152) Preview для Windows 11, версия 24H2
• Обновление Microsoft OneDrive: Новое мобильное приложение, улучшенный поиск и цветные папки в Проводнике Windows