Онлайн-сервисы ChatGPT, Copilot и Gemini предлагают бесплатные тарифы, возможностей которых обычно хватает для повседневных задач. Однако пользователям, которые не хотят отправлять данные в облако или платить за дорогие подписки, подойдет альтернативный вариант – локальный запуск ИИ-моделей.
Изображение: Hugging Face
В Windows уже есть несколько способов запускать ИИ-модели локально. Одним из самых доступных остается LM Studio: графический интерфейс позволяет скачивать модели, управлять ими и общаться с ними без командной строки.
Теперь Hugging Face и команда llama.cpp представили еще один вариант – Llama для Windows. В отличие от LM Studio, это легкая утилита, которая работает в системном трее Windows 11 и позволяет быстро скачивать и запускать локальные ИИ-модели с минимумом настроек.
Llama для Windows создана на платформе Microsoft WinUI 3 и использует движок llama.cpp для локального выполнения моделей. После установки можно выбрать рекомендованную модель с Hugging Face, скачать ее одним нажатием и начать общение через встроенный веб-интерфейс. Перед скачиванием приложение показывает характеристики модели, включая размер, количество параметров и поддержку обработки изображений.
Основные возможности:
- Просмотр и скачивание рекомендованных квантованных моделей напрямую с Hugging Face.
- Доступ к приложению из системного трея Windows без необходимости держать его окно открытым.
- Быстрый вызов чата с загруженной моделью сочетанием Alt + пробел из любого места в Windows.
- Автоматическая установка и подключение среды выполнения llama.cpp без прав администратора.
- Загрузка моделей в память и выгрузка из нее с использованием общего кеша Hugging Face, который позволяет избежать повторного скачивания.
API, совместимый с OpenAI
Одна из наиболее полезных возможностей Llama для Windows – API, совместимый с OpenAI. Приложение запускает локальный сервер по адресу http://localhost:9931. Благодаря этому другие Windows-приложения, включая агентов для программирования, редакторы и ИИ-чаты, могут использовать скачанные модели вместо платных облачных API. Для подключения совместимого приложения разработчикам достаточно указать адрес http://localhost:9931/v1.
Поддержка x64, ARM64 и NVIDIA RTX Spark
Llama для Windows поддерживает ПК с Windows 11 на архитектурах x64 и ARM64. При этом в анонсе отдельно отмечена оптимизация для платформы NVIDIA RTX Spark, выполненная совместно с NVIDIA. Поддержка Windows на ARM уже доступна, но в будущем хотелось бы увидеть аналогичные оптимизации для Qualcomm Snapdragon X Elite и других процессоров серии Snapdragon X – прежде всего для использования встроенных нейропроцессоров NPU.
Llama для Windows на компьютере с GeForce RTX 5080
На нашем компьютере с GeForce RTX 5080 и Windows 11, версия 26H2 установлена Llama для Windows 0.12.0. При первом запуске приложение само установило сервер llama.cpp и определило видеокарту. В каталоге доступны все размеры моделей: для каждой приложение проверяет, поместится ли она в видеопамять, а более крупные модели предлагает запускать с частичной выгрузкой в оперативную память.
Слева – рекомендованные модели в панели Llama для Windows, справа – карточка Gemma 4 с выбором размера и версии. Изображение: Comss.ru
Модель Gemma 4 E2B в версии Q8_0 размером 5,5 ГБ скачалась примерно за полторы минуты и загрузилась в видеопамять. Ответ на вопрос на русском языке в окне быстрого чата, которое открывается сочетанием Alt + пробел, был сгенерирован со скоростью около 164 токенов в секунду.
Окно быстрого чата с моделью Gemma 4 E2B на GeForce RTX 5080: 163,57 токена в секунду. Изображение: Comss.ru
Для сравнения, в виртуальной машине без видеокарты более компактная модель Gemma 3 1B в версии Q4_0 работала только на процессоре и выдавала около 1,2 токена в секунду. Модели 12B и 27B в такой конфигурации были недоступны для выбора. Для установки пакета также требуется Windows App Runtime 1.8 сборки 8000.994 или новее: на компьютерах, где компоненты обновляются через Microsoft Store, она обычно уже есть, а в виртуальной машине ее пришлось установить отдельно.
Тот же вопрос в виртуальной машине без видеокарты: Gemma 3 1B на процессоре, 1,17 токена в секунду. Изображение: Comss.ru
Скачать Llama для Windows можно на нашем сайте.
