Llama для Windows

Llama для Windows – бесплатное приложение с открытым исходным кодом для запуска языковых моделей на компьютере. Проект ggml-org использует движок llama.cpp и предоставляет графический интерфейс для выбора моделей и общения с ними. Программа предназначена для Windows 11, работает из системного трея и оформлена с использованием WinUI 3 и эффекта Mica.

Llama позволяет искать и скачивать модели в формате GGUF с Hugging Face, включая варианты с разной степенью квантования. В зависимости от выбранной модели приложение можно использовать для ответов на вопросы, подготовки текстов, перевода и помощи с программированием. Доступ к закрытым репозиториям поддерживается через токен Hugging Face. Исходный код приложения распространяется по лицензии MIT.

Запросы обрабатываются локально. По заявлению разработчиков, приложение не собирает телеметрию и аналитику, а тексты запросов не отправляются в облачный сервис. Интернет используется для загрузки моделей и компонентов, а также проверки обновлений. Быстро открыть чат с загруженной моделью можно сочетанием Alt+Space. При скрытии окна текущая беседа сохраняется.

Возможности приложения

• Поиск моделей на Hugging Face. Подсказки при вводе названия, поиск по идентификатору репозитория и выбор GGUF-варианта для скачивания.
• Управление загрузками. Отображение прогресса, проверка свободного места, отмена скачивания и сообщения о причинах ошибок.
• Настройка контекста. Выбор длины контекста с предварительной оценкой потребления памяти; значение запоминается отдельно для каждой модели.
• Быстрые действия. Открытие чата и страницы модели, копирование её идентификатора и примера запроса curl.
• Автоматическое освобождение памяти. Выгрузка неиспользуемой модели через 5 минут, 15 минут или час. Следующий запрос автоматически загружает её снова; функцию можно отключить.
• Ограничение числа активных моделей. Настройка максимального количества моделей, одновременно находящихся в памяти.
• Квантование KV-кэша. Раздельный выбор точности хранения ключей и значений, позволяющий уменьшить расход памяти при большом контексте.
• Дополнительные параметры движка. Передача аргументов llama serve, например для настройки числа потоков.
• Настройки запуска и хранения. Автозапуск при входе в Windows и выбор папки для файлов моделей.
• Доступ к серверу по сети. По умолчанию сервер доступен только на текущем компьютере. Можно выбрать сетевой интерфейс; при открытии доступа другим устройствам приложение автоматически включает защиту API-ключом.
• Защита токена Hugging Face. Токен хранится в зашифрованном виде с привязкой к учётной записи Windows на данном компьютере.

Установка и первый запуск

1. Скачайте пакет .msixbundle со страницы загрузки. Он включает сборки для x64 и ARM64.
2. Откройте пакет двойным щелчком и установите приложение.
3. Запустите Llama. Программа использует имеющийся llama.exe либо скачивает необходимый компонент.
4. Выберите и скачайте модель, затем загрузите её для работы и откройте чат сочетанием Alt+Space.

Модели и настройки

Файлы моделей загружаются отдельно от приложения и требуют дополнительного места на диске. В настройках Local Models Cache можно выбрать подходящую папку. Перед скачиванием стоит проверить размер модели, а при выборе контекста – оценку потребления памяти. Увеличение контекста повышает требования к ресурсам.

Расширенные настройки находятся в разделе Llama окна Settings. Изменения сетевого адреса, лимита одновременно загруженных моделей и времени выгрузки при простое применяются при следующем запуске приложения или локального сервера – согласно подсказке соответствующего параметра. Для обычной работы на одном компьютере можно оставить адрес localhost.

Как скачать Llama для Windows

Перейдите на страницу загрузки и выберите версию для вашего устройства.