Розробники llama.cpp у співпраці зі спільнотою Hugging Face випустили безкоштовний застосунок Llama для Windows 11. Програма призначена для тих, хто хоче запускати локальні мовні моделі на власному комп’ютері без складного налаштування через командний рядок. Застосунок переносить на платформу Microsoft підхід, який раніше використовувався у версії Llama для macOS: користувач може вибрати модель зі списку, завантажити її та почати роботу за кілька кліків.
Llama інтегрується в системний трей Windows 11, звідки можна керувати моделями та запускати чат із ШІ. Вона використовує рушій llama.cpp — популярний інструмент для локального запуску великих мовних моделей. Однією з головних переваг застосунку є автоматизація встановлення. Якщо на комп’ютері ще немає необхідних компонентів llama.cpp, Llama може завантажити їх самостійно. Користувачеві не потрібно вручну шукати відповідну збірку, встановлювати додаткові інструменти або вводити команди в терміналі.
Моделі можна вибирати та завантажувати безпосередньо з каталогу Hugging Face. Застосунок також показує інформацію про доступні варіанти контекстного вікна й орієнтовні вимоги до пам’яті, що допомагає підібрати модель відповідно до можливостей комп’ютера. Для швидкого доступу до чату передбачено комбінацію клавіш Alt + Space. Вона відкриває окреме вікно з вебінтерфейсом завантаженої моделі незалежно від того, у якій програмі зараз працює користувач.
На відміну від хмарних чат-ботів, локальні моделі виконують обчислення на пристрої користувача. Це дає змогу працювати з ними без постійного підключення до інтернету після завантаження необхідних компонентів і самої моделі. Локальний запуск також може бути корисним для тих, хто не хоче передавати свої запити зовнішнім ШІ-сервісам або оплачувати використання моделей через API. За описом розробників, запити та відповіді обробляються на комп’ютері, а сам застосунок поширюється безкоштовно з відкритим вихідним кодом.
Водночас продуктивність залежить від апаратного забезпечення. Великі моделі потребують значного обсягу оперативної пам’яті або відеопам’яті, а швидкість генерації відповідей визначається можливостями процесора та графічного прискорювача. Тож для комфортної роботи з потужними моделями все одно знадобиться комп’ютер із достатнім обсягом пам’яті.
Llama для Windows призначена не лише для спілкування з ШІ у власному інтерфейсі. Застосунок може запускати локальний сервер, до якого підключаються інші програми. Сумісність із API у форматі OpenAI дає змогу інтегрувати локальні моделі з інструментами для програмування, редакторами коду та власними скриптами. У такому разі застосунок може використовувати модель, запущену на комп’ютері, замість звернення до зовнішнього сервісу.
Ще одна особливість — спільне сховище моделей у кеші Hugging Face. Це дає змогу використовувати завантажені файли в інших сумісних інструментах, не зберігаючи окрему копію для кожної програми. Застосунок доступний безкоштовно для Windows 11. Завантажити його можна на офіційному сайті Llama або переглянути вихідний код і доступні збірки в репозиторії на GitHub.
Таким чином, Llama спрощує доступ до локального штучного інтелекту для користувачів, які не мають досвіду роботи з командним рядком. Програма об’єднує завантаження моделей, їх запуск і доступ до локального API в одному інструменті. Водночас вона не усуває головного обмеження локальних ШІ — залежності від потужності обладнання.