Как запустить LLaMa 3 онлайн и на ПК? Инструкция

Запустить LLaMa 3 можно двумя способами — онлайн и локально (например, на ПК с Windows 10 или 11). Сегодня я расскажу вам, как сделать это максимально простыми способами, быстро и без головной боли!

Как запустить LlaMa 3 онлайн?

• Зайти на HuggingChat, зарегистрировать аккаунт, выбрать модель LLaMa 3 70B Instruct в списке, после чего настроить System Prompt под себя, чтобы улучшить качество генерации. Хотя использовать HuggingChat можно и без регистрации, на анонимных пользователей накладываются различные ограничения, включая лимит на максимальное количество чатов в день. Без текстовой подсказки можно обойтись, но учитывайте, что по умолчанию нейросеть предпочитает отвечать на английском языке! Поэтому добавление фраз вроде «Пожалуйста, всегда отвечай на русском языке» или «Точно выполняй инструкции пользователя, генерируя ответы на русском» существенно облегчат вам жизнь;

• Перейти на Perplexity Labs, выбрать в выпадающем списке нужную версию LLaMa и начать диалог. По сравнению с HuggingFace Chat, здесь нет возможности настроить System Prompt, что отрицательно влияет на качество генерации художественных текстов. Также здесь не так удобен чат — нет возможности перегенерировать ответы, кроме как заново задать вопросы, либо продолжить чат с нейросетью. Зато модель LLaMa 3 70B Instruct в Perplexity Labs реже зависает или становится недоступной из-за высокой нагрузки, поэтому её спокойно можно использовать в качестве резервного чат-бота! Ещё один плюс использовать этот сайт — на нём можно бесплатно использовать онлайн свыше 10 других моделей;

• Воспользоваться Replicate.Dev. Платформа предлагает выбрать одну из 5 моделей LLaMa, включая устаревшие версии и новые LLM (8B, 70B). Главное преимущество перед другими сайтами — можно настроить как системную подсказку, так и указать дополнительные параметры — температуру (уровень креативности), максимальное количество токенов, параметр Top P. Главный минус — жёсткий лимит на количество генерируемых токенов (всего 4096 из 8K, доступных для базовых моделей). Поэтому рекомендую использовать сайт в качестве резервной площадки для запуска LLaMa 3;

• Запустить онлайн-чат с Llama 3 8B на HiggingChat Spaces. Поскольку это самая маленькая модель LLaMa 3, доступная на момент написания статьи, не ожидайте от неё высокого качества или оригинальных ответов! Также она достаточно медленно генерирует текст и может затупать из-за большого наплыва пользователей. Зато с её помощью можно оценить возможность языковой модели «потребительского класса» и подумать, имеет ли смысл устанавливать её локально.

Как запустить LLaMa 3 локально (оффлайн) на ПК с Windows 10 (11)?

Чтобы запустить LLaMa 3 локально, перейдите на сайт LM Studio, найдите кнопку с надписью Download LM Studio for Windows и нажмите на неё. Когда закончится скачивание установочного файла, запустите его и следуйте инструкции, написанной в окне программы. Установка завершилась? Запустите софт, перейдите в раздел My Models («Мои модели») и укажите путь к папке, в которой планируете хранить LLM. Далее откройте окно поиска (обозначается иконкой с лупой), введите в него llama 3, нажмите Go или Enter, чтобы изучить список доступных моделей.

Нажмите на любую подходящую модель, затем скачайте оптимальный (для вашей системы) GGUF-файл. Когда скачивание завершится, перезапустите программу, перейдите во вкладку AI Chat и активируйте скачанную нейросеть. Всё, теперь ей можно пользоваться!

Если у вас есть ссылка на репозиторий HF, название репозитория (например, никнейм автора), либо полное название модели с файн-тюнингом, в строке поиска можно указать их, чтобы не перебирать все доступные LLM!

Как понять, какую модель в LM Studio стоит скачивать?

Зелёным цветом в LM Studio отображаются модели, целиком помещающиеся в видеопамять (они будут быстро загружаться и генерировать текст), голубым — модели, которые поместятся частично (работают медленней, но всё ещё доступны для использования), серым — то, что доступно лишь условно (будет генерировать ответы крайне медленно), красным — модели, которые нельзя использовать в вашей системе.

Рекомендую скачивать модели, обозначенные зелёным цветом.

У меня уже есть подходящая версия LLaMa 3, куда её поместить?

Если у вас есть GGUF файл LLaMa 3, подходящий для вашей системы и LM Studio, переместите его в папку, указанную в разделе My Models. Возможно, вам понадобится совершить ещё несколько действий:

• Выйти из программы;
• Создать в выбранной директории две новых папки — родительскую и дочернюю;
• В качестве названия родительской папки используйте имя разработчика (репозитория, в котором был скачен GGUF), в качестве имени дочерней (вложенной) папки — подробное название модели. Например, bartowski\Meta-Llama-3-8B-Instruct-GGUF;
• Запустите программу, перейдите в AI Chat и запустите модель.

Добавить модель вручную можно и в случайно названную папку, либо залить её напрямую, но есть шанс, что LM Studio не увидит такую LLM или будет работать неправильно. Хотя этот баг уже могли исправить, о нём точно стоило упомянуть!

Как добавить модель LLaMA 3 по прямой ссылке с HuggingFace?

• Зайдите в репозиторий понравившейся модели LLaMa 3 на HuggingFace;
• Скопируйте данные, относящиеся к модели. Это можно сделать вручную, удалив из сетевого адреса всё, что связано с HuggingFace, оставив только названия репозитория и LLM, либо автоматически, нажав на иконку Copy рядом с названием модели вверху HF (там ещё появится надпись Copy model name to clipboard). Какой бы способ вы не выбрали, в конечном итоге это должно выглядеть примерно так: lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF. В данном случае lmstudio-community — это пример названия команды (компании, разработчика или любого человека, залившего GGUF), а хвост после — образец языковой модели;
• Вставьте имя или путь к модели в окно поиска;
• Нажмите Go или Enter;
• Скачайте подходящую модель;
• Запустите её. Возможно, перед запуском понадобится перезапустить LM Studio.

Удачных экспериментов!

Понравилась статья?

Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!