Cerebrum 7b GGUF: обзор модели и возможности LLM
Разное

Cerebrum 7b GGUF: обзор модели и возможности LLM

Что такое Cerebrum 7b?

Cerebrum 7b — большая языковая модель (LLM), опубликованная AetherResearch в 2024 году. Создана для решения задач, требующих навыков рассуждения и творческого подхода. На запросы пользователей отвечает ёмко и коротко. Однако при повышении «креативности» (Output randomness, Top K) нейросеть чаще искажает вводные данные и добавляет в текст несуществующие подробности, чем большинство других моделей на базе Mistral 7b.

LLM обучена на 5000 обучающих подсказок, чтобы генерировать точные ответы и действовать более "логично". Для достижения этих целей разработчики использовали tRLHF - целевое обучение с подкреплением на основе обратной связи с людьми (с пользовательской оценкой результатов генерации).

Информация от разработчиков

  • Модель нейросети будет полезна для прикладных задач: получения коротких ответов, математических вычислений, исследований, программирования, поиска ошибок;
  • Обгоняет Mistral 7b и Llama 2 70b в синтетических тестах, требующих навыков рассуждения, включая ARC Challenge, GSM8k и HumanEval;
  • Для получения наилучшего результата в системной подсказке стоит указать, что ИИ-ассистент подробно описывает свой мыслительный процесс и даёт полезные ответы на запросы пользователя.
Сравнение языковой модели Cerebrum 7b с другими LLM

Пример системной подсказки на английском (её можно модифицировать под себя!):

<s>A chat between a user and a thinking artificial intelligence assistant. The assistant describes its thought process and gives helpful and detailed answers to the user's questions.
User: Are you conscious?
AI:

Плюсы Cerebrum 7b

  • Модель в 60% случаев избегает длинных ответов, генерируя максимально короткий текст (удобно для получения полезной информации и новых идей);
  • Подходит для образовательных публикаций, наукоёмких задач, творческих заметок;
  • Редко повторяется и зацикливается, в том числе на низких температурах (0.1-0.4);
  • Максимальная длина контента — 32 000 токенов;
  • Воспринимает запросы на русском языке, хоть и не всегда 100% точно.

Минусы Cerebrum 7b

  • Модель склонна к искажению данных, особенно после изменения настроек в сторону большей креативности;
  • Плохо справляется с коротким пересказом текста;
  • Не подходит для генерации новостных статей, новелл и романов;
  • Посредственные результаты при генерации NSFW-контента (не подходит для RP и ERP);
  • Не поддерживает формат ChatML. Хотя информация из системной подсказки учитывается, адекватно воспринимает только формат Alpaca;
  • Отвратительное качество текста на русском языке. Проще просить модель написать ответ на английском, а потом уже перевести его на русский через DeepL (например, если вам сложно адаптировать текст самостоятельно), чем пытаться «причесать» криво сформированные ответы, полученные в LLM. Впрочем, это касается большинства существующих языковых моделей с семью миллиардами параметров.

Кому подойдёт эта модель?

  • Энтузиастам, тестирующим новые LLM;
  • Авторам, генерирующим посты для блогов, в том числе для X и Telegram;
  • Творцам, нуждающимся в новых идеях и коротких ответах на вопросы;
  • Экспериментаторам, желающим облегчить «мозговой штурм» при решении сложных проблем;
  • Людям, которым хочется проверить очередного чат-бота, выполняющего точные инструкции.
Рекомендую самостоятельно изучить возможности модели, а уже после думать, стоит ли её использовать в повседневной деятельности.

Где скачать Cerebrum 7b?

Удачных экспериментов!

Понравилась статья?

Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!

Профессиональный фотограф из Приморского края. Работаю в Находке, Владивостоке и Золотой Долине. Пишу статьи о фото и гик-культуре, в том числе про аниме, игры, путешествия и генеративные нейросети. Фотографии выкладываю на рабочей странице (https://olegmorozfoto.ru/) и в Telegram (https://t.me/tengy_photos). Всегда рад новым читателям, подписчикам и клиентам! ✨❤️

Оставить комментарий