Cerebrum 7b GGUF: обзор модели и возможности LLM
Что такое Cerebrum 7b?
Cerebrum 7b — большая языковая модель (LLM), опубликованная AetherResearch в 2024 году. Создана для решения задач, требующих навыков рассуждения и творческого подхода. На запросы пользователей отвечает ёмко и коротко. Однако при повышении «креативности» (Output randomness, Top K) нейросеть чаще искажает вводные данные и добавляет в текст несуществующие подробности, чем большинство других моделей на базе Mistral 7b.
LLM обучена на 5000 обучающих подсказок, чтобы генерировать точные ответы и действовать более "логично". Для достижения этих целей разработчики использовали tRLHF - целевое обучение с подкреплением на основе обратной связи с людьми (с пользовательской оценкой результатов генерации).
Информация от разработчиков
- Модель нейросети будет полезна для прикладных задач: получения коротких ответов, математических вычислений, исследований, программирования, поиска ошибок;
- Обгоняет Mistral 7b и Llama 2 70b в синтетических тестах, требующих навыков рассуждения, включая ARC Challenge, GSM8k и HumanEval;
- Для получения наилучшего результата в системной подсказке стоит указать, что ИИ-ассистент подробно описывает свой мыслительный процесс и даёт полезные ответы на запросы пользователя.
Пример системной подсказки на английском (её можно модифицировать под себя!):
<s>A chat between a user and a thinking artificial intelligence assistant. The assistant describes its thought process and gives helpful and detailed answers to the user's questions. User: Are you conscious? AI:
Плюсы Cerebrum 7b
- Модель в 60% случаев избегает длинных ответов, генерируя максимально короткий текст (удобно для получения полезной информации и новых идей);
- Подходит для образовательных публикаций, наукоёмких задач, творческих заметок;
- Редко повторяется и зацикливается, в том числе на низких температурах (0.1-0.4);
- Максимальная длина контента — 32 000 токенов;
- Воспринимает запросы на русском языке, хоть и не всегда 100% точно.
Минусы Cerebrum 7b
- Модель склонна к искажению данных, особенно после изменения настроек в сторону большей креативности;
- Плохо справляется с коротким пересказом текста;
- Не подходит для генерации новостных статей, новелл и романов;
- Посредственные результаты при генерации NSFW-контента (не подходит для RP и ERP);
- Не поддерживает формат ChatML. Хотя информация из системной подсказки учитывается, адекватно воспринимает только формат Alpaca;
- Отвратительное качество текста на русском языке. Проще просить модель написать ответ на английском, а потом уже перевести его на русский через DeepL (например, если вам сложно адаптировать текст самостоятельно), чем пытаться «причесать» криво сформированные ответы, полученные в LLM. Впрочем, это касается большинства существующих языковых моделей с семью миллиардами параметров.
Кому подойдёт эта модель?
- Энтузиастам, тестирующим новые LLM;
- Авторам, генерирующим посты для блогов, в том числе для X и Telegram;
- Творцам, нуждающимся в новых идеях и коротких ответах на вопросы;
- Экспериментаторам, желающим облегчить «мозговой штурм» при решении сложных проблем;
- Людям, которым хочется проверить очередного чат-бота, выполняющего точные инструкции.
Рекомендую самостоятельно изучить возможности модели, а уже после думать, стоит ли её использовать в повседневной деятельности.
Где скачать Cerebrum 7b?
- В формате .safetensors — на странице разработчика;
- В формате GGUF (Q2_k-Q8_0) — в коллекции Bartowski на HuggingFace;
- В формате exl12 — в ещё одной коллекции на HF.
Удачных экспериментов!
Понравилась статья?
Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!