Что лучше — Koboldcpp или GPT4ALL? Сравнение ПО

Koboldcpp и GPT4ALL — программы, охватывающие разную аудиторию, но преследующие одинаковые цели — сделать работу с языковыми моделями удобней для обычных пользователей, добавить больше контроля над генерацией и обеспечить стабильную работу текстовых нейросетей.

В чём разница между Koboldcpp и GPT4ALL?

Koboldcpp — программа с веб-интерфейсом (Web UI), запускающаяся в новой вкладке браузера. GPT4ALL — отдельная программа с графическим интерфейсом (GUI), не нуждающаяся в браузере для работы.

Кроме принципа запуска, существует разница в позиционировании ПО.

Сообщество Kobold AI появилось задолго до распространения языковых моделей из семейства LLaMa, став прибежищем авторов, занимающихся созданием новелл, приключенческих историй, фанфиков и ролевых игр. В то время Kobold AI был альтернативой не ChatGPT, а Novel AI - платного генератора текстовых историй.

К моменту возникновения общедоступных LLM у Kobold AI сформировалась целая плеяда собственных моделей, заточенных на создание увлекательных рассказов. Среди них встречались как ресурсоёмкие нейросети, не запускающиеся без топовых видеокарт, так и легковесные текстовые генераторы, которые мог потянуть даже старенький ноутбук.

Переписывать существующий дистрибутив с нуля - долго и накладно, поэтому появилась отдельная версия ПО, сочетающая в себе лучшие возможности llama.cpp и расширенную функциональность API Kobold - Koboldcpp.

Программа отличается крохотным размером (примерно 10 МБ, не считая веса нейросетей) и поддержкой различных моделей формата GGML, включая:

• LLAMA. Запускает практически все версии моделей, в том числе ggml, ggmf, ggjt, gpt4all;
• GPT-2. Может запустить все версии, включая устаревший f16, а также новые форматы + quanitzed, cerebras;
• GPT-J. Запускает все версии, включая legacy f16 и новые форматы;
• RWKV. Запускает все форматы, кроме Q4_1_O;
• GPT-NeoX / Pythia / StableLM / Dolly / RedPajama.

Можно сказать, что Koboldcpp запускает любые существующие форматы GGML, если они пользуются спросом. Все остальные файлы работать в ПО не будут. Например, такая участь постигла bloomz.cpp.

Главные плюсы Koboldcpp:

• Поддержка большинства языковых моделей, в том числе использующих новый метод переквантизации;
• Высокоскоростная генерация текста;
• Может сохранять и загружать истории в формате .JSON;
• Варианты сценариев, подходящих на любой случай жизни;
• Большой список пресетов для быстрого старта;
• Расширенное меню настроек;
• Лёгкая генерация историй, диалогов, гайдов и инструкций;
• Можно выбрать другую версию, если новая вам почему-то не подошла.

Минусы Koboldcpp:

• На момент написания статьи отсутствует поддержка документов (нельзя добавить в качестве источника данных PDF или TXT);
• Не поддерживает долгое запоминание контекста. Максимальное количество токенов — 2048;
• Может долго запускаться;
• Работает в отдельной вкладке браузера;
• Не поддерживает MPT;
• Нет автоматического обновления;
• Больше подходит для создания рассказов, чем для ведения долгих диалогов;
• Чтобы запустить новую языковую модель, нужно отдельно открывать её с помощью проводника Windows.

GPT4ALL - новый проект, который не может похвастаться долгой историей или огромной аудиторией. На момент написания статьи поддерживает лишь 14 языковых моделей, 5 из которых обучены командой разработчиков ПО - Nomic.ai.

Проект больше всего напоминает бесплатный вариант ChatGPT.

Главное окно программы — страница с чатом. Вверху — панель выбора доступных моделей, в боковой вкладке слева — возможность создания нового чата или сохранения имеющегося, панель для скачивания моделей и проверки обновлений. Вверху справа находятся базовые настройки, а также панель для управления ими.

Всё лаконично, просто, без огромного количества наворотов и заточено на генерацию ответов. То есть оптимальная реализация для локального чат-бота или программы для выполнения пользовательских инструкций.

Об этом говорят и разработчики программы, стремящиеся предоставить лучший софт для обычных людей, желающих заполучить продвинутого нейросетевого ассистента и использовать его для творчества, работы или экспериментов.

Основные виды поддерживаемых моделей:

• LLaMa;
• GPT-J:
• MPT.

Главные плюсы GPT4ALL:

• Удобный интерфейс;
• Автономная работа, не требующая запуска браузера;
• Поддерживает многопоточные процессоры, а также позволяет вручную назначать количество используемых потоков для ускорения генерации текста;
• Может считывать данные из документов на компьютере с помощью плагина LocalDocs;
• Максимальная длина ответа не ограничена 2048 токенами. Приложение позволяет назначить лимит побольше — хоть 4096, хоть 131072 токенов;
• Поддерживает сохранение чатов на диске;
• Крутая работа с чатом;
• Можно вручную настроить образец запроса для лучшего взаимодействия с языковыми моделями (Prompt Template);
• Быстрый запуск скачанных языковых моделей;
• Удобное переключение между доступными нейросетями;
• Стабильные обновления;
• Программа оповещает о выходе патчей, после подтверждения автоматически скачивает и устанавливает их, показывает, что вышло в обновлениях;
• Разработчики постоянно добавляют новые функции.

Минусы GPT4ALL:

• Плохо подходит для генерации новелл, историй и рассказов;
• Возможность увеличить максимальную длину ответа не означает, что чат будет поддерживать длинные диалоги. Реальная «память контекста» полностью зависит от выбранной модели и ваших запросов;
• На момент написания статьи не поддерживает новые модели с изменённым методом переквантизации, нарушающим совместимость программы со старыми языковыми моделями. Пока эта проблема не будет решена или не разработают костыль, позволяющий использовать модели разных вариантов квантизации одновременно, пользователи ограничены нейросетями из списка GPT4ALL;
• Иногда зацикливается на длинных диалогах, а также при нажатии на Enter без ввода новых подробностей. На мой взгляд, это случается куда чаще, чем в Koboldcpp;
• Нет настройки точной длины генерируемого текста. С одной стороны, всегда можно указать продолжительность словесно (как раз в духе ChatGPT!), с другой — настройка минимального количества генерируемых токенов существенно облегчит жизнь пользователям;
• Хотя в настройках есть функция удаление компонентов, включающая свежие обновления, её не всегда получается использовать без сноса программы (например, если обновление было удалено из кэша). Это довольно неудобно, если вы ухитритесь словить баг.

Что лучше — Koboldcpp или GPT4ALL?

Всё зависит от цели использования ПО. Если вы хотите написать новеллу, создать фанфик с рейтингом 18+ или экспериментировать с новыми моделями, регулярно появляющимися на Reddit, лучше всего использовать Koboldcpp. Программа поддерживает больше форматов LLM, включая их «нецензурные» версии, а также нейросети, изначально предназначенные для создания творческих произведений. Если вам нужен удобный и быстрый чат-бот, поддерживающий работу с документами, хранимыми на ПК, вам больше подойдёт GPT4ALL.

Программа от Nomic AI лучше справляется с ролью ассистента, быстрее запускается, стабильно работает и редко глючит. Kobold не так хорош в качестве поддержки, но у него есть огромное преимущество - доступ к моделям любого размера!

Например, вы можете скачать LLM с 33 или 65 миллиардами параметров и запустить нейросеть в Koboldcpp.exe. В GPT4ALL вы ограничены моделями с 7-13 миллиардами параметров. Так как количество параметров напрямую влияет на «словарный запас» языковой модели, точнее, на возможность оперировать датасетом и лучше строить фразы, это ультимативное преимущество, о котором стоит помнить всем творцам.

Однако языковые модели свыше 13 миллиардов параметров занимают много места и требуют большого объёма RAM. Например, от 20-32 ГБ оперативной памяти.

Далеко не все обычные пользователи могут позволить себе даже 16 ГБ RAM, не говоря уже о 32, 64 и больше!

Даже если вам хватает оперативной памяти, масштабные GGML нейросети генерируют текст в разы медленней, чем компактные модели. Низкая скорость работы нивелирует преимущества, которые дают LLM с 30 или 65 миллиардами параметров, если вы не используете машины с высокопроизводительной начинкой.

Допустим, языковая модель будет генерировать средний по качеству текст, но вам придётся ждать 1000-2000 символов примерно 5, 10, 20 минут. А что, если вы - опытный копирайтер и можете набросать заготовку быстрее, подробней и качественней? Будет ли такой вариант так уж полезен? Стоит ли это долгого ожидания?

На мой взгляд, нет.

Большое количество параметров не всегда означает лучшее качество. Например, в таблице лидеров среди LLM на Hugging Face есть Wizard-Vicuna-13B-Uncensored-HF, обгоняющая LLaMa-30B, OPT-66B и Galactica-120B, а на первом месте закрепилась модель с 40 миллиардами параметров — Falcon-40B-Instruct.

Список лидеров постоянно изменяется. Falcon в любой момент могут вытеснить с пьедестала, явив миру нового короля среди LLM. Однако свою роль языковая модель уже сыграла, показав всему миру, что нейросеть с меньшим количеством параметров может обогнать даже самых продвинутых конкурентов.

Количество параметров важно только для однотипных моделей.

Например, между WizardLM 7B, 13B и 30B есть существенная разница, проявляющаяся как в разнообразии ответов, так и в возможности тонко воспринимать запросы. С творческими задачами 30B справляется куда интересней, чем 13B и 7B! Зато короткие сгенерированные посты для соцсетей в WizardLM 30B будут лишь на 15-25% качественней, чем в WizardLM 13B, поэтому различия между ними не столь сильно бросаются в глаза.

Если у вас мощный ПК, имеет смысл использовать всё лучшее, что может предложить рынок. Когда сборка далека от топовой, можно выбрать что-то попроще, нивелируя разницу в качестве ответов собственным мастерством.

Вам всё равно придётся дорабатывать результаты, используете ли вы Falcon, Guanaco, LlaMa или WizardLM! Зато с младшими вариантами моделей вы сделаете это чуточку быстрее. 😊

Учитывайте, что мои слова - не истина в последней инстанции. Рекомендую сравнить языковые модели разного размера и решить, что вам важнее - техническое качество генерации, даже если оно требует значительного ожидания, либо скорость вывода, позволяющая перебрать больше вариантов и быстро переписать самый оптимальный из них, исправляя все найденные недочёты.

Существует ли альтернативное ПО?

Да. Новые варианты программ появляются чуть ли не раз в пару месяцев. Одни из них намного популярней GPT4ALL и Koboldcpp (например, llama.cpp — дистрибутив, стоящий в самом начале использования новых языковых моделей), вторые пытаются стать кроссплатформенной фарш-машиной, подходящей для выполнения любых задач, связанных с генерацией текста (oobabooga), третьи предлагают только оболочку (пользовательский интерфейс), расширяющую возможности другого ПО (SillyTavern).

Несмотря на все преимущества, включая активную поддержку сообщества и полезные киллер-фичи, я не рекомендую начинать изучать возможности генераторов текста с них. И этому есть несколько причин:

• Популярный софт периодически жертвует совместимостью со старыми моделями ради ускорения работы LLM, уменьшения размера файлов, из-за чего вам понадобится скачать нейросети заново, если вы захотите их запустить. Это не круто, особенно если ваш трафик ограничен;
• Частые обновления ради внедрения новых фич, не сопровождающиеся долгим обкатыванием бета-версий очень часто приводят к неприятным багам или глюкам с совместимостью. По сравнению с нестабильностью oobabooga или внезапным отваливанием моделей в llama.cpp я предпочту использовать Koboldcpp или GPT4ALL. Даже если их возможности в чём-то уступают, зато вам не нужно будет страдать после фатального обновления;
• Чем больше функций предлагает софт, тем больше настроек понадобится выучить пользователю. Лучше использовать программы, не завышающие порог входа, не требующие танцев с бубном или знания программирования.

Зачем что-то устанавливать, когда существует ChatGPT?

ChatGPT, GPT-4, Lex.page или бесплатные некоммерческие проекты с онлайн-доступом, например, Open Assistant, полезны и круты. Они обеспечивают быстродействие, которое и не снилось большинству ПК пользовательского уровня, постоянно обучаются, предлагают новые фичи или плагины, расширяющие возможности нейросетей. Однако у них есть существенные минусы:

• ChatGPT и другие языковые модели, работающие онлайн, могут собирать и сливать ваши данные. Преднамеренно или непреднамеренно — не столь уж важно. Локальные LLM не будут сливать информацию о вас, включая результаты генерации, если вы сами не согласитесь передавать сведения разработчикам;
• Чем популярней проект, тем больше ограничений. Цензура не только защищает пользователей от нежелательного контента, но и значительно ограничивает креативность нейросетей. Если вы генерируете NSFW-контент или хотите получить больше творческих ответов, лучше использовать локальные LLM без цензуры;
• Бесплатные онлайн нейросети могут отключить доступ к ним, платные — ввести региональные ограничения или повысить цены без предупреждения. Локальные языковые модели можно запустить с помощью любой программы, которая вам понравится, в любой момент времени, в том числе со старых версий ПО. Пока вы не удалите файлы с машины, они никуда не денутся и не превратятся в кирпич;
• Онлайн-проекты могут ограничивать количество генераций, чтобы уменьшить нагрузку на сервера, либо добавлять пользователей в список ожидания. Локальные языковые модели ограничены только мощностью вашего компьютера, поэтому вы можете вводить запросы столько раз, сколько захотите;
• Разработчики не всегда делятся с пользователями информацией о том, что находится под капотом их детища. Локальные LLM разбирают чуть ли не по винтику и развивают с помощью сообщества, поэтому информации о моделях намного больше;
• Нейросети общего назначения чаще генерируют упрощённые ответы. Вы можете скачать модель, обученную на узконаправленных данных, либо самостоятельно обучить её, чтобы получать лучшие результаты;
• Языковые модели на локальных языках (например, YaGPT) могут не только страдать от серьёзных ограничений, но и выдавать примитивные результаты. Установив LLM от 30 миллиардов параметров и переведя текст с помощью DeepL, вам будет намного проще получить полезные сведения;
• Выбор моделей в коммерческих проектах ограничен. Чаще всего пользователи получают доступ к одной модели, реже — к 2-3. Вы можете скачать и установить любые языковые модели, которые потянет ваша машина, меняя их хоть каждый день!

Нельзя сказать, что некоммерческие текстовые нейросети в разы лучше платных проектов. Они могут уступать по качеству и скорости генерации, точности ответов, актуальности данных, количеству дополнительных инструментов. Однако новые варианты языковых моделей появляются чуть ли не каждый день, постепенно устраняя разрыв между опенсорсными и закрытыми решениями, поэтому их точно стоит внедрять в рабочие процессы!

Перспективы использования LLM

Генеративные нейросети для создания изображений кардинально поменяли рынок ПО. Теперь их можно встретить где угодно — на сайтах, в мессенджерах, стоках и графических редакторах. Благодаря интересу пользователей и конкуренции между корпорациями прогресс стремительно двинулся вперёд, а в софте стало появляться всё больше полезных функций, облегчающих жизнь, работу и творчество.

Например, в бета-версии Adobe Photoshop добавили генеративную заливку с учётом содержимого, заменяющую, расширяющую или дополняющую новыми объектами любую часть редактируемых фотографий, новый инструмент для удаления объектов, улучшили выделение фона и людей.

Всё это стало возможно из-за соперничества компаний, желания инвесторов вливать средства в любые перспективные разработки, связанных с AI, а также массового использования локальных нейросетей, буквально вынудивших Adobe начать гонку за пользователей. И это далеко не единичный пример!

Подобное происходит и с языковыми моделями.

Появление ChatGPT и GPT-4 подвигло корпорации на создание аналогов, а распространение локальных LLM сделало языковые модели доступными для обычных пользователей.

Текстовые нейросети начинают влиять на нашу жизнь, появляясь в браузерах, приложениях, ботах в Telegram. Большая часть из них - с закрытой инфраструктурой, ограничивающей возможности подписчиков.

Однако локальные языковые модели не стоят на месте!

Новые локальные LLM появляются чуть ли не каждый день, бросая вызов гигантам индустрии, открывая перед пользователями новые горизонты, помогая автоматизировать рутинные задачи, высвобождая время для творчества, улучшая и переделывая спорные кусочки текста.

Перспективы использования LLM — невероятны. Например, вы можете применять их, чтобы:

• Вести социальные сети;
• Отвечать на запросы и вопросы подписчиков;
• Создавать новеллы, рассказы, фанфики;
• Генерировать мемы;
• Формировать шаблоны писем, рекламных постов, рассылок;
• Переводить текст с одного языка на другой;
• Искать ошибки в публикациях;
• Обобщать длинные статьи;
• Придумывать описания для персонажей, изображений, карточек товаров;
• Запускать чат-ботов в мессенджерах (например, в Telegram);
• Генерировать диалоги для компьютерных игр и сценарии для ролевых игр живого действия;
• Завершать предложения, если вы упёрлись в стену и не знаете, как продолжить рассказ;
• Упрощать сложные фразы без потери смысла;
• Улучшать другие языковые модели;
• Корректировать портфолио или резюме;
• Генерировать новые гипотезы и идеи;
• Создавать простой программный код;
• Оптимизировать статьи для SEO (преимущественно на английском языке!);
• Разрабатывать бизнес-планы и модифицировать торговые предложения;
• Искать новые сферы деятельности или необычные варианты продвижения своих услуг;
• Генерировать костяк текста для лонгридов и коротких постов для соцсетей;
• Анализировать финансовые отчёты;
• Искать и заполнять проблемные места в сложных публикациях;
• Использовать LLM в качестве виртуального ассистента с помощью Koboldcpp или GPT4ALL;
• Выполнять домашние задания;
• Писать отчёты, рефераты, дипломные работы и книги, а также сценарии для YouTube-каналов;
• Разрабатывать онлайн-курсы, гайды, уроки;
• Анализировать поведение пользователей на сайте, в мессенджерах или соцсетях;
• Делать прогнозы на основе имеющихся данных;
• Создавать развлекательный контент любой направленности.

Это лишь небольшая часть примеров, показывающая, как именно можно использовать большие языковые модели для решения практических задач. Вы можете придумать абсолютно иные способы использования LLM, чтобы улучшить свою деятельность, ограничиться созданием развлекательного или рекламного контента, либо подождать дальнейшего развития нейросетей.

Уверен, в будущем языковые модели нас очень сильно удивят!

Перспективы развития технологий многообразны, а предельные возможности генерации текста в нейросетях  - неизвестны. Сложно представить, какими интересными станут LLM буквально через год-два!

Столь же сложно, как в 2022 году предположить, что уже в 2023 на ПК появятся производительные программы-комбайны, обвешанные сотнями расширений, почти полностью контролирующих создание картинок, либо представить апдейт Adobe Photoshop, позволяющий генерировать картинки с разрешением 5К даже на машинах без супер навороченных видеокарт!

На наших глазах творится история. Меняется подход к работе с текстом и изображениями, знания становятся доступней, чем когда-либо ранее. Лично для меня одно это — уже достаточный повод запускать Koboldcpp или GPT4ALL, чтобы проводить новые эксперименты, поражаясь, как стремительно воплощаются в жизнь идеи фантастов и насколько необычный опыт можно получить, используя нейросети в повседневной жизни.

Надеюсь, они пригодятся и вам!

P.S. Спасибо, что дочитали до конца)

Понравилась статья?

Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!