Обзор языковой модели WizardLM 30B Uncensored
Что такое WizardLM 30B Uncensored?
WizardLM 30B Uncensored — большая языковая модель (Large Language Model, LLM) с 30 миллиардами параметров, для обучения которой использовался специальный датасет, чтобы избавиться от цензуры и лишнего морализаторства. Если упрощать — это нейронная сеть, которая одинаково подходит для написания новелл, фанфиков, создания гайдов, рекламных постов, уроков и программного кода.
В WizardLM 30B Uncensored нет фильтров, присущих ChatGPT или YaGPT, поэтому нейросеть будет генерировать любой контент, включая откровенную эротику! Используя модель, вы берёте на себя ответственность за всё, что создадите с её помощью (об этом отдельно оповещают пользователей в карточке модели и её форках).
Кому пригодится WizardLM 30B Uncensored?
Копирайтерам, писателям, фотографам, маркетологам, дизайнерам, SMM и SEO-специалистам, а также всем работникам пера и клавиатуры, то есть любым пользователям, часто занимающимся созданием текстов.
Модель создаёт качественный, глубоко проработанный контент, может отвечать на подробные составные запросы и показывает хорошую производительность как в технических, так и в творческих задачах.
Как пользоваться WizardLM 30B Uncensored?
- Скачать GGML-версию модели с этой страницы. Рекомендую использовать версию q4_1 — она точнее q4_0 и при этом генерирует ответы быстрее, чем q5_0 и q5_1. Для слабых систем желательно выбирать версию q4_0;
- Сохранить исполняемый файл koboldcpp;
- Запустить браузер;
- Открыть koboldcpp.exe;
- Нажать Launch;
- Выбрать на диске файл модели WizardLM 30B Uncensored;
- Дождаться загрузки web ui;
- Подогнать настройки генерации в разделе Settings или использовать параметры по умолчанию;
- Ввести запрос и подождать, пока сгенерируется ответ;
- Если необходимо — дополнить запрос, либо нажать Submit, чтобы продолжить генерацию;
- Чтобы начать новый чат и сбросить всё, что вы вводили ранее, нажмите New game.
В koboldcpp есть дополнительные настройки, с помощью которых можно тонко управлять ролями персонажей, типом генерируемого контента, симулировать ролевую игру или сымитировать чат со специалистом. Хотя всё это можно сделать самостоятельно, либо забить на надстройки и создавать текст в духе ChatGPT, предустановленные параметры заметно облегчают жизнь и помогают ускорить работу с нейросетью.
Запустить модель можно с помощью других вариантов web ui (например, через oobabooga text-generation-webui), но они требуют больше дискового пространства, чаще глючат или ломаются после обновлений. Хотя koboldcpp не так богат по функциональности, зато это ПО поддерживает как старые, так и новые версии моделей, активно взаимодействует с сообществом и регулярно обновляется!
Плюсы WizardLM 30B Uncensored
- Отсутствие цензуры;
- Обширный датасет;
- Отвечает на любые запросы, даже если они не имеют смысла или сделаны ради забавы.
- Большая вариативность, чем у младших моделей;
- Ошибается реже, чем WizardLM 7B;
- Подходит как для креативных задач, так и для практического применения;
- Редко генерирует «роботизированные тексты»;
- Лучше имитирует авторский стиль;
- Надолго удерживает внимание на контенте;
- Нейросеть способна продолжать диалог даже после генерации обширных ответов (этого сильно не хватает в моделях 7B);
- Создаёт стильные рекламные тексты, посты для соцсетей, рассказы (включая NSFW).
Минусы WizardLM 30B Uncensored
- Файл модели занимает много места. GGML-версии размером от 18,3 до 34,6 ГБ не подойдут для локальных машин с ограниченным дисковым пространством;
- Нейросеть очень быстро упирается в RAM на средних ПК. Например, версии q4_0 и q4_1 во время работы занимают 20-23 ГБ RAM, а в процессе генерации крупных кусков текста запросто пожирают до 25-29 ГБ в оперативной памяти системы;
- Медленная скорость работы. Генерация одного крупного рассказа на ПК с 32 ГБ RAM и мощным процессором может занять несколько минут;
- Чаще придумывает несуществующие факты. Вместе с отключением цензуры заметно выросла креативность модели, поэтому готовые тексты нужно внимательно вычитывать, чтобы не допускать ляпы и ошибки;
- Не генерирует ответы на русском языке (впрочем, у нейросети есть проблемы и с восприятием запросов на русском, так что это было предсказуемо).
На мой взгляд, самый большой недостаток WizardLM 30B Uncensored — медленная скорость работы.
Создавая небольшие инструкции, гайды, рекламные посты, либо используя слабую сборку ПК, лучше обратить внимание на младшие языковые модели (7B, 13B). Качество генерации немного упадёт, но при этом быстродействие увеличится в несколько раз и нейросеть не будет так сильно нагружать систему. Особенно это касается старых компьютеров с медленной оперативкой!
Выводы
Если у вас достаточно свободного пространства на диске и свободного времени для экспериментов, новая версия WizardLM поможет вам прокачать творчество и получить эффектные результаты. В остальных случаях лучше озаботиться экспериментами с другими моделями, способными запускаться даже на старых ПК и быстро решать поставленные задачи.
Понравилась статья?
Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!
4 комментария
ЫЕН
Говорит что русский не знает. Никакого русского текста. Впервые вижу такое, зря качал. Модель Q8_0 на 32 Гб, запускается на карте 24 гига с разделением 40/61, остальные слои на 16-ти потоках проца. Скорость терпимая. На этом же железе запускал miqu-1-70b на 48Gb (русский умеет) — скорость очень низкая, из-за этого практически не пригодная.
Tengyart
Спасибо за замечание, добавлю пометку «Не понимает русский язык / не генерирует текст на русском».
Mkhl
WizardLM 30B Uncensored — на русском разговаривает? Какие модели можно скачать на русском?
Tengyart
Насколько помню — да, разговаривает, но качество ответов оставляет желать лучшего. Рекомендую вводить текст на английском и с английского же переводить (например, с помощью DeepL, если возникают трудности с переводом).
Сейчас даже модели с меньшим количеством параметров (OpenHermes 2.5 Mistral 7b и т.п.) могут отвечать на русскоязычные запросы и делают это гораздо быстрее, чем WizardLM 30B, но у них есть другие проблемы — модели сильно упрощают текст, смешивают английский с русским, предложения получаются выхолощенными и пресными. На русском могут отвечать модели вроде GPT-4 и YandexGPT, но они жёстко привязаны к онлайну, не являются локальными моделями и сильно зацензурены, поэтому подходят не для всех задач.
Могу порекомендовать использовать любую модель с большим количеством пользователей в связке с DeepL, хоть WizardLM, хоть OpenHermes или Zephir. Если хватает мощности, лучше брать 20B-30B или 56-70B модели, если важнее скорость, то 7B-13B. Подобрать их под себя можно на странице The Bloke, выпускающего квантованные версии для большей части новинок в различных форматах (GGUF, AWQ, GPTQ).