Groq — генератор текста со скоростью до 525 т/с

Что такое Groq?

Groq — нейросетевой генератор, предназначенный для написания текста, изменения и краткого изложения статей. На сайте используются две модели — Mixtral 8x7B и LLaMa 2 70B. Первая пригодится для работы с длинными публикациями (до 32 000 токенов), вторая — для редактирования коротких заметок (до 4096 токенов).

Ключевые особенности и преимущества Groq

• Экстремальная скорость генерации. Mixtral 8x7B выдаёт в среднем 525 токенов в секунду, LLaMa 2 70B — 275 токенов в секунду. Впечатляющий результат, не правда ли? К слову, на видеокарте Nvidia RTX 2070 Super модели меньшего размера (7B) генерируют 40-60 токенов в секунду, а 70B либо вообще не запускаются, либо отвечают со скоростью менее одного токена в секунду (за исключением случаев, когда у вас есть очень большой объём быстрой оперативной памяти);

• Бесплатный сервис. На момент написания статьи Groq позволяет зарегистрированным пользователям генерировать текст без каких-либо ограничений. Единственное, что может помешать вашим экспериментам — это ожидание своей очереди. В среднем оно занимает несколько секунд, но может длиться и минуту-другую;
• Универсальные нейросети, подходящие для разных задач. Mixtral — модель с минимумом цензуры, длиной контекста 32K токенов. Её лучше всего использовать для творчества, написания историй, публицистики. LLaMa — модель с цензурой, небольшой длиной контекста (4K токенов), хорошо справляющаяся с математикой, переводами статей, сокращением текста, поддерживающая не только английский, но и другие языки (включая русский);
• Есть возможность настроить чат, изменив подсказку, количество токенов на входе и выходе, температуру и другие параметры генерации текста;
• Работает как на ПК, так и на смартфонах.

Грок находится на этапе альфа-тестирования, поэтому в будущем условия использования сервиса могут измениться. Например, появятся ограничения на количество бесплатных генераций, оплата по подписке, либо увеличится срок ожидания в очередях, чтобы не перегружать сервера компании. Однако прямо сейчас это один из самых простых способов проверить возможности моделей Mixtral 8x7B и LLaMa 70B!

Как использовать генератор текста?

• Перейти на сайт компании;
• Зарегистрироваться;
• Выбрать модель в левом углу сайта (актуально для запуска на ПК). Если необходимо изменить настройки чата и системный промпт для предварительного «допиливания» нейросети, нажать на иконку с шестерёнкой в правом углу;
• Ввести запрос в поле с надписью Enter prompt here. Рекомендую использовать английский, либо заблаговременно перевести запрос, чтобы получать детальные и качественные ответы. К сожалению, Mixtral практически никогда не отвечает на русском, а ответы LLaMa (на русском) выглядят хуже, чем на английском языке;
• Дождаться конца генерации, затем нажать Copy content (иконку для копирования с двумя листами бумаги), либо на Modify, чтобы изменить контент. Для изменения запроса скопируйте и вставьте его, либо напечатайте заново в поле для ввода текста.

Генератор текста на базе ИИ настраивается таким же образом, как и другие чаты с нейросетями. Если вы хоть раз запускали HuggingChat, LM Studio или GPT4ALL, с интерфейсом и параметрами Groq не должно возникнуть никаких трудностей.

Почему Groq не работает?

• Из-за краткосрочной перегрузки или ошибок сервера, после которых сайт не загружается. Чаще всего проблема возникает из-за внезапного наплыва пользователей. В таком случае стоит заглянуть на сайт позже, а не пытаться по 100 раз обновить страницу в браузере;
• Из-за нахождения в очереди. Когда вы вводите запрос в Грок, есть вероятность, что вас добавят в список ожидания. Это не баг, а фича, поэтому достаточно немного подождать, чтобы получить ответ от нейросети;
• Из-за NetworkError when attempting to fetch resource («Ошибки сети при попытке получить ресурс»). Часто возникает из-за чрезмерной фильтрации и ограничении доступа на стороне сервиса. Если вы сталкиваетесь с подобной ошибкой на сайте, попробуйте использовать VPN с маскировкой реального IP-адреса.

Альтернативы Groq

• HuggingChat. Работает бесплатно, без регистрации и очередей. Может использовать поиск в сети, чтобы улучшить качество ответов на запросы. Генерирует текст не так быстро, как Грок, но предлагает больше моделей (целых семь!), включая LLaMa 2 70B, Mixtral 8x7B, CodeLlama 70B и т.д.;
• Perplexity AI Labs (Playground). Бесплатный доступ к 12 моделям нейросетей. Отличная замена Groq или ChatGPT; работает быстро, стабильно и без регистрации. Как и HuggingChat, может искать публикации в сети, чтобы улучшить качество ответов. Эта функция доступна на главной странице сайта;

• Lex. Его нельзя назвать полным аналогом Groq, потому что Лекс предлагает не только бесплатные, но и платные модели нейросетей. Например, Mistral, GPT-3.5, Claude Instant, GPT 4 Turbo и Claude 3 Opus. Сайт ориентирован не на чат, а на создание публикаций. Генерирует текст небольшими кусочками, поэтому отлично подходит для коррекции черновиков, рерайта, создания коротких постов;
• YandexGPT 2. Главное преимущество нейросети — генерация текста на русском языке. Однако качество ответов хуже, чем у топовых моделей (включая их бесплатные версии), а цензура жёстче, чем в LLaMa 2. Поэтому YaGPT 2 стоит использовать для выполнения простых задач, а всё сложное (и нецензурное) генерировать в других нейронках.

Стоит учитывать, что поиск в сети с использованием нейросетей ненадёжен. Сгенерированные ответы зачастую содержат ложные сведения и устаревшую информацию. Поэтому при использовании нейронных сетей с доступом в интернет всегда делайте вычитку и тщательно проверяйте факты!

Удачных экспериментов~

Понравилась статья?

Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!