Как пользоваться safetensors — безопасным форматом SD?

Safetensors — формат файлов для нейросети Stable Diffusion, позволяющий защитить ПК от потенциальных угроз безопасности, присущих формату .ckpt, а заодно ускорить загрузку моделей на любых носителях.

Как пользоваться safetensors?

Есть два способа использовать .safetensors — конвертировать модель из этого формата в .ckpt, либо запустить файл в программе, поддерживающей расширение .ST.

Первое решение поможет вам запустить модель практически в любом ПО, даже если оно не обновляется уже несколько месяцев. Это удобно, потому что позволяет не беспокоиться о том, подойдёт ли вам скачанная версия нейронной сети или придётся выбирать другую модель Stable Diffusion.

Однако вместе с конвертацией вы теряете главное преимущество нового формата - быстродействие на любых носителях. Дело в том, что safetensors запускается существенно быстрее ckpt даже на медленных жёстких дисках, не говоря уже о быстрых SSD!

Во втором случае понадобится установить ПО с регулярными обновлениями, активно развивающееся сообществом. Например, Automatic1111.

Причина, по которой я рекомендую именно Automatic1111, довольно проста — webui даже с настройками по умолчанию поддерживает все доступные форматы Stable Diffusion, а с обильной коллекцией расширений легко становится мощнейшим комбайном, способным генерировать крутые изображения без составления зубодробительных запросов.

Для добавления ST в webui достаточно поместить модель в папку models, запустить webui-user.bat и выбрать её в настройках Automatic1111.

Есть ещё несколько нюансов, о которых важно знать!

Во-первых, не все модели формата safetensors одинаковы. Есть полноценные обученные версии, базирующиеся на Stable Diffusion, и есть файлы для улучшения генерации изображений, например, LoRa или LyCORIS. Вторые необходимо добавлять в другую папку и активировать с помощью специального синтаксиса. Попытка использовать «неправильные» модели нейросети приведёт к появлению ошибок или багам во время генерации.

Во-вторых, некоторые модели SD 2+ могут не работать без дополнительной настройки в меню Automatic1111. Если это происходит, попробуйте активировать чекбокс с надписью Upcast cross attention layer to float32 в конце раздела Stable Diffusion (находится в меню программы) и перезапустить webui.

О других проблемах и методах их решения можно почитать здесь.

Понравилась статья?

Поддержите автора репостом, комментарием, подпиской на Telegram и другие страницы!