Stable Diffusion – нейросеть генерации изображений по описанию

Одна из прошлых моих публикаций была целиком и полностью посвящена подробному разбору нейросети DALL-E, которая способна создавать невероятные графические шедевры на основе текстового описания. Я приводил примеры работ, созданные в Dalle-2 и сервисах на основе этой разработки, примеры того, как данная технология может применяться в жизни.

Сегодня хочу рассказать еще об одной удивительной нейросети, которая является полным аналогом Dalle-2, но в отличие от последней, находится в открытом доступе, её можно использовать не только онлайн из браузера, но и установить на свой ПК, чтобы использовать офлайн.

Stable Diffusion онлайн

Поработать с нейросетью прямо из своего браузера, без необходимости что-либо скачивать и устанавливать, можно на сайте DreamStudio Единственное, что вас попросят – создать учетную запись.

Чтобы вместо невнятной невыразительной картинки получить от нейросети достойное изображение, ваш текстовый запрос должен быть построен по определенному алгоритму. В него должны войти:

1. Общая подсказка (идея) того, что вы хотите получить. Например: панда, рыцарь с мечом, кот в сапогах, старый замок и т.п.
2. Стиль исполнения: реализм, абстракционизм, картина маслом, карандашный набросок и т.п.
3. Имя художника, если вы хотите, чтобы картина была выполнена в стиле определенного автора. Например: Леонардо да Винчи, Сальвадор Дали, Винсент Ван Гог, Альбрехт Дюрер и т.д. Вы вольны указывать имена сразу нескольких художников, чтобы получить интересный результат в виде смешения различных стилей.
4. Уточнение. Это финальный штрих, который может дополнить описанный вами образ. Например: сюрреализм, высокое разрешение, мрачный, жизнерадостный, эпичный и т.п.

Чем более подробно и в деталях вы опишите то, что желаете получить, тем лучше будет результат. Но при этом не сильно увлекайтесь, потому что поле ввода текстового описания имеет лимит на количество слов.

Итак, как же пользоваться Stable Diffusion? Переходим на сайт DreamStudio, регистрируемся и оказываемся в онлайн редакторе.

В самой нижней части его окна есть поле, куда надо внести текстовое описание вашего запроса. В правой части окна находится некоторые настройки, влияющие на результат генерации:

• Ширина и высота изображения
• Уровень точного соответствия запросу
• Количество этапов генерации изображения
• Число картинок на выходе и др.

Вы можете ничего не менять в данных настройках, а всё оставить по умолчанию, как есть. По крайней мере, сначала потренироваться с ними, а потом уже экспериментировать.

Обращаю ваше внимание: все запросы вводятся только на английском языке!

Примеры работ, созданных в Stable Diffusion

В качестве примера я ввел следующее описание (на англ.): «портрет красивого рыжего кота рыцаря в доспехах, средние века, картина маслом». И вот что нейросеть выдала мне в результате:

Немного изменю настройки, повысив соответствие запросу (Cfg Scale). В результате получил следующее:

Даже если не менять никакие параметры, а снова и снова нажимать кнопку «Dream», вы  каждый раз всё равно будете получать абсолютно новые уникальные изображения! Возьму еще такой запрос: «Портрет хомяка джедая из звездных войн, сцена на космическом корабле, битва с инопланетянами, реалистичный».

Немного изменив настройки нейросети, получил еще и такие картинки по этому же запросу:

Примеры изображений, созданных в Stable Diffusion другими пользователями:

Еще больше примеров вы найдете на сайте https://lexica.art/, который представляет собой целую галерею арта, созданного в Stable Diffusion.

Stable Diffusion img2img

Эта вариация нейросети позволяет создавать преобразованные изображения на базе уже имеющихся, придавая им новый необычный вид.

Всё что необходимо – зайти на сайт, в левой части окошка загрузить свою картинку и в поле «Prompt» ввести текстовое описание.

Здесь также есть некоторые настройки генерации, которые вы можете изменять. На выходе можно получить нечто подобное (слева исходник, справа — работа нейросети):

Генерация изображений на huggingface может занимать длительное время (до получаса и более), поскольку запросы обрабатываются нейросетью в порядке живой очереди, а желающих поиграть с ней предостаточно. Если вас это не страшит, вот ссылка на Img2Img Stable Diffusion: https://huggingface.co/spaces/fffiloni/stable-diffusion-img2img

Stable Diffusion: скачать и установить на ПК

Помимо онлайн версии, нейросеть имеет еще и офлайн программу, которую можно бесплатно скачать на github.

Вы можете установить данную программу на свой компьютер и использовать её автономно, без необходимости подключения к интернет. Для комфортной работы ваш ПК должен иметь видеокарту с 6Gb памяти минимум и 10 ГБ свободного места на диске.

Процесс установки Stable Diffusion достаточно сложен, неопытные пользователи ПК вряд ли смогут его осилить сами, поэтому даю видео инструкцию:

Совсем недавно на том же github в открытом доступе появилась модификация оригинальной программы, которая устанавливается уже без изнурительных танцев с бубном, буквально в один клик, и имеет приятный интерфейс для работы с настройками, а не командную строку, как в оригинальной сборке.

Данную модификацию можно найти в Google по запросу «stable diffusion installer», а скачать её можно по этой ссылке.  Крайне рекомендую использовать именно этот вариант, особенно новичкам. А чтобы вам было еще проще разобраться с процессом установки, обязательно посмотрите это видео:

Отличия онлайн и офлайн версий Stable Diffusion

Функционально две версии нейросети Stable Diffusion ничем не отличаются друг от друга – они имеют один и тот же алгоритм генерации в основе, и качество создаваемых искусственным интеллектом картинок будет идентично. Различие состоит в другом.

В онлайн версии после регистрации вам даётся 200 кредитов, которые расходуются на генерацию изображений. Если вы не будете менять настройки, то этого количества кредитов хватит на создание 200 картинок. После того как вы израсходуете все кредиты, вы можете пополнить их количество за дополнительную плату.

Офлайн версия Stable Diffusion не имеет ограничений на количество генерируемых изображений. И хотя работа нейросети в браузере и без того весьма быстрая, в программе всё генерируется еще гораздо быстрее.

Итог

Stable Diffusion даёт пользователям потрясающую возможность создавать необыкновенные картины и иллюстрации, основанные только на текстовом описании. Нейросеть работает быстро даже в браузере через интернет, поэтому если вы не намерены генерировать сотни изображений при помощи нейросети, вряд ли вам стоит скачивать и устанавливать её на свой компьютер.

И напоследок один совет: если качество выдаваемых нейросетью картинок оставляет желать лучшего, попробуйте менять содержание запроса. При этому неплохо было бы изучить результаты тех пользователей, кто уже неплохо освоил Stable Diffusion. В этом вам поможет ранее упомянутый сайт lexica art. Открывайте картинки и смотрите как были сформулированы их описания – так вы быстрее научитесь создавать правильные запросы к нейросети. Желаю удачи!