Фото-проект с использованием ИИ
(на примере геля Natura Siberica)

Сегодня без труда в нейронках можно сгенерировать изображение любого товара, если есть исходное фото хорошего качества. Однако, отметим, что в силу того, что в основе многих нейронок находится диффузионная модель, получить точное воспроизведение необходимого товара на изображении довольно-таки сложно, если не сказать, что почти невозможно - всегда будут (пусть и незначительные) отклонения от исходной формы товара.

Изображения такого характера сложно будет разместить, например, на маркетплейсах, где нужно точное изобажение товара, чтобы знакомство покупателя с товаром было наиболее информативным. Хотя, уже встречаются такие примеры, но, думаю, что эти изображения (после генерации в нейронках) были доработаны в фотошопе. Как? Покажу чуть позже.

Получается, что точное воспроизведение на изображении товара возможно только при непосредственной фотосъёмке или при построении качественной, достаточно детализированной 3d-модели товара.

Давайте сравним эти 3 способа создания изображений - посмотрим, какие у них достоинства и недостатки.

Итак, возьмём для примера флакон геля Fresh Lime от компании Natura Siberica. Фотография геля выглядит вот так:

Изображение хорошо смотрится - чётко виден гель, колпачок, этикетка, надписи - всё очень наглядно, изображение контрастно, белый фон не отвлекает внимание зрителя от главного предмета на фото. Такое фото можно разместить в карточке товара на маркетплейсе.

В принципе, если добавить фотографии, показав, как открывается крышечка, консистенцию геля и другие важные ракурсы, связанные с этим гелем, то можно только за счёт этих фотографий создать хорошую карточку товара. Однако, некоторые фото будет сделать не так просто.

Например, я хочу сделать фото геля в руках модели, или хочу показать гель в интерьере (например, в ванной комнате) рядом с полотенцами и образами, которые ассоциируются с принятием душа. Для этого необходимо создать этот интерьер или арендовать соответствующую фотостудию. А это - много денег и огромное количество потраченного на это времени.

Если же добавить серию фотографий геля с разных ракурсов и сделать на основе этих изображений 3d-модель, то можно существеннно сократить временные и финансовые затраты на генерацию новых изображений. Для решения этой задачи нам нужно несколько дополнительных ракурсов геля:

Настройки фотоаппарата (Canon 5D Mark II, объектив Canon EF 24-105mm F/4):

• выдержка 1/125 сек,
• диафрагма F/10,
• ISO 640

Фотосъёмка проводилась с использованием видеосвета YongNuo YNLUX200.

На основе этой серии фотографий в программе BLENDER создаём 3d-модель - это сделать несложно, так как форма геля имеет цилиндрическую форму.

Добавляем этикетку:

Создаём материалы (прозрачный пластик, чёрный пластик колпачка, зелёный цвет самого геля) и добавляем логотип:

Получаем довольно-таки похожий на оригинал флакон геля.

В программе Blender можно без труда вращать эту модель и делать фото с любых ракурсов. Теперь нет необходимости выставлять в фотостудии свет и композицию каждый раз, когда нам нужно новое изобаржения геля. Если также набить руку на создании интересных интерьеров в Blender, тогда вообще можно остановвиться на этом варианте - можно хоть каждый день создавать новые изображения геля с любого ракурса в разнообразных интерьерах. Причём, степень соответствия модели и оригинала будет максимально возможной.

Так как я не силён в создании красивых интерьеров в Blender, то можно в качестве помощника использовать модели генерации изображений - например, Flux, который создаст изображение геля в любом интерьере, органично вписав основной объект в общую композицию.

Для этой задачи мне необходимо создать дополнение к модели Flux в виде Lora, которая будет помогать рисовать именно гель такой формы, какую имеет гель Fresh Lime.

Для обучения LoRa нужна серия исходных изображений флакона геля (датасет) - в моём случае это было 10 изображений с подробным текстовым описанием.

Например, в датасет вошло фронтальное изобажение геля (см. выше), а также гель в наклонном положении:

Гель с верхнего ракурса:

Гель с нижнего ракурса:

Этикетка геля:

Нижняя часть флакона с донышком:

Верхняя часть геля с колпачком:

Запускаем обучение Lora. В итоге: после 7-10 эпох Lora стала выдавать довольно-таки похожую на оригинал форму геля, хотя надписи и логотип всё ещё сильно отличаются от исходных. Но ждать ещё несколько часов обучения Lora, чтобы надписи стали более читабельными, я не буду - мне проще их добавить в фотошопе.

Теперь запускаем программу Comfy UI и формируем в ней проект с использованием модели Flux

Структура рабочих блоков в проекте довольно типичная. Основные узлы - это:

• нода Load Diffusion Model - загрузка модели Flux,
• нода Load LoRA - загрузка нашей LoRa, которую мы обучили на предыдущем шаге,
• нода CLIPTextEncodeFlux - 2 текстовых поля для двух промтов (промт A - набор ключевых слов, промт B - детальное описание будущего изображения),
• нода KSampler - это как раз тот блок, где генерируется изображение (в латентном пространстве),
• нода VAE Decode - блок, где изображение переводится из латентного пространства в обычное, которое можно отобразить на мониторе.
• нода Save Image - сохраняет полученное изображение.

В качестве промтов были использованы следующие текстовые последовательности:

• промт A: ns_gel, green plastic ns_gel with black cap, limes, forest, jungles, stone, stream, tropical plants, sunlight, high detailed photo, photorealism.
• промт B: Central composition. Front view of a jungles. Many tropical plants on a background. Green plastic ns_gel with black cap is on the stone which peeks out of a stream that flows from the depth of the tropical forest. Some limes are to the left and to the right of the ns_gel. Some limes are cut into pieces. Rays of sunlights pass through the foliage of the trees. Telephoto lens. High detailed photo, photorealism. Art light, side light with high contrast.

В качестве ключевого слова для рисования нашего флакона использовалась последовательность букв ns_gel - именно это ключевое слово использовалось во время обучения LoRa.

В итоге - давайте посмотрим результат нескольких генераций изображений в модели FLUX с LoRa:

Ещё раз напомним - эти изображения получены с помощью диффузионной модели Flux, но после были доработаны в фотошопе. Например, посмотрим на то, что нам дала модель Flux и на отредактированный в фотошопе вариант:

При сравнении видно, что исходное изображение геля, полученное в модели Flux, немного уже в диаметре, чем оригинал, а ещё на этикетке некорректно отображается название Fresh Lime и фраза ГЕЛЬ ДЛЯ ДУША. В фотошопе я восстановил форму геля и этикетку с надписями. На следующем изображении можете зажать стрелочки и подвигать их влево-вправо, чтобы увидеть изображение до и после ретуши в фотошопе.

ДО-ПОСЛЕ РЕТУШИ

Ретушь заняла всего несколько минут, поэтому мне нет необходимости ждать дальнейшего обучения Lora. И результат получается довольно-таки достойный.

Да, на получившемся изображении нет многих надписей, которые были на исходной бутылочке геля, но если бы у меня был файл с этими текстами (эти файлы готовят дизайнеры при производстве товаров), то я добавил бы эти тексты в 3d-модель и финальная картинка была бы почти в точности похожа на настоящий гель.

Таким образом, если нам нужное точное изображение геля, мы можем использовать фотографии. Если нужны имиджевые изображения для соцсетей, то можно использовать фото, сгенерированные в Flux (+ небольшая доработка в фотошопе). А если нужно множество ракурсов геля с максимальной точностью в различных интерьерах (например, для маркетплейсов), то можно использовать 3d-модель, созданную в Blender.

Вот как-то так.

Ещё больше примеров сочетания фотосъёмки, 3d-модели и генерации в ИИ - в разделе ИИ-проекты.