Я сгенерировал 1000 авто, FLUX.2 как инструмент дизайнера

Представьте, что вы дизайнер. Вам предлагают сделать концепт авто и показывают фотографии BMW, но вы ужасно рисуете автомобили и вообще учились не для этого. Но таск уже закреплен за вами, что же делать? Пора тестировать нейросети, а конкретно FLUX.2.

Я сгенерировал более 1000 авто в различных тестах, по которым мы и пройдемся в этом посте, а в конце придумаем менее уродливую семерку BMW.

тгк: andreev_techart

FLUX любят за реализм, во второй версии ему добавили нативный image-to-image, закрывший главный недостаток - креативность. Теперь он больше похож на инструмент дизайнера, который имеет навыки и насмотренность, а они вам точно пригодятся, потому что:
а. вы прекрасно видите, когда изображение сделано нейросетью, потому что они не могут выдать готовый и качественный результат
б. с нативным i2i workflow стал более контролируемым и визуальным, теперь вы не ограничены только текстом

Мы разберем:

• сильные и слабые стороны FLUX.2 через тесты

• работу с image-to-image

• выведем оптимальные приемы

Что FLUX.2 знает о BMW?

Дальше мы пойдем по тестам в контексте BMW, автомобили и марка не так важны - это может быть персонаж, постер, графика, для теста важна консистентность объекта и ваши знания о нем, чтобы оценить результаты. Вы можете переложить эти выводы на любой другой объект и пользоваться этими знаниями в вашей работе или хобби. Начнем!

Он знает почти все модели и кузова с высокой точностью, даже если набрать не популярные модели: BMW M1, BMW iX2, почившую 6-ую серию - FLUX.2 их выдаст. Тоже самое с редкими версиями, например с BMW e36 alpina b8.

Но чем новее кузов - тем труднее, FLUX.2 сильно тяготеет к ранним G и поздним F кузовам (поздние 10-ые года), возможно из-за датасета самой black-forest-labs и в принципе множества фото именно этих кузовов в интернете. Актуальную пятерку или XM он не знает.

Style-transfer

Нужно понять, как FLUX.2 понимает стиль BMW и переносит его на другие автомобили.

Text-to-Image

Используя только текст - результат плохой, для FLUX.2 BMW стиль - это 10-ые года. Смешивать 2 авто не получается, из промпта: "BMW 1-series in the style of BMW Isetta". Получится либо копейка, либо BMW Isetta, а не желаемый гибрид старого дизайна в новой оболочке.

Детально описывать каждую форму - не оптимальная стратегия, которая скорее и не сработает, плюс дизайнер думает визуально, а не текстом, так что переходим к image-to-image.

Image-to-Image

Здесь все интереснее. Далее будет 3 теста:

1. смешать 2 автомобиля

2. превратить референс в BMW

3. стайлинг под BMW M-Perfomance

Для image-to-image я опирался на гайд по Flux.1 Kontext, официального image-to-image гайда для FLUX.2 я не нашел. Общие советы и подходы "ControlNet'ов" почти не отличаются, эти знания подойдут и для Qwen-Image-Edit.

Mixing

Суть теста - получить гибрид двух автомобилей, я брал только BMW референсы, чтобы сохранить узнаваемый дизайн.

Prompt: "Using the BMW M1 reference image, create a new BMW 3-Series in the same design style. Using the design language and forms from the first reference image, and the construction of the car and scene from the second".

В первом варианте я пытался направить FLUX.2, чтобы он перенес дизайн от первого референса ко второму, но упомянул, что нужна именно BMW 3-серии, я считаю - это ошибка, марка и модель авто имеет сильный вес во FLUX.2, в итоге он просто повторяет один из автомобилей или находит схожий в своей памяти, меняя цвет, ограничиваясь изменением только деталей, а не дизайна всего кузова.

Нужно действовать слегка в обход.

Prompt: "Сombine 2 cars together".

Стоит выбирать более нейтральные слова, "combine" был воспринят слишком прямо, либо FLUX.2 просто запутался.

Prompt: "Make a new car based on these 2 references".
Слева 20 steps, справа 50.

Это максимально нейтральный запрос, без доп. контекста или направления, он сработал лучше остальных.

Я заметил три нюанса:

01 - нужно делать 3+ генерации, с простым текстом и двумя референсами FLUX.2 начинает креативить и баговать. Один из трех автомобилей были гибридами двух рефов - это не высокая статистика, но инструмент рабочий.

02 - популярная модель с узнаваемым дизайном - это красная тряпка для FLUX.2, он перестает думать и копирует морду, диски и дизайн в целом. Подобное нужно обходить, используя не очевидные референсы или детальное описание в промпте.

При 20 шагах FLUX.2 креативнее, чем при 50. Он больше работает с формой, а не деталями. Да, изображение не такое красивое, но вычисления идут на дизайн - это более оптимально, а с "refining and upscale" у FLUX.2 не будет проблем.

Но и багов больше. Как художник, бросивший работу по середине, FLUX.2 иногда не хватает 20 шагов, чтобы дорисовать изображение.

Сделай из этого BMW

Как остановить FLUX.2 от копирования? Нужно действовать в обход, запутывая его референсом или описанием. Здесь я брал совершенно не похожие на BMW автомобили, пикапов BMW вообще не существует - значит ему будет труднее воспроизвести что-то по памяти. Слово "BMW" используется везде, как ссылка на стиль, а форма описана чуть детальнее и прямее.

Prompt: "Make a new BMW car model from this reference".

FLUX.2 лучше понял задачу, определил кузов и отличительные формы, а далее попытался перенести "BMW" на этот референс. Но ему стоит помочь детальным описанием формы: "как перенести этот стиль на референс".

Prompt: "Using this reference, create a new BMW model, preserving the archetype, but completely redesigning the body and form language in the direction of the iconic modern BMW design.".

Первое описание комом, я уточнил, что нужно поменять кузов и формы, но сослался на "modern BMW design", а с этим у FLUX.2 проблемы, он плохо понимает и "modern", и "BMW design". Плюс много лишних слов: iconic, form language, completely. Они не объясняют что-то конкретное и только путают модель.

Prompt: "Redesign the car to match the 90s BMW style, using angular and slightly square shapes, but keeping the overall structure of the car from the reference".

Косвенный референс плюс четкое описание - дали лучший результат, я уточняю "90s style" внутри "BMW" и напрямую описываю угловатые формы, уточняя, что хочу сохранить структуру от референса. В финальном тесте я буду стараться действовать именно так.

Ставим "M-пакет"

Здесь можно немного расслабиться и посмотреть, как FLUX.2 понимает "спортивный" автомобиль и "M-Performance" в частности. Он интересно работает с кузовом, если нет прямого референса, меняет бампера, диски, добавляет детали, при этом референс остается узнаваемым.

Все меняется, если он находит что-то похожее, вместо "Ford F-150 M-Performance" - мы получаем X5M. Но тут есть интересный момент, FLUX.2 похоже узнал Camry и сделал "GR" версию - это literally "спортивная Camry".

Запомните, если вы дизайнер - ваша задача запутать FLUX.2.

FLUX.2, как дизайнер

Здесь 2 основные задачи:

1. понять, как FLUX.2 работает с кузовом автомобиля

2. протестировать подачу и разные стилистики

Измени кузов

Prompt: "Transform this car into a pickup truck, preserving the original design, shapes and details from the reference".

Меняется только название кузова: pickup truck, long, low luxury sedan, two-door roadster, SUV, Off-Road SUV, minivan, hatchback и hypercar.

FLUX.2 очень хорошо справился с:

• pickup truck

• two-door roadster

• hatchback

Плохо с:

• SUV

• hypercar

• long, low luxury sedan

Не консистентно, но хорошо:

• Off-Road SUV

• minivan

Начнем с плохого, чтобы сделать "SUV" и "hypercar" - нужно переделать весь кузов, сохраняя стиль референса - это сложная дизайнерская задача. FLUX.2 и прочие нейросети не волшебная палочка, а инструмент для дизайнера, поэтому здесь больше работы для человека.

"Long, low luxury sedan" описывает ощущение больше, чем кузов - скорее это некорректный промпт, но как тест показательно, что "long luxury sedan" скатывается к Rolls-Royce или Mercedes.

"Minivan" работает 50 на 50, где-то он выдал универсал, а где-то именно минивен.

"Off-Road SUV" в контексте M5 G90 выдал Duster, Subaru и лифтованный X5, что не совсем правильно, но с другими вариантами он попал в точку - проапгрейдил шасси, добавил "off-road" элементы и переделал кузов в SUV, а не выдал аналог узнаваемой модели.

Далее я протестировал точечные правки в кузове:

• удлинить капот

• увеличить колесную базу

• сделать длиннее задний свес

И тут полный провал, возможно слова и задачи слишком специфичные, и не используются в датасете, поэтому FLUX.2 просто не понял, что вообще нужно сделать.

FLUX.2 не красит отдельно дверь или крыло - это не специфичные части, но для него сложно выделить конкретную часть по разбивке, думаю это легко подправить файн-тюнингом, если вам нужно часто работать именно с автомобилями в таком ключе.

Например зеркало заднего вида легко отделить визуально - это самостоятельный объект, с подобными деталями FLUX.2 справляется лучше, на удивление хорошо определив отверстия для воздухозабора.

Количество правок почти не влияет, с одной или тремя - результат один и тот же.

Ты же художник

Любому концепту нужна подача, она поддерживает дизайн, направленный в будущее. Футуристичные или киберпанковые стили помогают, но не в нашем случае. Смотрите. Разобьем этот тест на две составляющие:

1. Дизайн. FLUX.2, как и другие нейросети не понимает его, как форму, нейросеть передает цвет и яркие элементы, остаток уходит на рендер и визуальный стиль. Все попытки смешать "BMW" с футуристичным стилем привели к светящимся деталям и новым дискам, по факту от дизайна здесь ничего и нет. Но есть позитивный вывод - описание самой формы действительно влияет на кузов, описание: "sharp and aggressive body lines". Работает намного лучше, чем: "cyberpunk-inspired design". Потому что нейросеть воспринимает дизайн иначе.

2. Рендер и подача. Готовые "sci-fi" или "cyberpunk" стили вызывают кровь из глаз. Причем они одинаково карикатуры. Все нейронки выделяют шумные дома, вывески, неоновые цвета и перемешивают этот набор в рандомную картину, легко понять каким инструментом она делалась. Контролировать шум и описывать такие стили должен дизайнер.

Хочешь сделать хорошо - сделай это сам.

Промежуточное summary

Выводы к финальному тесту:

Технические:

• делать 3+ генерации

• чем меньше steps - тем FLUX.2 креативнее и не стабильнее

• повысить Guidance при работе с дизайном

Промпт:

• не использовать пустые слова: iconic, form language, completely и т.п..

• слово "BMW" имеет большое влияние на финальный результат и направляет модель в сторону копирования

• четко описывать формы автомобиля

• concept вытаскивает стилистику: маркерный скетч или фото из презентации, а не дизайн

• если подмешать в структуру авто качественную или оценочную характеристику (н-р: luxury long sedan) он выдаст уже не изменение референса, а что-то близкое к luxury + sedan (Rolls-Royce)

• futuristic и cyberpunk стили кринжовые - лучше не ссылаться напрямую

FLUX.2:

• FLUX.2 знает почти все модели и кузова, но не актуальные

• плохо смешивает стили без референса

• в целом понимает построение автомобиля

• визуально может понять модельный год

• плохо работает с отдельными элементами кузова

Делаем новое BMW

Prompt: "Make a new car based on these 2 references. Make a streamline, long sedan with the car design in image 2. Make side doors a bit longer, overall forms of the car more angular and stable. Make wheels more solid and modern. Preserving image 1 as a design base reference".

За основу возьмем новую 7-ую серию и концепт из Cyberpunk 2077, у него выразительные пропорции и интересный дизайн. Я начал с брутфорса итерациями, сделал 12 генераций, чтобы получить основу для финального дизайна.

Сначала я хотел взять вариант слева, но прямо на последней генерации мне попался вот такой вариант - он меньше напоминает актуальную семерку, при этом похож на гибрид E24 и Neue Klasse.

Это почти готовый вариант, но не хватает узнаваемости спереди, интересных дисков и чуть большей детализации в формах.

Я начал с решетки радиатора и попробовал 3 промпта:

1. Split front radiator grille in 2 halves, keep it original shape, material and solid feeling

2. Split the front black part of the car bumper in 2 halves, keep it original shape, color and solid feeling. Add small concave angular shape to it.

3. Split the front upper black part of the car bumper in 2 vertical halves and add small concave angular shape on top of it

У меня было четкое понимание, чего я хочу:

1. разделить моно "решетку" спереди на 2 части

2. добавить небольшую вогнутость по середине сверху и снизу, чтобы она больше напоминала BMW

И тут проявляется нюанс: четко описывать форму - не самая продуктивная затея, трудно описать линии текстом, гораздо проще делать это кисточкой. FLUX.2 и другие t2i / i2i модели не заточены под редактирование изображения, они определяют через VL нужную часть и внутри нее генерируют новую - это не совсем редактирование. Они подходят для работы большими мазками, но им трудно справиться с небольшими правками, которые мне и были нужны, поэтому я использовал старый добрый Photoshop.

Далее я хотел сделать крышу и верхнюю боковую часть более угловатыми и острыми, я пробовал разные варианты:

Prompt: "While maintaining the overall design and proportions of the car, and preserving the back side unchanged, make the side and roof of this car more stable, angular and luxury.".

Я сделал больше быстрых итераций, но в спешке они не сохранились. Здесь такая же проблема, как и с предыдущей правкой - я точно знаю, что хочу поменять, но нейросеть не лучший инструмент для этого, поэтому я просто двинулся дальше.

Заметка: продуктивнее использовать FLUX.2, как генератор набросков и для финального рендера - вы по классике рисуете скетчи руками, на основе них генерируете новые и рендерите при помощи FLUX.2. Правки вносите руками на скетче, но в контексте этих тестов вы не авто дизайнер и плохо рисуете автомобили.

Prompt: "Make wheels of the car more solid, luxury and modern".

Диски - 90% вида автомобиля, поэтому возьмем узнаваемый дизайн от самой BMW. С подобными миксами FLUX.2 справляется очень хорошо, возможно стоит давать рефы отдельно на морду, боковину и крышу, собирая из этого дизайн.

Далее начались небольшие танцы с бубном, чтобы восстановить детали, поменять фары и правильно подкрасить автомобиль. Не буду грузить текстом - правки были небольшие.

Prompt: "Paint the car in a shiny deep beige metallic paint with shiny reflections, fix small BMW logotypes on wheels and the hood, add deep barely noticeable desaturated purple-blue gradient tint to the car windows. And paint wheels to a black color with a mixture of matte and shiny material. Change the background building color to white.".

Последний шаг - цветокоррекция, тоже с помощью FLUX.2, в этом он очень хорошо. Только плохо слушает степень коррекции, для примера я писал: "increase saturation and contrast to make the image more vibrant". Но в отличие от формы, с рендером и цветами лучше поступать косвенно и написать:

Prompt: "Change the time of day to midday. Professional photography with a precise balance of colors and exposure. Dark asphalt.".

Потому что FLUX.2 хорошо понимает, как должен выглядеть яркий день и хорошее качество фотографии - для него это лучшее описание.

Оптимальные приемы

В ComfyUI я использовал самый стандартный FLUX.2 workflow.

С сутевой стороны наиболее рабочими workflow будут:

1. sketch to render

2. object mixing

3. mass ideation

Технические заметки:

• если вы расписываете геометрические изменения кузова, форм, может используете немного терминов - нужно повышать Guidance, я повышал его до 48 при 50 steps, для остального Guidance - 4 достаточно

• выше 50 steps вы можете получить небольшую прибавку в качестве рендера, но в процессе работы больше 50 использовать не имеет смысла, под финал можно взять и 100+

• если вы хотите сделать большое количество вариантов - разумно снизить количество steps до 20 и сохранить noise seed, FLUX.2 довольно стабилен и вы с большой вероятностью повторите тот же дизайн и на 50 steps

• полезно использовать маски, чтобы ограничить изменения только на бампере или фаре, FLUX.2 хорошо справляется, но не так хорошо, как Qwen-Image-Edit

Небольшое замечание - FLUX.2 позволяет работать как "дробью", генерировать каждый раз новый вариант, выбирать лучший и двигаться от варианта к варианту более свободно, так и линейно вносить правки шаг за шагом, контролируя seed. Я больше склоняюсь к гибридному подходу.

Приемы и практики:

• на начальных этапах описывайте общий стиль с характеристиками формы (angular 90s style), делая чуть больше итераций

• далее не цепляйтесь за конкретные детали и широкими мазками итерируйте правки, которые хотите внести

• используйте меньше текста если хотите направить модель в сторону референса (лучше показать, чем объяснять)

• визуальный стиль референса (старая фотография, концепт рисунок, постер) задает контекст и для дизайна, FLUX.2 с большей вероятностью выдаст ретро дизайн, если фотография будет в том же стиле (речь про цвета, обработку фото и общее настроение от него, а не про объект на нем)

• для узнаваемых дизайнов и стилей - давайте косвенное описание

• описывайте геометрические правки максимально прямо

• для подачи и рендера описывайте нужную картину через аналогии, если вам нужна яркая фотография - лучше описать ее через описание сцены, времени суток и общего настроения, чем пытаться конкретно описать цвета, яркость и контраст

Финальное summary

FLUX.2 хорошо подходит для рендера и подачи, позволяет генерировать почти готовые варианты концептов в больших количествах, но тяжело справляется с точечными правками - стоит работать на количество, итерируя большими мазками. Для более точной работы стоит вносить правки руками, перекладывая сложный рендер и другие ракурсы на плечи FLUX.2.

Не стоит опираться на готовые стили по ключевым словам - они выглядят плохо, лучше описать его косвенно. Это касается и дизайна, только здесь вы столкнетесь с копированием устаревшего дизайна, а не плохим визуалом - здесь стоит запутать FLUX.2 через аналогии.

С формами наоборот - нужно действовать максимально прямо, в тупую описывая внешний вид. Image моделей много, но FLUX.2 делает очень чистые формы. Кузов автомобиля - это очень сложная геометрическая фигура, но FLUX.2 идеально отрисовывает поверхности и стыки - это большой плюс.

Минусом является скорость и прожорливость, на моей 5090 и 128 gb оперативной памяти одна генерация занимала от 60 до 200 секунд, занимая примерно 90 gb оперативной памяти (Dev fp8 версия), на самом деле - это не большая проблема, работая параллельно и думая над следующей правкой, время не сковывает вам руки. Тем более, пока я писал эту статью, уже вышел FLUX.2-Klein, он гораздо эффективнее и быстрее. Я тестировал FLUX.1 и FLUX.1-Schnell, второй гораздо быстрее, но проигрывает в качестве, могу ошибиться, но Klein будет иметь те же преимущества и недостатки.

На этом все. Спасибо, что читали. Больше интересного у меня в тг-канале: andreev_techart