• Технологии машинного обучения и нейронных сетей используются в дизайне и ремонте помещений.
• Генеративные нейросети позволяют преобразовывать изображения с сохранением основных элементов и добавлением новых деталей.
• Stable Diffusion - одна из таких технологий, которая используется для создания проектов ремонта.
• Первоначальная задача заключалась в создании модели Stable Diffusion для преобразования интерьера комнаты.
• Были протестированы различные модели Stable Diffusion, включая v1.5, v2.0, v2.1, v3 и Stable Diffusion XL.
• Stable Diffusion XL оказалась наиболее подходящей моделью для решения задачи.
• Для улучшения качества генерации изображений использовались модели ControlNet, такие как Canny и Depth.
• Алгоритм Canny оказался неудачным, поэтому было решено использовать модель определения глубины Intel/dpt-beit-large-512.
• Для решения проблемы с водяными знаками и лишними деталями на изображениях использовались инструменты для удаления артефактов.
• Для улучшения качества генерации изображений и решения проблемы с планировкой использовались различные версии моделей определения глубины и индивидуальная настройка параметров генерации.
• Универсальное решение - StableDiffusionXLControlNetImg2ImgPipeline - позволяет улучшить качество генерации изображений и решить основные проблемы, возникающие при использовании ControlNet с картами глубины.