модели диффузии текста в изображение

[rochona]

очень искусны в создании новых изображений из текстового запроса, но текущие адаптации этих методов к редактированию изображений страдают от недостатка согласованности и верности исходному изображению. многие из этих несоответствий можно отследить из-за сложности инвертирования процесса генерации изображения. мы представляем новый алгоритм drop-in, называемый e xact diffusion inversion via coupled transformations ( edict), который выполняет генерацию диффузии текста в изображение с помощью обратимого процесса, заданного любой существующей моделью диффузии. используя промежуточные представления, инвертированные из реальных изображений, edict обеспечивает широкий спектр редактирования изображений — от локального и глобального семантического редактирования до стилизации изображений — при сохранении верности исходной структуре изображения.

фон
недавно мир генерации изображений взорвался с появлением Магазин чрезвычайно мощных моделей преобразования текста в изображение. эти модели представляют собой нейронные сети, которые принимают текст описания в качестве входных данных и создают соответствующую картинку, например, как показано ниже из stablediffusion .


эти модели не являются пони с одним трюком; их также можно использовать для редактирования существующих изображений! это аспект, в который мы погрузимся и покажем некоторые захватывающие улучшенные возможности, любезно предоставленные нашим новым методом под названием edict (просмотрите нашу статью для более технических обсуждений, этот блог будет держать все довольно легко).