однако, если я прошу отредактировать изображение

[rochona]

я хочу, чтобы многие аспекты изображения остались прежними. допустим, у меня есть фотография собаки, занимающейся серфингом, и я хочу отредактировать эту конкретную фотографию так, чтобы она стала фотографией кошки, занимающейся серфингом;


я буду гораздо более придирчивым к редактированию! было бы неплохо, если бы доска для серфинга осталась того же цвета, спасательный жилет того же узора, а вода той же формы. однако эту придирчивость трудно реализовать — вспомните выше, что эти модели обучены восстанавливать изображения из шума. чтобы отредактировать изображение, вы добавляете шум к этому изображению, чтобы оно выглядело как частичная генерация, а затем выполняете генерацию с новыми текстовыми критериями.

так как же нам найти шум для добавления? основной используемый метод, называемый в сообществе img2img и формально sdedit , просто добавляет случайный шум (опять же, статический) к изображению и выполняет генерацию следующим образом. посмотрите ниже:


это работает довольно хорошо, но мы также теряем много деталей в Магазин волнах и спасательном жилете. создавая edict, мы хотели придумать метод редактирования, который действительно фокусировался на сохранении этих мелких деталей. и вот наш результат!


так в чем же суть этого нового подхода?

назидание: edict edits
основная идея edict проста: вместо того, чтобы добавлять шум случайным образом для получения промежуточного представления, мы хотим найти «шумное» изображение, которое точно приведет к исходному изображению, если мы дадим ему исходную подсказку и выполним процесс генерации. интуиция заключается в том, что если мы затем немного изменим текст (например, изменим dog→cat), оставив остальную часть предложения прежней, неизмененный текст приведет к неизмененному изображению. процесс генерации должен происходить так же, как и раньше, за исключением собаки вместо кошки.