Сотрудники Тель-Авивского университета научили нейросеть создавать изображение по длинному описанию объекта без подробностей о его визуальных признаках.
А можно попонятнее?
Обычно при обучении нейросеть получает чёткое описание внешнего вида объектов, но в реальности тексты не всегда столь подробны. Авторы взяли за идею кулинарные рецепты: они обычно не описывают готовое блюдо, но указывают список ингредиентов и этапы готовки.
Обученная на 52 тысячах пар рецептов и фотографий нейросеть смогла создать фотографии блюд по рецептуре с точностью 4,55 балла из 5 возможных. Люди же оценили её работу на 3,72 балла.
Выбранный исследователями подход опирается на проект pic2recipe учёных из MIT. В 2017 году они создали набор данных из 800 тысяч пар рецептов и фотографий блюд и научили нейросеть составлять рецепт по фотографии.
