Нейросети с подачи реставраторов начали мыслить по-дионисийски
Комплекс фресок Ферапонтова монастыря уникален своей полнотой, но даже в нем немало утрат. Фото: Кирилло-Белозерский музей-заповедник
Утраты фресок работы Дионисия в соборе Ферапонтова монастыря XVI века попробуют восстановить с помощью искусственного интеллекта. Впрочем, это восстановление останется виртуальным: дописывать реальные фрески не позволено ни людям, ни роботам
Росписи собора Рождества Богородицы Ферапонтова монастыря в Вологодской области — шедевр древнерусской стенописи, важный не только потому, что это работа мастера Дионисия, но и по той причине, что этот комплекс фресок сохранился практически целиком. «Практически» значит все-таки «не совсем», и эти утраты давно дразнят воображение искусствоведов и сотрудников Музея фресок Дионисия. Разгадать загадку в Кирилло-Белозерском музее-заповеднике решили с помощью модных сегодня нейросетей. Но не на любительском уровне, а с помощью Института космических исследований РАН, точнее, его отделения физических наук.
Музей фресок Дионисия давно на «ты» с компьютеризацией. Из-за того что Ферапонтово находится далеко, а увидеть его хотят очень многие, собор полностью оцифрован, в результате чего создана его 3D-модель, доступная онлайн. В качестве базы для нового проекта использовалась мультиспектральная съемка росписей 2016 года, осуществленная ИКИ РАН, Московским государственным университетом геодезии и картографии, Национальным исследовательским центром «Курчатовский институт» и Государственным научно-исследовательским институтом реставрации (ГосНИИР).
В барабане купола собора в XVIII веке пробили окна, из-за чего часть стенописи исчезла. Фото: Кирилло-Белозерский музей-заповедник
Лакуны во фресках вызваны и временем, и человеческим фактором. В частности, в барабане купола в XVIII веке пробили окна, из-за чего часть стенописи исчезла. В список задач, поставленных перед искусственным интеллектом, включили изображения Спаса Вседержителя, Евы, Мафусаила, Сифа, Иареда, Еноса, Еноха и Ноя.
Для воссоздания утраченных изображений использовалась нейросеть Stable Diffusion. «Нейросеть в целом хорошо справляется с „ретушированием“ и малых, и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук», — считают в ИКИ. При этом заведующий отделом учета и хранения Музея фресок Дионисия Игорь Хоботов, участвовавший в тестировании работы искусственного интеллекта, уточнил, что пока еще не все идеально, есть ошибки: «В частности, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое мы ожидали бы увидеть».
Чтобы подобных недочетов было меньше, базу нейросети пополняют репродукциями фресок аналогичной иконографии и стиля. «Мы готовы не только к традиционным подходам в своей работе, но и к новым, неординарным, — сказала по поводу этого проекта директор Музея фресок Дионисия Ирина Паршукова. — Я считаю, что мы только в начале пути».
Изображение фрески праматери Евы на стене собора Рождества Богородицы Ферапонтова монастыря. Слева фотография фрески в современной состоянии, справа — после реконструкции с помощью нейросети Stable Diffusion. Фото: Российская академия наук
Разумеется, проект реконструкции останется цифровым, дописывать утраченные части фресок на подлинных древних стенах никто не будет. Результаты «тестовых прогонов» конца 2023 года сейчас можно увидеть на сайте РАН в анимационном ролике.
Хотя проект реконструкции ферапонтовских фресок — в России первый, на Западе о подобном начали задумываться еще несколько лет назад. В 2021 году был запущен проект RePAIR («Реконструкция прошлого: искусственный интеллект и робототехника встречаются с культурным наследием»), который направлен на сбор цельных фресок из небольших разрозненных фрагментов стенописи, найденных в Помпеях (сохранилось около 10 тыс. фрагментов, которые лежат в фондах музеев мертвым грузом). В Китае искусственный интеллект работает с фресками пещер Дуньхуана, в Индии — с росписями Аджанты: в обоих этих исторических комплексах со временем появились новые утраты, и состояние их продолжает ухудшаться.
Источник: www.theartnewspaper.ru