Как реставрировать старые снимки с помощью нейросети

Свои детские фотоальбомы давно листали? – смотреть на многие старые снимки почти физически больно: потертости исказили множество деталей. А если речь идет о документах истории? Архивные фотографии во многом уже не передают реальный облик исторических личностей и географических точек. Чтобы вернуть старым фото оригинальное качество, китайские ученые из компании Tencent создали нейросеть под названием GFP-GAN. Рассказываем, как она работает и для чего подходит лучше всего.
Все эти возможности работающие с изображением нейросети получили благодаря наличию огромных баз готовых к обработке снимков. Более современные проекты нейросетей даже используют в качестве основы другие нейросети. Например, разработчики GFP-GAN основывались на нейросети StyleGAN-2 от NVIDIA. Эта программа стала известна тем, что способна генерировать несуществующие лица людей в таком качестве, что сделанный ею снимок практически невозможно отличить от реального.
Мы протестировали сервисы Huggingface и Replicate.ai при помощи трех снимков известных личностей – Мэрилин Монро, Чарли Чаплина и Одри Хэпберн. Результаты в первых двух случаях оказались на обоих сервисах практически идентичны (неудивительно, ведь нейросеть одна и та же). Единственное отличие заключалось в том,что Huggingface урезал исходный снимок так, чтобы все изображение занимало лицо. Со снимком Одри Хепберн Huggingface почему-то не справился – сервис выдавал ошибку. Replicate.ai, напротив, довольно легко и быстро обработал фотографию. На результаты наших тестов вы можете посмотреть сами:
Наша оценка: нейросеть реально улучшает качество старых снимков – убирает зернистость, пиксельность от фотографий в низком разрешении, удаляет потертости и дефекты. Но лица людей (а именно на их улучшение и нацелена программа) становятся после обработки нереально гладкими, как будто на них нанесли тонны тональника. Сама по себе технология впечатляет – возможно, в будущем вместе другими нейросетями (например, оживляющей старые снимки программой Deep Nostalgia от сервиса MyHeritage) она поможет сделать цифровые клоны известных личностей прошлого.