Забудьте про дорогие обсерватории: нейросети меняют правила игры

Эволюция технологий наблюдений

Фрески собора Рождества Богородицы Ферапонтова монастыря — единственная роспись великого русского мастера Дионисия Мудрого, дошедшая до нашего времени почти в полном составе и подлинном виде с начала XVI века. К сожалению, в росписи есть некоторые потери, причем часть из них вызвана переделками в самом соборе. В частности, потеряны части фресок, украшающих барабан купола, после того как там пробили окна в XVIII веке.

CNN (Convolutional Neural Network) — это тип нейросети, которая отлично распознает и анализирует изображения. Она автоматически выделяет важные детали, такие как формы и цвета, что делает её идеальной для задач, которые связаны с обработкой и анализом визуальной информации.

Всего 150 лет назад человек наблюдал за Вселенной только невооруженным глазом или при помощи простых телескопов. Так можно было увидеть несколько тысяч звезд и горстку планет. Около века назад ученый Эдвин Хаббл показал, что Вселенная наполнена не только звездами и облаками газа, но и бесчисленными галактиками. По мере совершенствования телескопов в геометрической прогрессии росло и количество видимых небесных объектов, и объем данных для сортировки.

Изображение фрески праматери Евы на стене собора Рождества Богородицы Ферапонтова монастыря. Слева фотография фрески в современной состоянии, справа — после реконструкции с помощью нейросети Stable Diffusion. Заметно искажение черт лица. Изображение ИКИ РАН

Этот прибор также поможет отслеживать космический мусор, а это реально важно. В мире, где количество спутников в небе стремительно растёт, такая возможность — это спасение от возможных столкновений. И возможно, скоро любой школьник с телескопом на балконе сможет следить за тем, как по орбите летают спутники, и даже замечать те, что уже отслужили свой срок. Подобная информация очень пригодится тем, кто запускает новые аппараты.

«В астрономии часто приходится искать иголки в стоге сена», — подчеркивает профессор Аризонского университета Крис Импи. Около 99% пикселей на фотографии из космоса содержат фоновое излучение или свет от других источников. Только в 1% есть тонкие намеки на далекие галактики. Нейронные сети учатся распознавать закономерности выделения галактик. Астрономы начали использовать ИИ для их классификации еще в начале 2010-х годов. За последние десять лет этот метод развился до такой степени, что с его помощью можно классифицировать галактики с точностью до 98%.

Решение, которое напрашивается сегодня, — использовать для этой работы нейронные сети, обученные на большой выборке изображений и способные генерировать картинки «по запросам пользователей». Однако насколько результат их работы будет приемлем с точки зрения искусствоведения?

Хотя первоначальный облик таких произведений мы никогда не узнаем, всегда интересно хотя бы попытаться представить, каким он мог быть. С этим успешно справляются реставраторы, восстанавливающие утерянные изображения из мелких фрагментов и на основе общей карты. Но каждое такое предприятие требует очень много времени и сил.

Обработка данных

Нейросеть в целом хорошо справляется с «ретушированием» не только малых, но и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук.

Пока Максим выискивает звезды, другой учёный из ЮФУ, Денис Кривогуз, вместе с командой работает над анализом того, что происходит у нас на Земле. Он разработал модифицированную нейросеть CNN для анализа спутниковых снимков, которая показывает, как меняется наша планета из-за людей. Сначала работу нейронок проверили на данных зонда LandSat-5 в начале и середине 1990-х годов, а также с помощью топографических карт советского Генштаба. Лучше всего справилась как раз CNN, которая правильно распознала 90% информации (хуже всего показала AdaBoost — 58% точности).

Мы полностью заменили электронику и программное обеспечение, управляющее движением телескопа. Теперь оно может изменять скорость движения мотора 50 раз в секунду. Стандартное оборудование позволяет делать это только 1–2 раза в секунду. Благодаря доработке устройство может наводиться на объект с точностью до 20 микрорадиан. Это очень высокий показатель, уже не любительский.

Астрономы-любители зачастую на одном только энтузиазме проводят бесчисленные часы, наблюдая за всякими объектами в небе, фотографируя их и фиксируя перемещения. И нередко именно любители становятся авторами важных открытий — находят новые кометы и астероиды, первыми замечают вспышки на звёздах, делают уникальные снимки редких астрономических явлений.

Однако до недавнего времени возможности любителей ограничивались несовершенством оборудования. Получить действительно качественные изображения космических объектов, которые могли бы конкурировать со снимками с крупных обсерваторий, было практически невозможно.

Астрономия — это обычно про огромные обсерватории и телескопы, за которые ты и почку продать готов, но в 2024 на международном конкурсе астрофотографии «Astrobin» победил снимок МКС от Максима Хисамутдинова, который заставил специалистов почесать затылки. Почему?

Примеры применения методов искусственного интеллекта для цифровой реставрации памятников древнерусской живописи. Использована запись Республиканской академической русской хоровой капеллы, художественный руководитель Александр Юрлов. Видео: Андреев А. В., Жижин М. Н., Просветов А. В., ИКИ РАН; Хоботов И. С. Кирилло-Белозерский историко-архитектурный и художественный музей-заповедник, 2023

Потому что снимок был сделан на самый обычный телескоп Meade LX200 16″ (ну, цена у него не самая обычная, но это всё ещё не профессиональный уровень). Ведь из-за атмосферных помех, вибраций телескопа и высокой скорости самой станции получить чёткое изображение практически невозможно. В лучшем случае там будет размытое пятно, а на фотографии — еле различимый след. Как он добился такого впечатляющего результата? Да очень просто: Максим использовал собственное изобретение — небольшой девайс на основе нейросетей, который превращает обычный телескоп в ультраточный прибор для съёмки космоса. Представьте, что у вас в руках смартфон с камерой, который снимает лучше, чем какая-нибудь зеркалка. Примерно так.

Земля под наблюдением

«Второй метод — попробовать оценить качество реконструкции с помощью специализированных метрик, также использующих нейронные сети, — поясняет Артем Просветов, ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов, — Первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на «типичном» рисунке. Для расширения выборки к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений. Таким образом, получается две выборки: набор изображений с минимальными повреждениями и серия реконструированных рисунков. Теперь появляется возможность получить статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения «хороших» и реконструированных изображений, тем выше качество реконструкции. Получается, что сравнивается общее впечатление нейронной сети от каждого из наборов изображений, поэтому присутствие конкретного объекта на рисунке играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов».

ИИ отлично зарекомендовал себя в определении известных объектов. Однако он также способен делать новые открытия. В начале 2023 года команда из ЮАР с помощью машинного обучения обнаружила уникальный объект, который может быть остатком от взрыва двух сверхмассивных черных дыр после столкновения. Гипотетически полученные данные позволят провести новый анализ общей теории относительности Альберта Эйнштейна.

Обсерватория Веры Рубин в Чили, которая откроется в 2024 году, будет делать настолько большие изображения, что для просмотра каждого из них целиком потребуется 1,5 тыс. телевизионных экранов высокой четкости. Ожидается, что за десять лет обсерватория сгенерирует 0,5 ЭБ (около 500 тыс. ТБ) данных. Этот показатель примерно в 50 тыс. раз превышает объем информации, которая содержится во всех книгах Библиотеки конгресса США. Алгоритмы ИИ — единственный метод для обработки такого огромного массива данных.

Каждый астроном хотел бы видеть объект наблюдения без искажений, вызванных влиянием атмосферы или вибрациями монтировки, но в реальности избавиться от них было либо невозможно, либо по крайней мере сложно и дорого. Однако технический прогресс открывает новые возможности. Я разработал недорогое малогабаритное устройство, подключив которое к астрономической камере можно увидеть значительно улучшенное изображение на ЖК-дисплее и записать полученные данные на жёсткий диск с максимально возможной производительностью.

Но надо ли стремиться к максимально полному восстановлению? Нейросеть, видимо, действительно может показать нам что-то приближенное к нашему пониманию оригинала, но вполне может быть, что видимые потери для восприятия исторического искусства важны не менее, чем восстановленные фрагменты.

Далее, совместно с учёными из Санкт-Петербургского государственного морского технического университета (СПб-ГМТУ) и Керченского государственного морского технологического университета (КГМТУ) он исследовал изменения на Керченском полуострове за последние 30 лет. Выяснилось, что эти изменения в первую очередь вызваны человеком, а не природой. Причина? Антропогенное воздействие и, в частности, перекрытие Северо-Крымского канала в 2014 году.