home
user-header

                        
                        
NVIDIA научила нейросеть эффективно бороться с шумом на фотографиях
11 июля 2018 г., 16:20 248

Разработчики из NVIDIA создали нейросеть, способную убирать шум с фотографий практически без искажений. Важное отличие этого алгоритма от похожих разработок заключается в том, что его обучали только на фотографиях, на которых уже был шум, рассказывают авторы работы, которая была представлена на конференции ICML 2018.

https://cdn.nplus1.ru/images/2018/07/10/a6196f072958830ba30cf97595c5132a.gif

NVIDIA / YouTube


 

При съемке в условиях плохого освещения фотоаппарат компенсирует недостаток света большей чувствительностью и это приводит к появлению большого количества шума на изображении. Некоторые исследователи применяли к этой проблеме методы машинного обучения, которые позволяли обучать алгоритм убирать шум с изображения. Но обычно для обучения применяются пары, составленные из «зашумленного» и чистого изображений. Это значительно упрощает обучение, но усложняет сбор обучающей выборки для алгоритма, потому что не для всех объектов можно сделать снимки на большой выдержке и с минимальным количеством шумов.

 

Группа разработчиков под руководством Тимо Айло (Timo Aila) из исследовательского подразделения NVIDIA предположила, что в некоторых условиях алгоритм можно обучить восстанавливать сигнал в месте шума, используя только изображения с шумом, то есть не предоставляя ему доступ к искомой части изображения. Вместо обучения на парах с одним чистым изображением исследователи применили обучение на паре изображений со случайным шумом. Разработчики отмечают, что по сути это аналогично тому, как фотоаппарат на длинной выдержке в темноте создает относительно чистое изображение из множества изображений с низкой выдержкой и низким отношением сигнал-шум.

 

 

Исследователи использовали для проверки подхода две сверточные нейросети: для большей части работы применялась сеть U-Net, а для одного из тестов исследователи использовали вместо нее остаточную сеть RED30. Авторы использовали в качестве обучающей выборки 50 тысяч изображений с разрешением 256 на 256 пикселей. Ко всем изображениям добавляли искусственный шум, причем для каждой пары изображений уровень шума был тоже случайным и нейросети необходимо было учитывать это при очистке изображения. Кроме того, алгоритмы обучались на рендерах помещений, фотографиях с нанесенными на них разноцветными надписями и других обучающих объектах.

 

Нейросети обучались в течение нескольких сотен и тысяч эпох (проходов по обучающей выборке), после чего их работу сравнивали с алгоритмами, обучавшимися на парах чистых изображений и изображений с шумом, а также с исходными изображениями. В качестве основной характеристики работы алгоритма авторы использовали пиковое отношение сигнала к шуму (PSNR), которое обычно применяют для оценки алгоритмов для подавления шума. В результате исследователям удалось подтвердить их гипотезу, согласно которой алгоритм можно обучить восстанавливать сигнал, не имея доступа к исходному изображению, с качеством, близким к алгоритмам, обучаемым на чистых изображениях без шума.

 

Помимо применения техники в фотографии, в частности в астрофотографии или съемке в темноте, разработчики также предложили применять ее для повышения качества снимков МРТ и продемонстрировали примеры работы алгоритма на таких снимках:

Снимок МРТ до и после обработки (Jaakko Lehtinen et al. / arXiv.org, 2018)

 

Недавно американские ученые научили нейросеть получать яркие фотографии с минимальным количеством шумов при съемке практически в полной темноте. В отличие от новой работы исследователей из NVIDIA они использовали пары изображений одного и того же места, сделанные с короткой и очень длинной выдержками.

 

N+1

#программирование

Избранное
Чтобы оставить комментарий, вам нужно авторизоваться
с помощью аккаунта в соц.сети
Читайте также

Жаркая ночь свободной женщины (18+)

Вчера угораздило же меня заново зарегистрироваться на местный сайт знакомств. То ли мое вечное одиночество, то ли последние выходные отпуска... Я незнаю. Итак, я зарегистрировалась и посыпались на меня сообщения. Сколько ? Работаешь ? Итд. Видимо на этом сайте "работают". Индивидуалки. Полушутя, игривым тоном я отвечала. Потом ближе к вечеру ажиотаж усилился. Посыпались адреса, номера телефонов , фотографии лица и другого, не менее "важного" места на мужском теле. Заманивают и заманивают. Предложений море: сауна, покататься на машине, приехать в гости, попить пива ... Черт меня дёрнул под своим именем зарегистрироваться , один лишь из ста написал - а я читаю вас ... Остальным было глубоко наплевать - кто я и чем занимаюсь. Потом познакомился один. Фотографию отправил. Такой няшка. Аж слюнки потекли. Но няшка оказался тот ещё крошка. Видимо избалован женским вниманием. Отвечу только после фото ... Заупрямился как бык. Теленочек...

Включите премодерацию комментариев
Все комментарии к этому посту будут опубликованы только после вашего подтверждения. Подробнее о премодерации