Американские инженеры снабдили фотокамеру специальными датчиками глубины, чтобы автоматически убирать блики и отражения при фотографировании объектов через стекло.
Многие люди хотели бы иметь возможность получать изображения объектов, находящихся за стеклом, как если бы преграда отсутствовала. Ведь наличие стекла неминуемо приводит к присутствию на снимках нежелательного отражения от него. В последнее время программисты увлечённо занимаются поиском соответствующих решений.
Первоочередная проблема состоит в отделении изображения конкретного объекта от всех прочих. Команда исследователей из Массачусетского технологического института (MIT) предлагает использовать для достижения цели тот факт, что стекло даёт не одно, а два отражения, слегка смещённые друг относительно друга.
Их идея заключается в том, чтобы измерять и сравнивать время прихода и интенсивность света, отражённого от близлежащих (стекло) и удалённых (предметы за стеклом) объектов. Для этого учёным понадобилась сверхбыстрая электронно-оптическая камера. Для своей новой системы они модифицировали камеру, добавив ей доступные на рынке датчики глубины, которые обычно используются в популярном игровом контроллере Kinect.
Проблема в том, что Kinect – это коммерческий продукт массового производства и сама по себе эта система слишком медленная, чтобы стать частью чего-то на порядок более высокотехнологичного. Это было не просто, но стало возможным благодаря алгоритму обработки данных, который позволил разделить изображения с разных глубин. Для его создания команда MIT объединила усилия с группой разработчиков Microsoft Research.
"Вы физически не можете сделать камеру, которая будет выхватывать многократные отражения, — рассказывает ведущий автор исследования Аюш Бхандари (Ayush Bhandari) в пресс-релизе MIT. — Это означало бы, что вашей камере придётся получать серию изображений со скоростью света. Так в чём подвох? Мы используем преобразования Фурье".
Преобразование Фурье представляет собой сложную математическую операцию, которая повсеместно используется для обработки сигналов, а именно для разложения их по частотам. Поясним: колебания интенсивности света или сложный звуковой сигнал могут быть представлены в виде беспорядочно прыгающей вверх и вниз сигналограммы, а преобразование Фурье позволяет записать этот хаос в виде последовательности кривых, соответствующих отдельным "чистым" частотам.
При этом каждая частота характеризуется двумя свойствами: амплитудой и фазой. Первый записываемый показатель определяет высоту гребня и отражает вклад, который данная частота вносит в общий сигнал. Фаза описывает расстояние между низшей и высшей точкой кривой. Таким образом, графические изображения нескольких сигналов при наложении друг на друга могут как полностью совпадать, так и сильно отличаться.
Так как свет, отражённый от стекла и объекта, расположенного за стеклом, попадает на датчик с небольшим временным интервалом, на разложении Фурье два сигнала имеют разные фазы. Другими словами, величина фазы может фактически показывать время прибытия сигнала.
Проблема заключалась в том, что определять фазу могут только очень дорогие приборы, а использованные простые датчики ограничиваются измерением энергии падающих на них фотонов. Но Бхандари и его коллеги нашли способ определять фазу из имеющихся параметров, поставляемых дешёвыми сенсорами.
Исследователи в итоге разработали специальную камеру, которая излучает свет только на определенных частотах, и использовали её в экспериментальных работах вместе с датчиками интенсивности отражения. В качестве объектов для съёмки они расставили на разном удалении от камеры несколько отражателей с известными свойствами. В результате им удалось разработать алгоритм, позволяющий рассчитать фазу луча, возвращающегося на датчик, и разделить сигналы от предметов, расположенных на разном удалении от камеры.
Теоретически, если между камерой и интересующим объектом имеется только одно стекло, для отделения отражений достаточно прибора, излучающего всего две частоты. Но на практике такие сигналы не слишком чисты, поэтому для успешного решения задачи учёные использовали камеру, работающую на 45 частотах.
В экспериментальных работах для расчёта фазы время экспозиции составило около одной минуты, но в будущем похожие устройства смогут работать гораздо быстрее.
"Главное, что теперь у нас есть камера, которая раньше никогда не использовалась в качестве механизма для устранения помех на изображениях", – говорит Бхандари.
Стоит отметить, что это не первая технология, позволяющая очистить изображение от бликов при съёмке через стекло. В предыдущих работах для этого использовали анализ фокусного расстояния, поляризацию света и тот факт, что оконное стекло производит не одно, а два отражения, которые немного смещены друг от друга.
