29 февраля 2012 года войдет в историю фотографии как дата революции. В этот день начались поставки Lytro — первой в мире массовой пленоптической фотокамеры, хотя сама технология придумана еще столетие назад. Александр Сергеев объясняет, почему с этим устройством мы скоро забудем, что такое ошибки фокусировки и недостаточная глубина резкости.
Пленоптическая технология, которую на совершенно законных основаниях называют 4D, позволяет делать стереокадры однообъективной камерой. Съемка ведется на максимальной диафрагме, и при этом качество снимков не страдает. Вероятнее всего, эта технология даст новый импульс выдохшейся гонке мегапикселей — точнее, мегалучей, как принято говорить в пленоптическом мире.

Новая камера, которую можно купить примерно за 400 долларов, похожа на брусок длиной 11 см и сечением 4х4 см. На переднем торце — 8-кратный зум-объектив, на заднем — сенсорный экран, на верхней грани — кнопка спуска и слайдер трансфокатора. И больше никаких органов управления. Поверните брусок к объекту съемки и нажмите кнопку. На резкость вы наведете позже, за компьютером, просто кликнув по объекту, который должен быть в фокусе.

У фотографов эта технология вызывает легкое чувство ирреальности, потому что она противоречит многолетнему опыту: если лицо не в фокусе — кадр безнадежен. Печальный факт состоит в том, что никакие чудеса Фотошопа не способны восстановить информацию, утраченную из-за промаха автофокуса, который построил изображение не точно на поверхности ПЗС-матрицы, а немного впереди или позади нее. При таком промахе каждая точка снимаемого объекта дает на светоприемнике круглое пятно. Перекрываясь, пятна от соседних точек лишают картинку четкости. Между тем свет, собранный объективом, способен формировать четкие изображения всех снимаемых предметов — но на разных расстояниях позади объектива (см. врезку «Глубина резкости»). Обычный фотосенсор — пленка или ПЗС-матрица — ставится на определенном расстоянии за объективом и регистрирует распределение освещенности по площади кадра. И как раз в этот момент большая часть переносимой световым потоком информации безвозвратно теряется. Для полного описания светового потока нужно в каждой точке кадра фиксировать не только общую яркость, но и количество света, пришедшего к ней по каждому направлению. Тогда можно, выполнив расчеты, проследить траектории лучей до тех точек, где они фокусируются, и устра нить размытость в любом месте кадра. Физики Эдвард Адельсон (Edward Adel son) и Джеймс Бреген (James Bregen) из Массачусетского технологического института (США) в 1991 году назвали такое описание светового поля пленоптической функцией (от лат. plenus — полный).

Но самое удивительное, что фотосенсор, способный фиксировать пленоптическую функцию, был придуман более века назад, в 1908 году, французским физиком Габриэлем Липпманом (Gabriel Lippmann), который, кстати, в том же году был удостоен Нобелевской премии за изобретение метода цветной фотографии, основанного на явлении интерференции. Нобелевский результат, однако, оказался непрактичным и сегодня почти забыт, а вот идея «интегральной фотографии», как называл свой подход Липпман, хотя и была фактически неприменима в его время, вновь привлекла внимание спустя 80 лет, когда получили распространение ПЗС-матрицы и мощные процессоры.



Стрекоза в очках
Идея Липпмана состояла в том, чтобы поместить перед фотопластинкой решетку из микролинз. Каждая микролинза создает собственное крошечное изображение, из которых, как из пикселей, строится общий вид кадра. Но если вооружиться лупой, то обнаруживается, что каждое микроизображение показывает, каков вид входного отверстия объектива при взгляде из соответствующей точки фотопластинки. Тем самым на снимке фиксируется не только количество света, пришедшего к определенной микролинзе (ему соответствует общая яркость микроизображения), но и то, какой интенсивности световые лучи пришли от разных частей объектива (это видно по распределению яркости внутри микроизображения).

В 1991 году под руководством Адельсона был изготовлен первый прототип пленоптической камеры на основе липпмановского сенсора. В нем использовалась решетка из микролинз размером 100х100. Каждая микролинза строила на своем участке ПЗСматрицы изображение входного отверстия объектива размером 5х5 пикселей. Можно сказать, что первая в мире пленоптическая камера состояла из 10 тыс. крошечных фотоаппаратиков — авторы называют их макропикселями, — каждый с внутренним разрешением 25 пикселей.

Пленоптический сенсор напоминает фасеточный глаз стрекозы с той разницей, что у насекомых фасетки образуют шестиугольную решетку. Но в камере перед сенсором стоит объектив, работающий подобно хрусталику человеческого глаза. Получается что-то вроде стрекозы в очках — такой конструкции природа создать не смогла.

Интересно, что до идеи гибкой перефокусировки создатели первой пленоптической камеры, похоже, не додумались, а отрабатывали на ней получение 3D-снимков и определение расстояний до объектов. Принцип действия такой однообъективной стереокамеры довольно прост. Из 25 пикселей каждого макропикселя можно выбрать отдельно левые и правые и составить из них два изображения размером 100х100 точек (по числу макропикселей, то есть линз перед фотосенсором). Свет, которым сформированы эти два кадра, прошел соответственно через правый и левый края объектива. Это значит, что он дает вид из двух точек, разнесенных примерно на величину диаметра отверстия. Предъявляя эти картинки правому и левому глазу зрителя, можно добиться стереоэффекта. На практике численная обработка в камере Адельсона была несколько более сложной: она задействовала все пиксели и позволяла определять расстояния до разных частей снимаемой сцены.

Пленоптический фронт
Революционные научно-технические идеи и решения лишь на первый взгляд кажутся появляющимися неожиданно. Если внимательно следить за событиями, то можно увидеть, что наступление на новые территории ведется широким фронтом по всему миру.
Например, компания Adobe активно исследует пленоптическую технологию. В 2009 году ею был создан прототип, в котором использовался массив из 19 цифровых фотоаппаратов, каждый разрешением 5,2 Мпикс. Система регистрировала 100 мегалучей. Все ее объективы были настроены на бесконечность, но это не мешало получать резкие 5-мегапиксельные изображения объектов на ближнем плане.

Другая разработка Adobe — массив микролинз, который можно смонтировать перед сенсором обычной цифровой зеркалки, превратив ее в пленоптическую камеру. Интересно, что для увеличения глубины перефокусировки в Adobe используют чередующиеся в шахматном порядке два типа микролинз с фокусным расстоянием, различающимся в три раза. С прошлого года эта технология уже коммерчески доступна через немецкую фирму Raytrix (www.raytrix.de), которая берется за 1,5–2 месяца переделать вашу камеру в пленоптическую со снижением эффективного разрешения всего в 4 раза. Продает она и собственные камеры на адобовском сенсоре. Цена средней в модельном ряду камеры Raytrix R11 с разрешением 11 мегалучей и 3 Мпикс составляет около 25 тыс. долларов.

В университете Сан-Фернандо-де-ла-Лагуна (Испания) разрабатывается пленоптическая видеокамера CAFADIS. Там также ведут эксперименты в области астрофотографии, где пленоптика может отчасти брать на себя функции адаптивной оптики, позволяя восстанавливать четкое изображение, невзирая на турбулентность атмосферы.

Почти неограниченная глубина резкости пленоптических систем очень полезна в микроскопии. Обычно при большом увеличении глубина резкости оказывается столь малой, что трудно даже отыскать нужный объект на оптической оси, особенно если он не лишен подвижности. А вот сделав снимок светового поля, можно спокойно изучать его по слоям. Эта технология уже применяется в микроскопах Eclipse компании Nikon.



4D-камера
Как правило, инновации реализуются в ходе сложного многоступенчатого процесса. Сначала в университетах исследуют фундаментальные принципы, потом в конструкторских бюро создают прототипы новой техники, затем наступает очередь технологов-внедренцев, которые доводят прототип до серийной модели, и наконец за дело берутся фирмы, занимающиеся маркетингом и продажами. Все эти этапы требуют своего особого профессионализма и обычно реализуются разными людьми. Однако создателю камеры Lytro Рену Нг (Yi-Ren Ng) удалось самостоятельно пройти весь этот путь от диссертации по пленоптической технологии, которую он защитил в Стэнфордском университете (выложена на сайте компании lytro.com), до запуска продаж, освещавшегося ведущими бизнес-изданиями Америки. Как тут не вспомнить других выпускников Стэнфорда — Ларри Пейджа и Сергея Брина, которые на основе своей научной разработки — алгоритма ранжирования веб-страниц Page Rank — создали самую крупную в мире интернет-компанию. Массовое внедрение пленоптической технологии может изменить мир фотографии не меньше, чем Google изменил Интернет.

Вместо привычного двумерного изображения пленоптическая камера фиксирует четырехмерное световое поле. Два измерения дает решетка микролинз, расположенных перед ПЗС-матрицей, а еще два — это сетка пикселей в фокусе каждой микролинзы, на которую отображается входное отверстие объектива. Представьте себе две координатных сетки — одну в плоскости сенсора, а другую — в плоскости объектива. Траектория светового луча задается указанием пары координат в каждой из этих плоскостей, а пленоптическая камера фиксирует его интенсивность.

Чтобы перенести фокус в кадре, например с дальнего плана на ближний, надо чисто геометрически последить движение лучей чуть дальше фактического расположения сенсора за объективом и рассчитать, какое они там построят изображение. При этом расстояния до объектов тоже определяются из обработки пленоптических данных. Поэтому на практике достаточно просто кликнуть в любом месте изображения, а дальше программное обеспечения Lytro сделает эту часть кадра максимально резкой. В принципе, можно собрать резкий по всему полю кадр из частей нескольких представлений пленоптического изображения.

Но самое парадоксальное, что перефокусировка отлично работает при полностью открытом объективе. В обычных камерах ради глубины резкости приходится уменьшать диафрагму, сокращая количество проходящего через него света, что часто затрудняет качественную съемку. С камерой Lytro этой проблемы просто не существует: в ее зум-объективе вообще нет диафрагмы — во всех положениях он имеет относительное отверстие 1:2.

Глубина резкости
Чисто теоретически идеально резкое изображение на всех расстояниях дает камера обскура, или «пинхол». По-английски pinhole — «булавочное отверстие». Пройдя через него, свет любого источника попадет в строго определенную точку на светоприемнике. Из таких точек и складывается изображение, которое будет тем резче, чем меньше диаметр отверстия.
Но уменьшая отверстие, мы сокращаем и поток света. Поэтому камера-обскура имеет очень низкую светосилу. Этим, кстати, пользуются фотографы, снимающие архитектуру в многолюдных местах. Чтобы накопить достаточно света, пинхолу нужна многоминутная экспозиция, и постоянно передвигающиеся люди просто не запечатлеваются в кадре.
Если же требуется короткая выдержка, то отверстие приходится расширять и вставлять в него собирающую линзу — объектив. Но теперь уже идеальная резкость достижима не для всех объектов, а лишь для тех, которые находятся на определенном расстоянии перед объективом — точнее, в некотором диапазоне расстояний. Этот диапазон в фотографии называют глубиной резкости.
Глубина резкости быстро сокращается с увеличением диаметра объектива. Это часто используется как художественный прием, но если диапазон глубины резкости мал, то легко промахнуться с фокусировкой и получить бракованный кадр.

Гонка продолжается
Пленоптический кадр нельзя сохранять в привычных графических форматах и обрабатывать в «Фотошопе». Для получения обычных изображений служит специальное программное обеспечение. Пока оно выпущено только для компьютеров Apple — видимо, сказался тот факт, что Рен Нг встречался со Стивом Джобсом и обсуждал возможность применения пленоптической технологии в одной из следующих версий iPhone. Впрочем, с помощью плагина пленоптический кадр можно сразу выложить на сайт, и пользователи смогут сами перефокусировать изображение.

И всё же есть параметр, который не афишируется на сайте Lytro, поскольку может заметно остудить энтузиазм в отношении этой новой камеры. Предельное разрешение кадров, которые можно получить с ее помощью, составляет всего 1080х1080 пикселей. Столько микролинз содержится в ее липпмановском сенсоре. Такое разрешение было в ходу во второй половине 1990-х годов, а сейчас применяется лишь в дешевых веб-камерах. При этом камера отслеживает 10,5 метей, а пленоптическая камера фиксирует его интенсивность. Чтобы перенести фокус в кадре, например с дальнего плана на ближний, надо чисто геометрически последить движение лучей чуть дальше фактического расположения сенсора за объективом и рассчитать, какое они там построят изображение. При этом расстояния до объектов тоже определяются из обработки пленоптических данных. Поэтому на практике достаточно просто кликнуть в любом месте изображения, а дальше программное обеспечения Lytro сделает эту часть кадра максимально резкой. В принципе, можно собрать резкий по всему полю кадр из частей нескольких представлений пленоптического изображения. Но самое парадоксальное, что перефокусировка отлично работает при полностью открытом объективе. В обычных камерах ради глубины резкости приходится уменьшать диафрагму, сокращая количество проходящего через него света, что часто затрудняет качественную съемку. галучей (млн лучей ), для чего в ней стоит 11-мегапиксельная ПЗСматрица. Но она разбита на макропиксели размером 3х3, и потому эффективное разрешение оказывается в 9 раз меньше.

У современных любительских камер разрешение составляет более 10, а у некоторых даже свыше 20 Мпикс. При этом для печати снимков в формате A4 вполне достаточно 5–6 Мпикс. Остальное обычно напрасный расход памяти. Многие фотографы считают, что наращивание числа мегапикселей — чисто маркетинговый прием, и в последнее время производители стали искать другие «продающие» параметры, такие как распознавание лиц или стереосъемка.

Пленоптическая технология должна вновь подхлестнуть гонку мегапикселей, придав ей новый смысл. Ведь для достижения разрешения 5–6 Мпикс в готовом кадре пленоптическая камера должна иметь 50-мегапиксельный сенсор, вроде тех, что ставятся сейчас в среднеформатных Hasselblad’ах стоимостью более миллиона рублей. Сейчас такое разрешение в любительской камере кажется невероятным, но не так ли было и с нынешними 20 Мпикс всего 10 лет назад?