Вычислительная фотография — будущее этого искусства.

Вычислительная фотография — современная тенденция развития фотографии, порой способная «сделать из дерьма конфетку», но неспособная превзойти профессионала.

Хороший фотограф способен увидеть сюжет, поймать момент и кадр — в результате получается фотография, которая волнует людей! Пока что никакая программа на это неспособна — нужно всего лишь сделать человекоподобного робота, научить его пользоваться фотоаппаратом и снабдить искусственным интеллектом с навыками профессионального фотографа.

Понятно, что постепенно электронику и программы фотоаппаратов будут улучшать, но надеяться на быстрый прогресс наивно: производителям фотоаппаратов выгодно растягивать этот процесс.

Привожу информацию со страницы https://zen.yandex.ru/media/id/5e3aba66553c206132bf6994/vychislitelnaia-fotografiia-nouhau-kotoroe-v-buduscem-mojet-sdelat-fotografov-bespoleznymi-i-nenujnymi-5fb56030541585566c8a98ca :

Вычислительная фотография: ноу-хау, которое в будущем может сделать фотографов бесполезными и ненужными

20 ноября 2020
5 тыс. дочитываний

Как специалист в области фотографии, я постоянно мониторю новшества, которые происходят в фото-индустрии. Каждый месяц появляются новые камеры, объективы и фото-принадлежности, но концепция съёмки до недавнего времени оставалась прежней.

Всё изменилось в тот момент, когда на свет появилась Вычислительная фотография – способ получения снимков при помощи компьютерной визуализации, который расширяет и дополняет возможности традиционного оптического способа.
Как видно из определения, Вычислительную фотографию невозможно заменить традиционным оптическим способом получения снимков, как и наоборот.

Самым продвинутым инструментом Вычислительной фотографии на сегодняшний день является Google Камера.

Программа Google Камера позволяет делать хорошие фотографии без хорошего фотографа. Её алгоритмы помогают вытягивать снимки до приемлемого уровня и эта помощь особенно заметна в сложных условиях съёмки.

Google Камера позволяет создавать снимки с расширенным динамическим диапазоном. Это особенно полезно при съёмке против солнца или при слабом освещении. Также программа обладает функцией сверх-чёткого зума, то есть изображение не теряет деталей при увеличении.

Интересны возможности по созданию портретов и серийной съёмке с последующим автоматическим выбором лучшего снимка. Это не все возможности, которыми обладает Google Камера.

Исходя только из определения Вычислительной фотографии и той информации, что передовики Вычислительной фотографии в основном работают над приложениями для смартфонов, возникает резонный вопрос:

А зачем вообще нужны эти танцы с бубном, когда есть нормальные камеры?

Для начала неплохо было бы понять и сравнить возможности цифровых камер и смартфонов. Различия между ними довольно очевидны.

• Матрица – в фотоаппаратах матрица традиционно большая, а в смартфонах маленькая. Когда я даю такое общее сравнение, то имею в виду, что разница составляет несколько порядков и это без сравнения качества самой матрицы;
• Объектив – фотоаппараты традиционно имеют хорошую оптику. Даже те модели, у которых объектив не сменяется всё равно лучше по качеству оптики, чем смартфоны. Линзу последних даже смешно называть оптикой, настолько она примитивна;
• Микропроцессор и память – а вот здесь, на удивление многих, смартфоны заметно превосходят фотоаппараты, потому что их характеристики сходны с параметры некоторых простых ноутбуков. Что касается фотоаппаратов, то их процессоры и память сильно урезаны. Это необходимо для уменьшения энергопотребления;
• Программное обеспечение – у фотоаппаратов оно примитивно, глючно и несовершенно, а самое плохое, что оно проприетарное. Другое дело смартфоны – софт постоянно развивается и над ним работает большее число программистов.

ВЫВОД: фотоаппарат с точки зрения физики фотосъёмки выглядит гораздо лучше из-за внушительных размеров матрицы и качества объектива. Однако можно попытаться нивелировать недостатки смартфонов при помощи методов Вычислительной фотографии, потому что железо и софт смартфонов для этих целей подходят куда лучше.

Если Вычислительная фотография в достаточной степени разовьётся на смартфонах, то дальше она перекочует сначала на любительские, а затем и на профессиональные камеры. Это приведёт к тому, что фотографировать смогут даже дети и профессиональный фотограф будет не нужен.

Чтобы лучше понимать процессы, которые происходят в Вычислительной фотографии сегодня, нужно произвести небольшой экскурс в историю и разобраться, откуда она произошли и как развивались.

История Вычислительной фотографии началась предположительно с появления автоматических фильтров, которые накладывались на готовые цифровые снимки. Все мы помним, как зарождался Инстаграм – дюжина программистов просто создала блог-платформу, на которой можно было легко делиться фотографиями.

Успех Инстаграма во многом определили встроенные фильтры, которые позволяли легко улучшать качество снимков. Пожалуй, Инстаграм можно отнести к первому массовому применению Вычислительной фотографии.

Технология была проста и банальна: обычная фотография подвергалась цветокоррекции, тонированию и наложению некой маски (по желанию). Такое сочетание привело к тому, что люди стали массово применять различные эффекты.

Немалую роль в этом сыграло и то, что на момент появления Инстаграма смартфоны снимали с довольно низким качеством.

Внимательно читайте мой текст и всегда помните, что я пишу о Вычислительной фотографии не в целом, а именно через призму съёмки на смартфон. Именно пользователи смартфонов и Инстаграма положили начало этому чудесному явлению и, не побоюсь этого слова, направлению в фотоделе.

С тех пор простые фильтры стали развиваться семимильными шагами. Следующим этапом стало появление программ, которые в автоматическом или полуавтоматическом режимах улучшали имеющиеся снимки.

Обычно дело происходило так: пользователь загружал картинку, затем программа производила автоматические действия по заранее записанному алгоритму, а затем пользователь мог ползунками скорректировать результат работы программы.

Появились программы, которые главным вектором своего развития определили Вычислительную фотографию. Ярким примером является Pixelmator Pro.

Рабочее пространство программы Pixelmator Pro, которое наглядно демонстрирует то, что я описал выше. Скриншот заимствован с официального сайта программы в образовательных целях

В настоящее время обработка фотографий развивается стремительными темпами. Очень большое внимание отдано нейросетям и машинному обучению (см. Adobe Sensei — https://www.adobe.com/ru/sensei.html).

Немало средств и времени уходит и на продвижение методов нелинейной обработки и обработки на лету (см. Dehancer - https://dehancerru.wordpress.com/).

Далее я хочу рассказать об интересном факте, о котором мало кто знает, но он напрямую влияет на понимание принципов работы Вычислительной фотосъёмки.

Ваш смартфон снимает всегда, даже когда Вы его об этом не просите.

Как только Вы открываете приложение Вашего смартфона, которое активирует камеру, то она начинает работать в режиме непрерывной съёмки. При этом на экране Вашего смартфона может обнаруживаться так называемый «отрицательный лаг», то есть на экране Вашего смартфона Вы будете видеть изображение, которое немножко отстаёт от реальности.

Именно благодаря непрерывной цикличной съёмке камера смартфона может делать моментальные снимки сразу после прикосновения к кнопке спуска затвора. Дело в том, что фотография, которую Вы в итоге получите, уже была в буфере, а Вы приказали смартфону просто вытащить её оттуда и сохранить.

Понимание того, что камера смартфона снимает непрерывно, позволит Вам в дальнейшем понять базу, на которой строится 90% Вычислительной фотографии, и называется она стэкинг.

Стэкинг – это результат соединения информации с разных фотографий в одну.

Зная, что смартфон непрерывно делает фотографии, но складывает их в цикличный буфер, мы можем со снимков, которые не стали окончательными, избирательно считывать информацию и с помощью неё дополнять конечную фотографию. Это и есть технология скрытого стэкинга, которая лежит в фундаменте Вычислительной фотографии.

Давайте посмотрим поближе что нам может предложить стэкинг и какую пользу от него ожидать.

• Увеличение детализации – рука фотографа при съёмке со смартфона неизбежно дрожит. В случае с Вычислительно фотографией это даже плюс, потому что происходит маленький сдвиг, который в результате стэкинга улучшает детализацию изображения (получается эдакий органический Pixel Shifting). Но гораздо более привычным примером увеличенной детализации будет не микро, а макро-сдвиг — например, такой, который позволяет из полученных снимков собрать панораму. В самом деле, любая панорама в итоге будет куда более детализированная, чем если бы съёмка осуществлялась на сверх-широкоугольный объектив.
• Расширение динамического диапазона – если есть возможность сделать несколько снимков с разной экспозицией, то в дальнейшем мы можем совместить полученные снимки и лучше проявить детали в тёмных и засвеченных областях.
• Увеличение глубины резко изображаемого пространства – если фокусироваться в разных точках и сделать несколько снимков, то можно значительно расширить ГРИП.
• Снижение шумов – склейка только той информации из кадров, которая заведомо получилась без шумов. В итоге конечное изображение выйдет в целом бесшумным.
• Симуляций съёмки с длинной выдержкой – способ, при котором серия снимков с короткой выдержкой создаёт эффект длинной. Например, этим способом можно «нарисовать» звёздные тропы.

Это был небольшой экскурс в Вычислительную фотографию. Надеюсь, что Вы со мной согласитесь, что развитие таких технологий в будущем позволит делать потрясающие снимки даже ребёнку. Возможно, что прямо сейчас по фотографам «звонят колокола».

Не пропустите новые публикации Фотостудия «ЯНА» (г. Краснодар)

Комментарии

Александр Лаптев
Забываете самое главное — художественное виденье… без него можно получать сколько угодно детализированных, но абсолютно безликих и никому неинтересных г…фоток… Извините за прямоту…

Саша Сиваков
Пффф, с таким условием можно и картины на принтере печатать. Нафига мучиться — кистью рисовать. Это искусство, и ты понимаешь, что это было выполнено с большим трудом, а не сидя за компом в тепле и уюте. Из-за вот таких непонятных программ и умирает искусство.

Борис Потулов
Когда музыка звучала в голове, а затем переносилась на нотоносец — музыка. Когда много этюдов и набросков — картина. Когда сердце болит- стихи, проза, юмор, сатира. Отдали искусственному интеллекту — жвачка. Так и с фотографией. Сначала должно идти творчество твоей души, а затем инструмент, а не наоборот. Перечитайте Носова «Незнайка на Луне», нас готовят на шашлык.

Лично я давно убеждён в том, что производители фотоаппаратов специально морочают голову покупателям фотоаппаратов, насыщая программы, встроенные в фотоаппараты, множество регулируемых параметров, влияющих на качество фотографий и сильно влияющих на цену их изделий.

А надо всего лишь обеспечить фотоаппарат процессором и памятью на уровне современных смартфонов, а также создать программы, способные взять на себя всю настройку и избавить фотографа от рутинных операций по настройке параметров в много-экранных меню.

Убеждён, что когда-нибудь это будет сделано, но не уверен, что доживу до этой счастливой поры!

Приглашаю всех высказываться в Комментариях. Критику и обмен опытом одобряю и приветствую. В особо хороших комментариях сохраняю ссылку на сайт автора!

И не забывайте, пожалуйста, нажимать на кнопки социальных сетей, которые расположены под текстом каждой страницы сайта.
Продолжение тут…