Сучасні системи обробки зображень, наприклад ті, що використовуються в смартфонах, пристроях віртуальної реальності (VR) і доповненої реальності (AR), постійно розвиваються, щоб стати компактнішими, ефективнішими та високопродуктивними. Традиційні оптичні системи покладаються на громіздкі скляні лінзи, які мають такі обмеження, як хроматичні аберації, низька ефективність на кількох довжинах хвиль і великі фізичні розміри.
Ці недоліки створюють проблеми при проектуванні менших, легших систем, які все ще створюють високоякісні зображення. Щоб подолати ці проблеми, дослідники розробили металеві лінзи — надтонкі лінзи, що складаються з крихітних наноструктур, які можуть маніпулювати світлом на нанорозмірі. Metalenses пропонують величезний потенціал для мініатюризації оптичних систем, але вони не позбавлені власних проблем, особливо коли мова йде про захоплення повнокольорових зображень без спотворень.
У недавньому дослідженні, опублікованому в Розширена фотонікадослідники представили інноваційну наскрізну систему обробки зображень metalens, що підтримує глибоке навчання, яка долає багато з цих обмежень. Ця система поєднує металенс масового виробництва зі спеціалізованою системою відновлення зображень, керованою глибоким навчанням. Поєднавши передове оптичне обладнання зі штучним інтелектом (AI), команда досягла повнокольорових зображень із високою роздільною здатністю без аберацій, зберігаючи при цьому компактний форм-фактор, який обіцяє metalenses.
Самі метали виготовляються за допомогою наноімпринтної літографії, масштабованого та економічно ефективного методу, з подальшим осадженням атомного шару, що дозволяє широкомасштабне виробництво цих лінз. Metalens розроблений для ефективного фокусування світла, але, як і більшість metalenses, страждає від хроматичної аберації та інших спотворень через його взаємодію зі світлом різних довжин хвиль. Щоб вирішити цю проблему, модель глибокого навчання навчена розпізнавати та виправляти спотворення кольорів і розмитість, спричинені металами. Цей підхід є унікальним, оскільки він вивчає великий набір даних зображень і застосовує ці виправлення до майбутніх зображень, отриманих системою.
Структура відновлення зображення використовує змагальне навчання, коли дві нейронні мережі навчаються разом. Одна мережа генерує виправлені зображення, а інша оцінює їх якість, підштовхуючи систему до постійного вдосконалення. Крім того, передові методи, такі як позиційне вбудовування, допомагають моделі зрозуміти, як змінюються спотворення зображення залежно від кута огляду. Це призводить до значних покращень у відновлених зображеннях, зокрема щодо точності кольору та чіткості в усьому полі зору.
Система створює зображення, які конкурують із традиційними громіздкими об’єктивами, але в набагато меншому та ефективнішому пакеті. Ця інновація має потенціал для революції в багатьох галузях, від споживчої електроніки, як-от смартфонів і камер, до більш спеціалізованих програм у VR і AR. Завдяки вирішенню основних проблем металевих лінз — хроматичних і кутових аберацій — ця робота наближає нас до інтеграції цих компактних лінз у повсякденні пристрої для обробки зображень.
За словами старшого автора та відповідного автора Джунсука Ро, Му-Еун-Дже наділив професора кафедри спільною посадою в галузі машинобудування, хімічної інженерії та електротехніки в Науково-технологічному університеті Похан (POSTECH, Корея), «Це глибоке навчання- керована система знаменує собою значний прогрес у галузі оптики, пропонуючи новий шлях до створення менших, більш ефективних систем зображення без шкоди для якості».
Здатність масово виробляти високоефективні металеві об’єктиви в поєднанні з корекцією на основі штучного інтелекту наближає нас до майбутнього, де компактні, легкі та високоякісні системи обробки зображень стануть нормою як у комерційному, так і в промисловому застосуванні.