Нейромережа розфарбувала зняті в ІЧ-діапазоні чорно-білі фотографії

Американські дослідники навчили нейромережу виявляти зв'язок між тим, як об'єкти виглядають в інфрачервоному діапазоні, та їхнім кольором у видимому спектрі. Так їй вдалося відтворити у кольорі чорно-білі фотографії облич, зняті на монохроматичну камеру, чутливу до ближнього інфрачервоного світла. За словами вчених, їхній підхід може стати у пригоді в тих сферах, де використовуються камери нічного бачення і вивчаються чутливі до світла об'єкти. Наприклад, у спостереженні за тваринами. Стаття про нейромережу опублікована у журналі PLoS One.

Навіщо штучному інтелекту розфарбовувати чорно-білі фото?

Звичайні камери збирають сині (B), зелені (G) або червоні (R) пікселі даних для створення кольорового зображення, яке сприймається людським оком. Камери нічного бачення перетворять інфрачервоне світло — за межами видимого для людського ока спектра — у видиме світло, щоб ми могли «бачити у темряві». Але ця інфрачервона інформація дозволяє побудувати лише монохромне зображення. При реконструкції з відтінків сірого в RGB, яскравість, тобто інтенсивність світла, що випромінюється поверхнею, можна отримати безпосередньо з зображень у відтінках сірого.

І багато завдань обробки зображень, комп'ютерної графіки та комп'ютерного зору можна представити як «переклад» вхідного зображення у відповідне вихідне. За аналогією з автоматичним мовним перекладом завдання можна звести до «передбачати пікселі з пікселів». Глибинні нейронні мережі, особливо згорткові нейронні мережі, досягли найефективніших результатів у різних завданнях комп'ютерного зору. І в цій роботі дослідники з Університету Каліфорнії в Ірвайні прагнули оцінити здатність глибинного навчання передбачати видиме забарвлення за чистими інфрачервоними зображеннями, навіть якщо вони і були отримані у темряві. Дослідники сподіваються, що це допоможе у сфері безпеки, військових операціях, спостереженні за тваринами та наукових дослідженнях, де використовуються виключно камери нічного бачення.

Які фото розфарбувала нейромережа?

Для свого дослідження вчені використали чутливо до видимого та ближнього інфрачервоного світла монохроматичну камеру та роздрукували на офісному принтері зображення понад 200 людських облич. Ці зображення вчені сфотографували на різних довжинах хвиль і використали як навчальний матеріал для нейромережі: 140 для навчання, 40 для контролю і 20 для тестування. На роздрукованих зображеннях спектральні профілі відбиття були різними для кожного кольору чорнил CMYK принтера.

Архітектури на основі глибинної мережі U-Net (згорткова нейронна мережа, яка була розроблена для сегментації біомедичних зображень) довели свою здатність генерувати візуально узгоджені реконструкції у форматі RGB, використовуючи лише три вхідні інфрачервоні зображення. За словами вчених, їхня нейромережа наразі обмежена виключно портретними зображеннями, адже навчалася на них, і тому її навряд можна використати для фото іншого типу. Крім того, важливо зазначити, що кольори, які обиратиме нейромережа, щоб розфарбувати знімок, будуть виключно її припущеннями, а не стовідсотковим висновком.

Штучний інтелект вже давно зайняв «візуальну нішу». Від всім відомих діпфейків, які самі ж нейромережі вчаться відрізняти від реальних зображень, до алгоритмів для роботи з відео, які можуть озвучувати їх на власний розсуд або уповільнювати рух окремих об'єктів на них.

---