Алгоритм впізнав справжнє фото за рівними зіницями ока

Американські вчені у пошуках способів навчити нейромережі відрізняти справжні фото від тих, що згенерували інші нейромережі, знайшли підхід, з яким їм це вдається. Так потрібно зазирнути в очі та визначитися: наскільки рівні контури зіниці ока обличчя на фото. Модель буквально перевіряє, чи є зіниці круглими. І якщо вони мають більш рівну форму, то фото можна вважати справжнім, повідомляють автори дослідження, препринт якого доступний на сервісі arXiv.

v2osk / Unsplash

v2osk / Unsplash

У чому проблема розрізнити фото?

Генеративні змагальні мережі (GAN) вміють створювати реалістичні зображення людських облич, як виходить з назви, змагаючись між собою. І їх дійсно складно відрізнити від справжніх фото, тож немає жодної проблеми розмістити такий знімок у соціальних мережах та сприяти поширенню deepfake. Деякі портали, такі як Twitter і Gfycat, оголосили про видалення deepfake-контенту та блокування його видавців. Тому дослідники штучного інтелекту шукають способів навчати одні нейромережі розрізняти продукти, створені іншими, щоб допомагати нам співіснувати у цифровому просторі.

Зазвичай такі методи засновані на пошуках невідповідностей моделей синтезу GAN із тим, якими мають бути реальні обличчя. Нейромережі до речі для цього підзодять набагато краще, адже часто неозброєним оком побачити якісь незначні деталі. Наприклад, рівність зіниці ока. На них до речі часто і налаштовуються подібні нейромережі, які шукають помилки інших — наприклад, за неузгодженістю дзеркальних відблисків рогівки між двома синтезованими очима. Однак, за поганих налаштувань фото, джерел світла або умов навколишнього середовища, а найчастіше за не дотримання портретних налаштувань, метод викличе багато помилкових спрацьовувань.

Порівняння справжньої зіниці зі згенерованою нейромережею (справа). Hui Guo et al. 

Порівняння справжньої зіниці зі згенерованою нейромережею (справа). Hui Guo et al.

Які проблеми у нейромереж з очами?

Щоб усунути ці обмеження і створити більш надійну модель, у цій роботі дослідники Університету Олбані в Нью-Йорку запропонували більш фізіологічний метод, заснований на формі зіниці. Так у здорових дорослих зіниці мають форму, близьку до круглої, а от у згенерованих вона нерівна та еліптична. Це пов'язане з тим, що хоч GAN і добре справляються зі своїми завданнями, тренуючи одна одну у створенні людських облич, вони не навчаються одна одну анатомії людського ока, а особливо геометричних форм зіниць. Тому вчені і спробували підловити на цьому нейромережі та навчили свою виявляти межі зіниць очей на фото.

Як розрізнити фото на око?

Так спершу їхня нейромережа визначає на фото обличчя, затим шукає очі як орієнтир та обмежує їх. За тим, яка вийшла межа, фото присвоюється оцінка. Так гарна округла зіниця реального фото має п'ятірку, а менш гарна згенерованого, оцінюється нижче. Дослідники не виключають, що нейромережа помилиться, якщо на фото у людини будуть пов'язані із формою зіниць захворювання, однак завдяки системі оцінювання, вона просто подасть сигнал, що фото потребує перевірки.