Штучний інтелект відрізнив бойовик від фільму жахів за саундтреком

У прагненні дослідити наше сприйняття кіно через музику, американські інженери дали алгоритму послухати 110 саундтреків найкасовіших фільмів різних жанрів і подивилися на те, як музика характеризує кіно через «обчислювальну призму». За темпом, тональністю і мелодією, штучному інтелекту вдалося точно класифікувати жанри кіно, а дослідникам — чисельно описати вплив музики на наше сприйняття, про що вони повідомили у PLOS ONE.

Tima Miroshnichenko / Pexels

Tima Miroshnichenko / Pexels

Навіщо ШІ змусили слухати «Імперський марш»?

Звісно, що головною складовою будь-якого відеоконтенту, чи то кіно, чи то реклама, є візуальна. Дослідження стверджують, що різні жанри фільмів мають навіть характерно різні середні значення яскравості і контрастності: комедії і мелодрами зазвичай вирізняються більш контрастною картинкою, тоді як фільми жахів, фантастика і бойовики візуально темніші. Затим яскравість і насиченість кольорів на екрані пов'язали з відчуттями «краси» і «приємності» у глядачів, а відсутність кольору були, навпаки, пов'язані з «потворністю» і «неприємністю». Однак, невіддільною частиною є і музичний супровід — керівництва зі створення музики для фільмів існували ще з епохи німого кіно початку 20 століття. Тому з появою нових кращих обчислювальних потужностей, дослідники взялися випробовувати звук з фільмів на виявлення емоційного змісту. В одному з найбільших досліджень, за допомогою алгоритмів вдалося проаналізувати звукові характеристики, такі як темп, танцювальність та інструментальність саундтреків з більш як 40 тисяч фільмів і телешоу. Тоді вчені шукали статистично значущі фактори, які могли б натякати на жанр та одразу давати уявлення про те, як продукт буде сприйматися аудиторією.

У цій роботі розробники з Каліфорнійського університету спробували класифікувати жанри більше сотні найкасовіших фільмів, випущених з 2014 по 2019 рік за їхнім музичним супроводом. Це цікаве завдання для штучного інтелекту, адже йому доведеться не лише вичленовувати відмінності між фільмами різних жанрів через саундтреки, а і наосліп класифікувати їх лише на основі найвиразніших, враховуючи, що фільми рідко бувають моножанровими. За словами вчених, хоч тут вони і приділяли основну увагу тому, як музика використовується для підтримки певних емоцій у кіно, її можна розширити і для іншого медіаконтенту.

Як ШІ аналізував кіно?

З обраних 110 фільмів (у тому числі й «Зоряні війни») за допомогою жанрових тегів з сервісу IMDb, вчені обрали бойовики, комедії, драми, фільми жахів, мелодрами і наукову фантастику. Щоб визначити важливість різних музичних характеристик для передбачення алгоритмом кожного жанру фільму, дослідники використовували метод навчання Permutation Feature Importance (PFI). PFI визначає важливість кожного параметра, оцінюючи, як погіршується продуктивність прогнозування після випадкової перестановки значень цього параметра у всіх прикладах набору для аналізу.

Також дослідники проаналізували, чи пов'язані візуальні особливості, які стосуються жанру, з музикою, яку алгоритм відносить до певного виду кіно. Для цього отримані ним дані порівняли із яскравістю та кольорами картинки тих частин роликів, з яких брали музичний супровід для прослуховування алгоритмом. Наприклад, якщо модель виявляє, що музика з певного фільму дуже характерна для комедії (незалежно від фактичних жанрових ярликів фільму), розробники давали їй розглянути і візуальні характеристики, щоб порівняти. Такі порівняння допомогли проаналізувати, чи відповідають музичні патерни, які модель вважає характерними для кожного жанру, візуальним. І загалом, хоч у більшості ці показники збігалися, музичні стилі, які модель навчилася асоціювати з кожним жанром, не завжди збігалися. Наприклад, частина відео з музикою, що підходить для комедії, не зберігали візуальні атрибути комедійного стилю — високої яскравості і контрастності. На думку вчених, цей розрив частково пояснюється тим, що модель не до кінця засвоїла музичні відмінності між жанрами.

Також раніше ми розповідали, як штучний інтелект розпізнав мелодію за активністю мозку, а прослуховування музики перед сном погіршило його якість через те, що мозок не припиняє обробляти інформацію.