Open AI показала нейромережу для створення відео

Компанія OpenAI показала роботу своєї нової нейромережі Sora, яка за текстовим описом створює відео. Ролики поки можуть робити лише ті, кому компанія надала доступ до Sora. Але вже зараз видно, що модель генерує реалістичні відео навіть з кількома персонажами, де пропрацьовує і їхні рухи, і детальний фон. Про нейромережу розповідає New Atlas.

Фрагмент одного з відео, яке зробила нейромережа. OpenAI

Фрагмент одного з відео, яке зробила нейромережа. OpenAI


👋 Слідкуйте за наукою разом з нами — підписуйтеся на наш телеграм та інстаграм, буде цікаво!


Як виглядає робота Sora?

Всі відео авторства нейромережі, що зараз представила OpenAI, за словами компанії, не редагувалися й повністю створені моделлю. Відомо, що модель також може запам'ятовувати персонажів, локації та стилі, щоб створювати кілька роликів на одну тему. Загалом відео мають дуже реалістичний вигляд, якщо не приглядатися, наприклад, на втрачену частину лапи собаки, що біжить. Зараз нейромережу тестують зокрема й для того, щоб унеможливити її використання для створення фейкових відео із політиками чи відомими людьми.


Запит: собаки породи самоїд і золотистий ретривер грайливо гуляють футуристичним неоновим містом уночі. Неонові вогні, що випромінюють сусідні будівлі, виблискують на їхньому хутрі.

Результат:

Open AI


Запит: камера слідкує за білим вінтажним позашляховиком із чорним багажником на даху, коли він їде крутою ґрунтовою дорогою, оточеною соснами на схилах гори. З шин підіймається пил, авто освітлюється сонячним світлом. Дорога плавно згинається вдалину, не видно інших машин чи транспортних засобів. Дерева обабіч дороги — це секвої, повсюди видно зелень. Машину видно ззаду, й видно, як вона легко повертає. Сама дорога оточена крутими пагорбами та горами, а над ними чисте блакитне небо з тонкими хмарами.

Результат:

Open AI


Запит: стильна жінка йде вулицею Токіо, заповненою неоновим світлом й анімованими міськими вивісками. Вона одягнена в чорну шкіряну куртку, довгу червону сукню та чорні чоботи, а також носить чорну сумочку. Також на жінці сонцезахисні окуляри та червона помада. Вона крокує впевнено і невимушено. Вулиця вогка і світло відбивається від землі, створюючи дзеркальний ефект різнокольорових вогнів. Ходить багато пішоходів.

Результат:

Open AI


Запит: кілька гігантських шерстистих мамонтів наближаються, ступаючи через засніжену галявину, їхнє довге шерстисте хутро злегка розвівається на вітрі, коли вони йдуть, а дерева вкриті снігом. Видно засніжені гори вдалині, полуденне світло з тонкими хмарами та сонце високо вгорі. Камера знаходиться знизу, знімаючи мамонта

Результат:

Open AI


Запит: відео із мешканцями Лагоса, Нігерія, у 2056 році. Знято камерою мобільного телефону.

Результат:

Open AI


Запит: вид на острів Санторіні з висоти пташиного польоту у сутінках, видно архітектуру будівель, освітлення створює спокійну атмосферу.

Результат:

Open AI