Нова нейромережа від Meta Make-A-Video вміє створювати відео за текстовим описом. Випробувати її поки не можна, але Meta показала пару прикладів, як-то кінь, що п'є воду, чи приземлення на Марсі космічного корабля. Крім відео на будь-який запит фантазії, Make-A-Video може «оживити» статичну картинку чи «додати креативності» вже готовому відео, прикрасивши деталями. Про розробку компанія повідомляє на своєму сайті.
Збентежений ведмідь грізлі на уроці математики. Meta
Make-A-Video є частиною інструменту Meta, який створює малюнки і за текстовим описом, і ескізами — Make-A-Scene. Тепер після фотореалістичних ілюстрацій розробники взялися за створення відео та показали, як нейромережа може розуміти текстові запити. При створенні відео Make-A-Video допомагає навчена на парах текст-зображення модель, а не навчання на парах текст-відео, що значно прискорило процес розробки. А робити об'єкти на відео рухомими допомогло вивчення закономірностей руху на даних у відеоформаті.
Ось що у Make-A-Video вийшло
Люди будують шосе на Марсі
Лицар верхи на коні у селі:
Панда грає на гойдалках:
Золотистий ретривер їсть морозиво на заході сонця на тропічному пляжі:
Золотистий ретривер їсть морозиво на заході сонця на тропічному пляжі
Так Make-A-Video може і перетворити на відео фото, а також додати деталей у вже готове відео — наприклад, зробити його яскравішим, додати деталей чи навіть змінити рух на ньому.
Статичне фото черепахи
А так Make-A-Video «оживила» фото черепахи
Лише нещодавно всі кинулися створювати картинки за найрізноманітнішими описами у нейромережі від Open AI DALL-E 2. Ми зібрали галерею зі створених ШІ картинок за дуже незвичайними описами. Подивіться на електричних овець та астронавта на коні, поки Meta свою нейромережу на загал не відкрила.