Nvidia навчила нейромережу генерувати відео за текстовим описом

Американська компанія Nvidia розробила нейромережу, що здатна генерувати відео за текстовим описом.

Коментарі 824

Нову розробку компанія презентувала на конференції IEEE з компʼютерного зору та розпізнавання образів.

За основу розробки взяті напрацювання нейромережі Stable Diffusion. За словами розробників, навчання йде дуже швидко.

Нейромережа генерує відео з роздільною здатністю до 1280x2048 пікселів з частотою 24 кадри за секунду і враховує близько 4,1 млрд параметрів, з яких 2,7 млрд навчаються на відео. 

Як приклади Nvidia показала згенеровані відео за описами: «Вдягнена в костюм лисиця, що танцює в парку», «Самотній мандрівник у туманному лісі на світанку», «Снігова людина у заметіль» та інші. 

Оскільки це лише дослідницька розробка, про появу нової нейромережі у публічному доступі поки що не йдеться.

За матеріалами Forbes.ua

Обговорити з іншими читачами:
Погода