Alibaba анонсувала нову модель з відкритим кодом для створення кінематографічних відеоматеріалів.

Дмитро Джугалик – журналіст на Mezha.Media. Моїм натхненням є теми, які мене захоплюють, зокрема технології, відеоігри та кінематограф.

Alibaba анонсувала інноваційну модель штучного інтелекту, що може створювати відео з персонажами, використовуючи звук, який нагадує кінематографічний рівень. Wan2.2-S2V оснащена 14 мільярдами параметрів і доступна для використання з відкритим кодом на GitHub і ряді інших платформ.

Нова модель здатна згенерувати високоякісне відео з одного зображення або аудіокліпу. Wan2.2-S2V має універсальні можливості анімації персонажів, які дозволяють створювати відео з різними варіантами кадрування, включаючи портретну, бюст та повну перспективу.

Alibaba каже, що модель здатна динамічно генерувати дії персонажів і фактори навколишнього середовища на основі швидких інструкцій. Готові відео можуть бути у роздільній здатності 480 або 720p.

Wan2.2-S2V поєднує глобальне керування рухами за текстом із дрібними локальними рухами, керованими звуком. Це дозволяє створювати більш природних персонажів навіть у складних ситуаціях.

Китайська компанія підкреслює, що ще одним важливим досягненням моделі є новаторська технологія обробки відео. Ця модель здатна зжимати кадри будь-якої довжини в одну компактну форму, що суттєво знижує вимоги до обчислювальних ресурсів. Проте, компанія не розкриває, до якої саме довжини відеоролики можуть бути створені.