«Сбер» выпустил нейросеть Kandinsky 6.0, генерирующую видео со звуком

«Сбер» представил нейросеть Kandinsky 6.0 Video, способную создавать короткие ролики с синхронным звуковым сопровождением. Модель интегрирована в «ГигаЧат» и, по заявлению компании, стала первой российской разработкой такого рода.

Для генерации видео достаточно текстового описания сцены или загруженного первого кадра. Звуковой ряд также задаётся текстом: нейросеть может добавить речь, музыку или шумы окружения. Пока максимальная продолжительность ролика ограничена пятью секундами, но в будущем её планируют увеличить.

Пользователь может выбрать качество видео - SD, HD или Full HD. Звук создаётся с частотой 44 кГц, что соответствует стандарту большинства стриминговых платформ. Если звуковое сопровождение не требуется, модель сгенерирует немое видео.

Разработчики отмечают, что Kandinsky 6.0 точнее имитирует физику реального мира по сравнению с предшественницей. По внутренним тестам «Сбера», новая версия превосходит Kandinsky 5.0 в среднем в 71% случаев по всем критериям оценки. Если модели не хватает данных о внешнем виде объекта, она самостоятельно ищет референсы.

Модель выложена в открытый доступ под лицензией MIT. Это позволяет разработчикам бесплатно встраивать её в свои продукты. В «Сбере» полагают, что инструмент пригодится создателям контента для соцсетей, маркетологам и дизайнерам.

Читайте также

Новый гендиректор Apple хочет выпускать устройства чаще и сократить менеджеров

Российский рынок LegalTech вырос на 17% благодаря внедрению нейросетей

Нейросеть OpenAI заявила о решении «задачи тысячелетия», но математик заподозрил плагиат

К банковской тайне допустят только владельцев серверов, а не всех аккредитованных IT-компаний

Государство перевело защиту критической IT-инфраструктуры на риск-ориентированную модель