INSAIT и Netflix представили новый ИИ-инструмент для видео

Министерство образования и науки 8 апреля сообщило о совместной разработке INSAIT и Netflix под названием VOID. Речь идет о модели искусственного интеллекта, которая умеет удалять объекты из видео и одновременно перестраивать сцену так, чтобы изменения выглядели естественно. В публикации говорится, что в отличие от обычных инструментов, которые просто заполняют пустое место, VOID учитывает взаимодействие объектов в кадре. В качестве примера приводится ситуация, когда вместе с человеком исчезает предмет: модель способна смоделировать его естественное движение после удаления человека из сцены. Сообщается, что технология построена на базе CogVideoX и использует подход quadmask для разделения объектов, зон взаимодействия и фона. Для обучения команды INSAIT и Netflix использовали синтетические сцены, созданные в Blender, поскольку реальных обучающих данных для такой задачи почти нет.