Ученые научились создавать 3D видео из разрозненных медиафайлов
Исследователи из Университета Вашингтона недавно продемонстрировали как 3D видео могут быть воссозданы из разрозненных изображений и ауди файлов. В эксперименте участвовали Том Хэнкс, Дэниел Крейг, и несколько других знаменитостей. Такая разработка может вдохнуть новую жизнь в кинематограф и даже спровоцировать волну идеально подделанных видео, где звезда говорит нечто такое, чего никогда не было.
читать дальше
Технология опирается на достижения в 3D-реконструкции лица, отслеживании, согласовании, мульти-текстурах, моделировании и куклах, разработанных исследовательской группой во главе с доцентом компьютерных наук и инженерии Ирой Кемельмачер-Шлизерман. Видео, которое продемонстрировали экспериментаторы включает в себя фразы от разных знаменитостей и на фоне звуковой дорожки лицо Джорджа Буша, которое было идеально сопоставлено с фразами, интонациями и манерами самого политика. Эта часть наглядно демонстрирует возможности подобного монтажа.
В алгоритмы машинного обучения, разработанного ВУ исследователями входит не менее 200 изображений взятых из интернета, полученных с течением времени, где люди в различных ситуациях и позах . Данный процесс получил название «обучение в дикой природе».
Исследователи также считают, что подобная техника может улучшить ныне существующую форму видео-связи, такую как Skype или FaceTime. В обеих сетях на данный момент используется формат 2D и при должном развитии можно сменить его на более качественную модель.
«Вы могли бы однажды суметь создать 3D модель вашей матери на диване всего лишь с помощью очков дополнительной реальности» - говорит Кемельмачер-Шлизерман: «Да, таких тезнологий еще нет, но все движется вперед. Разве вы не хотели бы заново создать свою мать в трех измерениях?».
Проектирование может в конечном счете заменить нынешний процесс съемки кино. Ведь можно создать фиктивный характер как, например Бенджамин Баттон, где каждый угол и каждое движение Брэда Питта должен был быть записан в контролируемой обстановке. Эти изображения затем должны были быть отредактированы, дабы создать окончательный персонаж, который делает все также как и старик.
Полномасштабная презентация проекта состоится 16 декабря на Международной конференции по компьютерной визуализации.