Технология захвата движения (mocap) записывает реальное движение в виде цифровой трехмерной модели, которую можно использовать в анимационном программном обеспечении для создания новых персонажей и сцен.
Перед аниматорами всегда стояла задача воспроизвести реалистичное движение, и в аналоговую эпоху они часто копировали реальные кадры фильма , чтобы придать персонажам реалистичность — подход, использованный в классическом диснеевском фильме 1937 года « Белоснежка и семь гномов» .
В эпоху цифровых технологий появился ряд методов, позволяющих захватывать, хранить и манипулировать невероятно подробными моделями физического движения. Определенные типы мокапов также могут записывать подробные движения и выражения лица актера, как это показано в знаменитом изображении Голлума Энди Серкисом в трилогии «Властелин колец» . В таких случаях вместо этого часто используется термин «фиксация производительности».
За последние 20 лет произошел взрыв в использовании mocap: от чрезвычайно дорогих систем реального времени, используемых в блокбастерах и видеоиграх, до простых приложений на смартфонах, используемых спортивными тренерами и аниматорами-любителями.
В этой статье мы рассмотрим, как и где mocap лежит в основе растущего числа приложений, а также рассмотрим технологии захвата движения, начиная от классических решений «на основе маркеров» и заканчивая новыми «безмаркерными» подходами. Мы также рассмотрим, как данные Mocap могут храниться и использоваться совместно с приложениями, от кинетического анализа до графического программного обеспечения, а также поделимся кратким обзором того, как данные Mocap преобразуются в привлекательную анимацию.
Несколько приложений
Наибольшее применение mocap, несомненно, находит в сфере развлечений. Классические персонажи фильмов, включая Цезаря из франшизы «Планета обезьян» , дракона Смауга из трилогии «Хоббит» , Нейтири из «Аватара» и многих других, стали возможными только благодаря захвату движения, обеспечивающему уровень детализации и реализма, который невозможно анимировать. только с помощью компьютерных изображений (CGI).
Видеоигры-блокбастеры, включая Halo и Call of Duty, также полностью зависят от mocap, чтобы оживить своих главных героев, а родительские франшизы вкладывают значительные средства в широкий спектр сопутствующих технологий, чтобы погрузить своих пользователей во все более реалистичные действия.
Шведская супергруппа ABBA, широко фигурирующая в заголовках новостей, вернулась с помощью mocap, чтобы запечатлеть свои выступления и воссоздать свои сценические образы 40-летней давности в качестве виртуальных «ABBAtars». Ожидается, что в ближайшие годы эта технология будет принята многими другими ведущими компаниями.
Однако мы не должны упускать из виду и многие другие практические применения, включая анализ лучших спортсменов с целью улучшения их результатов или помощь медицинским работникам в изучении и диагностике проблем кинетики тела. Захват движения также обеспечивает реалистичность сценариев, разыгрываемых в виртуальных средах обучения для военных и гражданских групп реагирования на чрезвычайные ситуации.
Учитывая такой растущий спектр приложений, неудивительно, что базовые технологии mocap продолжают развиваться, предлагая более точный захват движения и при меньших затратах. К ним относятся системы, которые зависят от отслеживания оптических маркеров, такие как классические «костюмы для пинг-бола», которые носят актеры мокапа, и современные инструменты, которые создают 3D-модели только на основе видео.
Далее давайте подробнее рассмотрим технологии mocap.
Мокап на основе маркеров
Самый распространенный и известный метод мокапа использует оптические «маркеры», прикрепленные к ключевым точкам актера (или объекта), которые отслеживаются с помощью нескольких камер. Эти маркеры могут быть либо «пассивными» и отражать свет, либо «активными» и излучать собственный свет. Записанный рисунок движущихся маркеров затем реконструируется в виде 3D-модели с использованием сложного программного обеспечения. Обычно это зависит от создания цифрового «скелета», который соединяет виртуальные копии этих физических маркеров.
Чем больше камер используется, тем точнее захват движения, хотя и за счет значительного увеличения компьютерной обработки. Программное обеспечение также должно учитывать случаи, когда маркеры скрываются или закрываются из-за определенных движений.
Маркеры необходимо располагать осторожно, поэтому актеры часто носят боди с уже прикрепленными ими. Очень маленькие маркеры (всего 3 мм) можно прикрепить непосредственно к лицу актера, чтобы воссоздать движения лица, а все это требует времени и усилий. В обоих случаях имеется оптимальное количество маркеров, чтобы выделить необходимое движение, но не так много, чтобы слишком усложнить необходимую обработку.
Пассивные маркеры отражают только свет и в идеале требуют постоянно освещенной искусственной среды. Поскольку отличить один маркер от другого невозможно, их может быть трудно отследить, если движение сложное, быстрое или включает в себя несколько персонажей. В таких случаях маркеры можно заменить различными типами активных маркеров, излучающих собственный свет от светодиодов. Свет можно модулировать таким образом, чтобы каждый маркер можно было однозначно идентифицировать. Некоторые из них также работают за пределами видимого спектра (например, используя инфракрасный свет), что меньше мешает выступлениям. Во всех случаях они лучше всего работают со специальными сценическими декорациями и студиями, где несколько камер предварительно установлены и откалиброваны с помощью специального освещения и компьютерного оборудования.
Другой подход заключается в использовании неоптических маркеров, которые представляют собой датчики со встроенным измерением инерции или положения, способные независимо отслеживать движение, наклон и вращение в 3D. Эти системы (например, от Rokoko ) снижают затраты, поскольку не требуют установки нескольких камер, а также их легче использовать без специальных декораций (например, отслеживание актера, проходящего курс нападения). Однако они менее точны и не могут отслеживать выражения лица.
Безмаркерный мокап
Описанные выше системы на основе маркеров страдают тем недостатком, что они часто мешают отслеживаемым субъектам или объектам и могут быть дорогими в использовании. Для решения этих проблем появляются две связанные технологии, позволяющие фиксировать движение без использования каких-либо прикрепленных маркеров. Эти «безмаркерные» решения обнаруживают и записывают движение удаленно, оставляя целевых актеров или объекты без каких-либо дополнительных принадлежностей.
Первый — это широкая область «RGB-D», которая сочетает в себе обычное видео RGB с информацией о глубине, обычно получаемой с помощью инфракрасного «умного освещения» или лидара.
Классическим коммерческим примером этой технологии является Microsoft Kinect , который изменил 3D-захват. В самой простой форме мы видим, что такие решения используются для детального статического 3D-сканирования объектов, но в сочетании с подходящим программным обеспечением и несколькими «камерами» их также можно использовать для отслеживания и моделирования движений в реальном времени с удивительной точностью.
Такие решения особенно хорошо подходят для биомеханической оценки, которую продвигают такие компании, как Mar Systems , или для простой, экономичной анимации, такой как решения, предлагаемые Rush Motion .
А что касается второй связанной технологии, поскольку обработка видео и искусственный интеллект продолжают развиваться, даже данные о глубине могут быть получены полуавтоматически, что позволяет добиться мокапа без маркеров с использованием обычных видеокамер. Самые продвинутые из них, такие как Move Ai , могут отслеживать нескольких людей или актеров, движущихся на высоких скоростях (например, занимающихся командными видами спорта).
Безмаркерные решения также могут фиксировать выражения лица с помощью только видео, хотя им все равно требуется прикрепить камеру к каркасу перед лицом актера. Такие решения, как MocapX, достаточно умны, чтобы работать на iPhone, и радикально снизили стоимость по сравнению с традиционными подходами.
Конечно, технологии можно смешивать и сочетать. Например, костюм на основе инерционных маркеров можно объединить с безмаркерной системой на базе телефона, чтобы фиксировать выражения лица и оживлять аватары в реальном времени, как впервые продемонстрировали Kite и Light еще в 2018 году.
Преобразование данных Mocap
Захват данных mocap — это только первый шаг к созданию нимации с реалистичным движением
Форматы файлов
Данные Mocap обмениваются и используются многими различными программными системами, включая инструменты анимации (например, Maya , Cinema 4D ), платформы видеоигр (например, Unity , Unreal ) и пакеты кинетического анализа. Существует также множество онлайн-библиотек, в которых есть стандартные способы обмена бесплатными или коммерческими предварительно записанными движениями. Системы захвата движения обычно хранят данные в собственных форматах, но они также поддерживают экспорт в другие форматы для облегчения обмена.
Одним из самых популярных является C3D (Coordinate 3D), который хранит трехмерные данные в компактной двоичной структуре и является стандартным форматом хранения биомеханических данных. Он одинаково используется как в клинических, так и в более творческих развлекательных целях.
Другие форматы включают формат файлов Adobe FBX (Filmbox), который в основном используется для разработки игр и анимации. Файлы BVH были разработаны для хранения данных персонажей Second Life и различных 3D-видеоигр и до сих пор остаются популярными для более простых приложений.
Для видео, кино и игровых приложений наиболее важным шагом является получение 3D-мокап-данных (часто в форме «скелета») в соответствующем формате файла и сопоставление их с другой моделью, « настроенной » для представления целевого 3D-персонажа. в процессе, известном как ретаргетинг .
Процесс
Большинство, если не все, основных инструментов 3D-моделирования, а также инструменты для видео и игр, имеют специальные функции, упрощающие как ретаргетинг, так и редактирование данных mocap, будь то движение общих форм тела или более детализированные ситуации, такие как палец. движения или выражения лица. Таким образом, персонажу человеческого масштаба, которого играет, например, Энди Серкис, можно придать форму и выражение лица Голлума, или Бенедикт Камбербэтч может превратиться в Смауга.
Вначале обработка данных mocap и рендеринг перенаправленной анимации требовали автономной обработки и отнимали много времени. Благодаря значительному увеличению скорости обработки растет тенденция к обработке в реальном времени не только самого захвата движения, но и рендеринга (черновиков) целевой анимации. Это позволяет актерам и режиссерам получать немедленную обратную связь, помогая добиться желаемого результата.
Для создания окончательных, убедительных анимаций по-прежнему требуется много навыков и творческого художественного вклада, но они могут быть построены на прочной основе самих данных mocap и установлены в любой среде, подходящей для желаемого конечного результата.
Роль mocap продолжает расти во многих отраслях, и мы, вероятно, увидим, что его применение продолжится, поскольку затраты и простота использования будут еще больше улучшаться.
