Что такое матчмув?
Matchmoving, также называемый отслеживанием камеры, — это «процесс сопоставления элементов компьютерной графики с кадрами живых выступлений» . Без matchmoving визуальные эффекты не могли бы существовать, поскольку эффекты не перемещались бы вместе с отснятым материалом. На базовом уровне matchmoving определяет местоположение и движение реальной камеры с использованием маркеров отслеживания и параллакса и применяет данные к камере компьютерной графики. Используя параллакс, программное обеспечение для определения положения камеры может определить положение камеры, оценивая разницу в движении от разных точек отслеживания. Matchmove позволяет цифровым активам легко интегрироваться в кадры живых выступлений, не создавая ощущения скольжения.
В визуальных эффектах есть два типа перемещения: отслеживание камеры и отслеживание объектов. Отслеживание камеры означает определение движения камеры с целью размещения цифрового актива в кадрах живого действия. Отслеживание объекта — это процесс отслеживания движения объекта, чтобы в него можно было скопировать актив. Самая большая разница между этими двумя процессами заключается в том, что отслеживание камеры создает движущуюся копию компьютерной камеры в трехмерном пространстве, тогда как отслеживание объекта создает неподвижную камеру с движущимся объектом, однако оба могут использоваться вместе друг с другом.
Отслеживание камеры требуется, когда камеру необходимо воспроизвести в трехмерном пространстве, чтобы добавить в сцену ресурсы компьютерной графики. Отслеживание объекта требуется, когда компьютерную графику необходимо прикрепить к движущемуся объекту в кадре или актеру необходимо взаимодействовать с элементом компьютерной графики.
Конвейер перемещения совпадений
Важно определить рабочий процесс в рамках matchmoving, поскольку правильное и точное решение камеры может предотвратить возникновение дорогостоящих ошибок в дальнейшем.
Ниже показан идеальный конвейер сопоставления и то, что должно происходить на каждом этапе. Выполнение этих шагов должно обеспечить точное отслеживание камеры и решение, а также свести к минимуму проскальзывание внутри дорожки.
- Исходные кадры Отправка и получение отснятых кадров с пластинки.
- Оценка отснятого материала. Просмотр отснятого материала для выявления потенциальных проблем, а также понимания и описания предполагаемого подхода к отслеживанию.
- Данные камеры/обработка данных. Ввод любых записанных данных камеры и информации о съемочной площадке в программное обеспечение matchmove. Сюда могут входить фокусное расстояние камеры, размеры местоположения, фотограмметрия/сканирование LiDAR, частота кадров и многое другое.
- 2D-отслеживание. Размещение маркеров отслеживания в отснятом материале. В идеале маркеры должны сохраняться на протяжении всего отснятого материала, однако, если это невозможно, важно обеспечить достаточное количество маркеров в каждой точке отснятого материала, чтобы уменьшить ошибки решения.
- Решение камеры. Выполнение решения камеры, которое позволяет программному обеспечению matchmove оценивать положение камеры на основе параллакса маркеров отслеживания внутри сцены.
- Ориентация сцены После завершения расчета камеры компьютерную камеру можно импортировать в 3D-программу, а сцену выровнять по линии камеры так, чтобы пол находился в правильном положении.
- Тестовое решение Затем можно поместить в сцену тестовую геометрию, чтобы убедиться в отсутствии скольжения и успешности отслеживания и решения камеры.
- Компоновка геометрии Как только решение будет признано успешным, заданную геометрию можно построить и разместить в выбранном пользователем 3D-программном обеспечении, таком как Maya, Blender или Houdini.
- Доставка После того, как отснятый материал был отслежен, решен и декорации восстановлены, файл сцены можно сохранить и отправить в следующий отдел студии.
Также важно упомянуть возможные рабочие процессы на случай, если что-то пойдет не так, в том числе попытаться уменьшить количество ошибок решения для более точного отслеживания. Есть много способов сделать это, но стандартный рабочий процесс состоит в том, чтобы посмотреть на браузер отклонений и начать с деактивации всех точек, которые вызывают всплески ошибок решения. Это следует повторять и устранять до тех пор, пока ошибка решения не исчезнет. Другой метод, который можно использовать для уменьшения ошибки внутри трека, — это корректировка параметров камеры при наличии небольших отклонений. Обычной практикой является настройка таких параметров, как фокусное расстояние и дисторсия объектива. Обе эти вещи могут обеспечить более точный путь.
Принципы 3D-перемещения
Данные камеры
Данные камеры необходимы для создания точных дорожек и обработки отснятого материала, включая такую
Важно, чтобы выбранное программное обеспечение для поиска совпадений имело эту информацию, поскольку это повысит точность решения. Благодаря этой информации программное обеспечение имеет лучшее представление о том, где находится каждая точка отслеживания в трехмерном пространстве. Если бы программное обеспечение не имело этой информации, ему пришлось бы попытаться вычислить положение на основе разных значений, что может привести к неверным результатам. Это справедливо и для неверных данных. Например, если фокусное расстояние было неправильным, программе будет сложно определить, где находятся точки в трехмерном пространстве, поскольку программе сообщают, что точка находится ближе/дальше от камеры, чем она есть на самом деле.
Установить данные
Установленные данные необходимо записывать вместе с данными камеры. В то время как данные камеры относятся ко всем изменениям, внесенным в то, как кадр выглядит из объектива камеры, установленные данные относятся ко всей информации о месте съемки, такой как угол камеры, высота камеры, расстояние камеры от объекта. Вся эта информация полезна; однако его чаще используют при компоновке сцены, чтобы получить правильный масштаб сцены. Чем больше данных будет собрано, тем лучше, поскольку это дает художникам-верстальщикам значительно лучшее представление о том, где все находится на самом деле, так что это можно воспроизвести в 3D-среде, что улучшает общий план.
Технические требования
Параллакс
Параллакс — это «количество перспективы в изображении». Обычно оно используется для обозначения очевидного изменения перспективы от одного изображения к другому, хотя технически это называется сдвигом параллакса». По сути, параллакс — это идея о том, что объекты, находящиеся далеко, движутся медленнее по отношению к объектам, расположенным ближе к камере. Параллакс необходим для сопоставления, поскольку он используется для трангуляции положения каждой точки в трехмерном пространстве.
Сцену с очень небольшим параллаксом будет чрезвычайно трудно отследить, поскольку программное обеспечение не сможет определить, где находятся все точки в пространстве. При создании 2D-маркеров отслеживания обычной практикой является наличие точек на переднем, среднем и заднем плане, а также по возможности избегать ложного параллакса.
Узловая Пан
Узловой панорамирование – это значительное отсутствие или полное отсутствие параллакса. Это относится к снимку живого действия, где камера не движется ни в каком направлении, а панорамируется под углом. Как уже говорилось ранее, параллакс — это то, что используется для управления камерой, поэтому его отсутствие невероятно затрудняет хорошее решение. Поскольку для управления камерой используется перспектива, наличие фиксированной камеры означает, что перспектива в кадре никогда не изменится, а это означает, что перспективу нельзя использовать для расчета триангуляции точек в трехмерном пространстве.
Хотя некоторые программы предлагают возможность изменения настроек фиксированной камеры, из-за отсутствия перспективы отснятый материал будет чрезвычайно трудно отслеживать. В случае узловых панорамных снимков очень важно получить заданные измерения, такие как расстояние и размер объекта, чтобы можно было использовать такие методы, как съемка.
Искажение объектива
Известно, что все объективы содержат определенный уровень искажений, причем некоторые страдают больше, чем другие. Искажение объектива означает, что изображение может быть деформировано и выглядеть изогнутым. Искажение объектива становится проблемой при перемещении матча, например, проблематично для решения камеры и построения сцены. По этой причине перед отслеживанием необходимо удалить искажения объектива из отснятого материала.
Точки отслеживания
Точки отслеживания — это места в кадрах, которые отслеживаются. Правильное использование точек отслеживания может быть использовано для создания эффективных рабочих процессов при перемещении совпадений. Если есть набор точек отслеживания по одной или нескольким декартовым координатам (X, Y, Z), их можно установить на плоскости, что поможет определить оставшиеся точки в сцене. Это также значительно помогает с ориентацией сцены после того, как траектория камеры решена. Точками отслеживания должны быть точки отснятого материала, которые содержат уникальные особенности, такие как области с сильно контрастирующими пикселями или уникальными формами.
Размещение
Размещение точек отслеживания очень важно для обеспечения того, чтобы в решатель подавалась правильная информация, а не путала ее и приводила к ошибкам решения. Примером того, чего следует избегать, являются отражения, тени, движущиеся объекты и ложный параллакс. Ложный параллакс означает, что точки размещаются в областях, обычно в углах, очерчивая два объекта, находящихся на разном расстоянии. Ложный параллакс во время автоматического отслеживания, например, точки генерируются на контуре двух зданий, которые перекрываются. Из-за важности параллакса их следует избегать. Кроме того, важно учитывать распределение точек по всему отснятому материалу; важно обеспечить, чтобы на сцене всегда был хороший выбор видимых точек отслеживания. Убедившись, что в кадре всегда есть постоянные точки отслеживания, вы сможете лучше рассчитать параллакс.
Рабочий процесс 3D-перемещения матчей
Рабочий процесс 3D-перемещения в 3DEqualiser начинается с того, что пользователь меняет «среду» программного обеспечения на режим отслеживания, а затем импортирует отснятый материал.
После импорта отснятого материала можно изменить настройки. Здесь используются данные, записанные камерой во время производственных съемок. Можно добавить размер задней пленки, фокусное расстояние и любую другую информацию, сохраненную во время съемки.
Точки отслеживания можно разместить на отснятом материале, управляя щелчком по отснятому материалу. Затем пользователь может получить доступ к параметрам точки отслеживания, что позволит ему изменить режим маркера отслеживания между шаблоном и углом/краем. С помощью настроек точки отслеживания
можно регулировать регионы. Как показано ниже, точка отслеживания разделена на точку, эталонный шаблон и область поиска. Точка отслеживания должна быть размещена примерно в центре маркера отслеживания, при этом эталонный шаблон описывает образец, который необходимо отслеживать, а область поиска
указывает программному обеспечению, в какой области следует искать образец, который был определен в эталонный образец.
После того как настройки точки отслеживания и регионы заданы, точку можно отслеживать по эталону. Затем этот процесс можно повторять до тех пор, пока в сцене не будет достаточно точек отслеживания с достаточным параллаксом для определения движения камеры. Как только пользователь будет доволен всеми точками отслеживания, он может решить проблему, используя ярлык «Alt + C».
После решения проблемы с камерой пользователь сможет просмотреть диаграмму ошибок и отклонений решения, показывая, какие точки менее точны, чем другие. Эту информацию затем можно использовать для удаления точек отслеживания, что делает решение менее точным, и создания новых, где это необходимо.
Когда пользователь будет доволен, он может экспортировать камеру, перемещенную по совпадению, и импортировать ее в Maya, готовую к ориентации и построению сцены, чтобы можно было импортировать ресурсы в сцену.
Рабочие процессы восстановления 2D-изображений
Введение
Удаление буровой установки и восстановление изображения — это процесс удаления нежелательных элементов из отснятого материала. Это могут быть приспособления, такие как провода или тележки для телекамер, или нежелательные элементы, такие как брендинги на зданиях, людях и граффити. На изображении ниже показан пример того, как восстановление изображения и удаление оснастки можно использовать для удаления нежелательных функций.
Узел удаления маркера
Рабочий процесс узла удаления маркеров состоит из использования встроенного рабочего процесса узла удаления маркеров Nuke. Настройка этого рабочего процесса очень проста и состоит из 3 узлов: трекер, рото и удаление маркера. Чтобы этот метод работал, отснятый материал необходимо отслеживать так, чтобы положение удаления маркера могло следовать за маркером, чтобы оно выглядело цельным. Хотя это можно сделать вручную с помощью ключевых кадров, отслеживание отснятого материала значительно улучшает процесс.
Чтобы начать рабочий процесс, пользователю необходимо подключить узел трекера к отснятому материалу. Затем пользователь может создать новый узел трекера, добавить новый трек и разместить его на маркере. После размещения маркера его можно отслеживать.
Отслеживая маркер, можно создать узел поворота и использовать его для размещения эллипса на видеоматериале. При выборе параметров преобразования в каждом узле будут отображаться преобразования по ключевым кадрам и центральная точка. Эти данные можно скопировать из узла трекера, который содержит все данные о том, как маркер перемещается по сцене, на эллипс в узле рото; это делается путем удержания элемента управления при перетаскивании данных преобразования из трекера на данные преобразования в вращающейся форме. Это создаст связь между узлами, показанными зеленой стрелкой. Этот процесс можно повторить еще раз для копирования данных центральной точки.
Когда все данные скопированы, узел удаления маркера можно соединить с узлом рото, отбирая пиксели из окружающей области сцены и скрывая маркер.
Живой патч
Рабочий процесс живого патча аналогичен использованию метода режима удаления маркера, но узел удаления заменяется узлом ротопарисовки.
Следуя тому же процессу, что и раньше, с отслеживанием маркера, пользователь может затем создать узел rotopaint. Выбрав узел rotopaint, пользователь может нарисовать эллипс над маркером.
Пластырь
Последний метод восстановления 2D-изображения/удаления оснастки — заплатка. Метод патчей является наиболее сложным из трех методов, но он также дает более точные результаты, что делает его методом, который обычно используется в промышленности. Причина, по которой этот метод считается более сложным, чем другие, описанные выше, заключается в том, что он заключается в удалении шума из отснятого материала, затем применении клонирования, чтобы закрыть маркер, а затем повторном нанесении зернистости сверху.
Метод начинается с использования узла отслеживания и создания точки отслеживания для отслеживания маркера. Это следует тому же методу, что и другие методы.
Отслеживая отснятый материал, пользователь может затем добавить узел шумоподавления. Настройки, необходимые для удаления шума из видеоматериала, различаются. В основном пользователь будет регулировать значения «количества», «спада» и «гладкости» в настройках узла, чтобы получить желаемый результат.
Как только пользователь будет доволен тем, как отснятый материал был очищен от шума, ему нужно будет применить удержание кадра. Это установит выбранный кадр для воспроизведения на протяжении всего проекта. Кадр, выбранный в пределах удержания кадра, также будет тем же кадром, который использовался при рисовании ротоформы, а также будет использоваться в качестве опорного кадра.
Выделив и удерживая кадр, пользователь может использовать кисть-клон из узла rotopaint, чтобы закрасить маркер отслеживания внутри сцены. Когда маркер отслеживания закрыт, пользователь может затем использовать обычный узел ротации в сочетании с узлом копирования, выбранным в альфа-канале, для создания альфа-маски вокруг маркера отслеживания.
Применение узла premult после предыдущего шага скроет кадры пластины и покажет область внутри рото-формы. Благодаря этому в средстве просмотра пользователь может затем повторно добавить зернистость, используя узел зернистости. Чтобы помочь в этом, пользователь может переключаться между красным, зеленым и синим каналами, чтобы сопоставить зернистость исходного материала.
Когда пользователь закончит добавлять зернистость в ротоформу, теперь скрытый маркер отслеживания можно снова объединить поверх исходного материала. Если что-то выглядит неправильно, перед узлом слияния можно добавить узел уклона, чтобы исправить любые проблемы с освещением.
Сравнение
Из трех методов для достижения наилучших результатов метод патча является, безусловно, лучшим. Это дает пользователю максимальный контроль над тем, как должна выглядеть удаленная область, предоставляя ему максимальную свободу для того, чтобы она выглядела наиболее точно. Такие методы, как узел удаления маркеров, обеспечивают быстрые результаты или легко удаляемые маркеры, например те, которые никогда не засоряются, но не дают хороших результатов, когда требуются более сложные решения. Примером этого может служить случай, когда маркер блокируется деформирующимся объектом — узла удаления маркера будет недостаточно для решения этой проблемы, поэтому потребуется исправление, чтобы дать пользователю максимальный контроль.
