改めてトラッキング、マッチムーブをする上でのカメラの知識、注意事項等をまとめてみました。
初心者向け内容
BMCC+Blenderでのトラッキングテスト、ちょっと短いのでまた差し替えるかも
マッチムーブ
マッチムーブとは読んで字のごとく動きに合わせると言うことです。
多くの場合実写の映像に対して3DCGを合わせるために実写のカメラの動きを解析してCG上で再現するカメラトラッキングが多いです。
その他に動くオブジェクトに対してCGをあわせるオブジェクトトラッキング、又は2D処理におけるトラッキングになります。
なんでモーションキャプチャなどの技術があるのにそういうやり方をしないのか？
※プリビズなんかでバーチャルカメラはリアルタイムのマッチムーブですね。はやりのARもそうですね。
まだまだモーションキャプチャでは精度や自由度が低くなってしまうため撮影済みの映像から解析することのほうが多いです。その理由のひとつにカメラもあります。
カメラにもそれぞれ個体差や今までに書いているレンズの特性というのはモーションキャプチャでは取得できないためです。
いくら精度の高いモーションキャプチャをしてもそこにレンズの歪みなんかはないのでそういうことです。
最近はマッチムーブ技術の導入としてはかなりラクになっていると思います。
自分が学生の頃やりたいと思った時は4年くらい前ですがフリーだとVoodooくらいしかありませんでした。
今ではAEにも内蔵されているしMochaでも特性を生かしたマッチムーブが可能です。
そしてなんといってもBlenderのマッチムーブ対応です！これは本当に革命的だと思います。
ただ簡単にできる反面精度を出そうと思うとそれなりに知識や数をこなしての経験が大事だと思います。
そんな知識の面を少しでもカバー出来ればと思います。
まずはカメラ！
マッチムーブをする上でとにかく必要なのが画角です。多くのソフトは自動で算出してくれますがデータとしてあった方が良いです。
画角というの以前の話のようにレンズのミリ数（焦点距離）+カメラのアパチャーサイズ（センサーサイズ）で出てくる数値です。ある意味画角が合っていればレンズ、センサーの情報は無くてもマッチムーブとしては成立します。
しかし普通はわかりませんｗ ソフトのオート算出も場合によっては全く違う値を出してしまいます。
なので参考数値としてもレンズ、センサーの情報があるなしで効率が変わってきます。
また、カメラ固定のオブジェクトトラッキングなどの場合カメラ情報がないと画角が合わなくなります。
って事で基本的に撮影時のカメラの情報、レンズの情報が大切になります。
カメラの情報とはセンサーサイズだけと思いがちですが最近では何のカメラで何のモードで撮影したか？という情報でが大事になってきます。
例えは映画等でもよく使われるシネマカメラのRDE、RED EPICであれば最大5Kでの収録が可能ですが、4kであったりHDモードで撮ると画角が変化してしまいます。というのもREDは高解像度で撮れる反面それをスケーリングしてHDなどに圧縮する事をせず、センサーをクロップすることで撮影しています。
なので撮影解像度が下がると使用するセンサーサイズが狭くなっていきます＝センサーサイズが小さくなるのと同じです。
なので同じレンズでも撮影モードで画角が変わってしまうという点で注意が必要です。
もちろんこれはカメラによってくるのでどんなカメラでどんなモードで撮ったのか？を知る必要があります。
これはREDに限らずいくつかのカメラで発生してしまいます。
同じ事になりますが一眼レフなどで撮影となるとセンサーに対して映像は16：9の比率でクロップされるので動画撮影時のセンサーの使われ方をしらべておく必要があります。
例えばNikon D800は写真モード動画モードでREDのようにクロップされて使用されます。
もちろんこれは撮影済みの素材をクロップしてしまっても同じ事になってしまいます。なので素材管理も大事です
次にレンズ。
基本使用したレンズの情報＞ミリ数をメモっておく必要があります。
ただレンズの数値というのは必ずしも正しいと限りません。
当然ズームレンズであればレンズによって正確な値が取れません。さらにレンズ編で書いたようにフォーカスによって画角が多少変化してしまいます。
加えて撮影によってはマウントアダプターやコンバータ等の使用により画角が変わってきます。
※マウントアダプターに関しては基本的に焦点距離は変わらない(合うようにするものなので)ですがコンバータは物によっては焦点距離を変えるものももあるのでより注意が必要です。
このブログでは何度も書いていますがレンズの歪み、レンズディストーションも注意が必要です。
極力トラッキング前に取り除く方が精度の上がったカットに出来ます。
出来れば撮影時にグリッド等の撮影をしておくor事前にライブラリ化しておくと良いと思います。
特にBGに建物や接地のあるもの、画面端から中央に移動したりするものはレンズディストーションを
考慮しないとずれてしまう場合があります。
ソフトによってはある程度オート算出で除去してくれるものもありますがある程度カメラが動いている必要があります。
撮影においてはもうひとつ注意点があります手軽に撮影しようと思うと最近だとスマフォなんかで撮影出来ますが、この時注意しないといけないのがスタビライズ機能です。
デジタルスタビライズの場合光学中心がずれてしまうためマッチムーブに適さない素材となります。
光学中心とは？ってなるかと思いますがパースの中心が常に変化してしまうってことです。
なので解析時ソフトは何が正しいパース＝画角なのか判断ができなくなってしまいます。
これは撮影後スタビライズしたり、素材をスケーリング、ずらしたりしても同じです。
※ソフトによってはセンサーの中心をずらせますが基本的にアニメーションは出来ないです
当然AEのワープスタビラーなどはスタビライズに加えメッシュワープのような変形も加わっているので論外です。
逆に試した事はないですがSonyのハンディカムなんかの光学スタビライズ機能であれば問題ない？はずです。
普通に一眼レフのレンズのスタビライズ機能も基本的には光学補正なので問題ないです。
当然場合によってはスタビライズ済み素材に対してマッチムーブしなければいけない事もあるかと思います
基本そのような素材は求められるクオリティのもよりますが、かなりマニュアルでの調整が必要になります。
時間と手間をかければ最終的な画として合ってる状態には出来ると思います。
できればおさえておきたい撮影の注意点
仕事であれば来たデータで何とかしなければいけないことが多いですが、できれはおさえておきたい注意点
・カメラを動かす：マッチムーブなので動かないとです。パンの場合奥行き情報は出ません。回転のみです。
あまりカメラが動かない場合Mochaなどを使って2D処理での作業のほうが良い場合があります。
・カメラ情報：レンズ、カメラ、高さ、角度、被写体との距離等
・トラッキングポイント：2Dトラッキングのポイントを元に3D情報に変換するのでまずは2Dでトラッキング出来ないと何も始まりません。なので画面上には常にトラッキング出来るポイントが必要となります。
必要によっては消すこと前提でポイントを置く必要があります。詳しくは過去記事>トラッキングマーカー考察
・モーションブラーを抑える：ブラーが強く目視でも動きを判断出来ないものはソフトも判断が難しくなります。
・ズームしない：ズーム＝画角が変化してしまいます映像によってはカメラが動いているのかズームなのか判断が難しくなります。以前クレーンワークとズームが一緒のカットをやりましたが最終的に多くマニュアル調整が必要でした。
・ボカさない：被写界深度がかかるとボケによりまず2Dトラッキングが出来ない+奥行きの圧縮がかかるので好ましくない素材となります。
・スケール合わせのため現場の実測をしておく：実際写っている物の実測データがあると3D上でのスケール合わせのリファレンスとなります。
・別アングルでの撮影：別のカメラで撮影しておくとソフトによってはお互いの同一ポイントで3D空間を補間することができます。(静止画等でもあると無いとでは空間把握のしやすさが変わります)
※ライフ・オブ・パイでは船のトラッキング（海のCG合成）のため複数カメラ、アングルで撮影してました。
・合成のためのリファレンスとしてのリファレンス素材の撮影。例：グレーボール（照明方向、影方向）
合成物と同じor近い素材の撮影。動きの参考などなど
・フレアや手前を遮るようなものを抑える：トラッキングも合成も難易度が上がります。
・反射のあるガラス越しなど：言うまでもなくトラッキングが難しいです。
実際のトラッキングテクニック
個人的にはオートよりマニュアルでトラッキングポイントを追加していく方が精度は出しやすいと思います。
当然速さ重視であればオート処理でも良いと思います。
精度を上げるには１番は合成箇所に一番近い部分をトラッキングすることです。
オートでトラッキングする場合も後で数カ所ポイントを足すことで精度が上がります。
またオートの場合エラーポイントを減らすことで精度が上がります。ずれていたり移動物についていったりしてないか注意を払う必要があります。
多くのソフトは解析のため最低限10箇所はトラッキングポイントが必要です
また、解析時後のカメラのパスがホントに撮影時のカメラの動きをしているか？を見極める必要があります。
CGのカメラはありえない動きをしてカメラ越しだとそれっぽく動いているように見えるような事があります。
それでは最終的には使い物にはならないので再調整が必要です。
トラッキングがうまく行かない場合トラッキングポイントの追加やカメラ設定の見直しなどが必要になります。
カメラ情報が不明な場合これらの何が原因でうまくいかないのかが判断しづらくなります。
極力長くトラッキングできているポイントもあれば効率よく精度を上げられます。
トラッキングマーカー考察でも書いてある通りソフトは三角計測により解析するのでなるべく奥手前にポイントが
ありそれらのポイントがカメラが動くことで視差がでる事で解析できます。
なのでしっかり映像を見てポイントを追加することで精度が上がります。
接地がある場合設置箇所を特に重点をおき、さらにその画面手前にもポイントを置くことで結果が大きく変わります。
オブジェクトトラッキング
解析の仕方はさほど変わりませんがカメラトラッキングよりは難易度が上がります。
なるべく動きの差の出るようにポイントを追加する必要があります。
カメラとの距離がやオブジェクトのスケールが分かっていないと調整が難しくなります。
というのもカメラFIXでオブジェクトトラッキングをする場合カメラとの奥行きが出ないのでカメラとの距離や
スケールというのは調整しないといけません。カメラも動いている場合も動き次第では上手くいきません。
またちょっとした合成なのであれば上に同じくMochaなどを使ったほうが綺麗に行く場合もあります。
場合によっては目視で合わせたほうが綺麗で早いことがあるのもオブジェクトトラッキングの特徴です。
より複雑なカットになるとまた色々なテクニックがあるわけですが中々まとめにくいのでこれくらいで。
以上、カメラの話をしよう！・トラッキング編 でした～
- 関連記事
-
- カメラの話をしよう！・番外編映像で見るあの現象？ (2014/02/16)
- カメラの話をしよう！・トラッキング編 (2013/02/03)
- DIYアナモルフィックレンズ (2012/08/15)
