FCPでクリップの速度変更 その1
ファストモーションとスローモーション
Final Cut Pro(ファイナルカットプロ 以下FCP)には、動画クリップの再生速度を落とすスローモーション映像や、逆に再生速度を早めるファストモーション映像を作成する機能があります。これまで私は、これらの機能を積極的に使う機会はなかったのですが、スローモーション指定時のフレーム補完の品質について興味があったので、試してみた結果を操作方法なども含めてまとめてみました。
INDEX
ファストモーション?クイックモーション?コマ落とし?
本題に入る前ですが、動画クリップの再生速度を落とした映像を「スローモーション」と呼ぶのは一般的だとして、再生速度を早める方は何と呼ぶのでしょうか。一昔前は「コマ落とし」とか「早回し」などと呼んだように思うのですが、調べてみると「ファストモーション」とか「クイックモーション」と呼ぶようです。SONYのミラーレスカメラFX30では撮影時のモードとしてS&Qモード、つまりスロー&クイックモーション・モードと呼んでいます。一方、iPad版FCPのマニュアルでは「ファストモーション」と呼んでいます。ここではiPad版ではなくMac版FCPについて記載していますが、「ファストモーション」という呼び方を使います。また、一定時間間隔で撮影する「タイム・ラプス」とは区別します。
クリップの速度を変更する
動画クリップの速度変更は、タイムラインに配置したクリップに対して指定します。タイムラインでクリップを選択して、ビューアウィンドウ左下の時計マークをクリックでリタイミングメニューを表示します(58_fig_01)。
シンプルにクリップの速度を変更するには、リタイミングメニューの上部にある「遅く」「速く」「カスタム…」の3つから設定します。「遅く」からは50%(1/2倍)・25%(1/4倍)・10%(1/10倍)、「速く」からは2×(2倍)・4×(4倍)・8×(8倍)・20×(20倍)のプリセット速度が選択できます(58_fig_02)。
「カスタム…」を選択すると、カスタム速度ウィンドウが表示されます(58_fig_03)。ショートカットはcontrol + option + Rです。カスタム速度ウィンドウは、この後で記載するリタイミングエディタの無地の部分をダブルクリックして表示することもできます。
カスタム速度ウィンドウで操作できる設定は以下です。
【方向】
再生を通常か逆転再生かを選択できます。
【速度を設定】
「レート」では、再生スピードを%で設定します。100%より小さい値でスローモーションに、大きい値でファストモーションになります。
「継続時間」では、クリップの長さで指定します。例えば、3秒のクリップを6秒に指定した場合は50%のスローモーションに、1.5秒に指定した場合は200%のファストモーションになります。
【リップル】
クリップの速度を変更して継続時間が変化した結果、そのクリップ以降をどのように配置するかを設定します。
リップルにチェックが入っているとき、クリップの速度変更をして継続時間が変化しても、タイムライン上のいずれのクリップもトリミングされたり隙間が空くことはなく、そのクリップ以降の位置を移動して調整します。クリップをスローモーション指定して継続時間が長くなった場合、以降のクリップはその分だけ後ろに押し出されます。逆に短くなった場合は、以降のクリップは前に繰り上がります。いずれの場合も、速度変更したクリップとそれに続くクリップの間に隙間は空きません。リップルにチェックが入っている場合は、「マグネティックタイムライン」的な動作をすると考えれば分かりやすいと思います。
リップルのチェックが外れているとき、クリップの速度変更をして継続時間が変化することになっても、タイムライン上のいずれのクリップもタイムライン上の位置を移動しません。速度変更をしてクリップが短くなった場合に、以降のクリップは前に繰り上がるのではなく、速度変更したクリップと以降のクリップとの間にブランクが空き、そこにはギャップクリップが挿入されます(58_fig_05)。ギャップクリップは基本ストーリーラインなどの隙間を調整するためのクリップで、透明なクリップです。速度変更をしてクリップが長くなった場合は、長くなった部分がトリミングされ、以降のクリップを上書きしたり後方に押し出すことはありません(58_fig_06)。
速度変更したクリップを元に戻すには、リタイミングメニューの上部にある「標準(100%)」か、中程にある「速度をリセット(ショートカット option + command + R )で変更前の(収録時の)スピードに戻ります。
リタイミングエディタ
クリップの速度変更をした際に、クリップ上部に表示されるバーをリタイミングエディタと言います。リタイミングエディタの速度表示エリア付近をクリックすると、速度設定のメニューが表示されます(58_fig_07)。また、リタイミングエディタの速度表示エリア以外の無地の部分をダブルクリックすると、カスタム速度ウィンドウを表示することができます。
リタイミングエディタは、クリップの速度変更をした際に表示されるほか、リタイミングメニュー下部(58_fig_08)や、ショートカット command + R で表示・非表示の切り替えをすることもできます。
リタイミングエディタにはバーの右端にリタイミングハンドルがあり、ハンドルのドラッグ操作で再生速度を変更することができます。リタイミングハンドルについては、次回ご紹介します。
速度変更できるクリップ、できないクリップ
速度変更を設定できるクリップは、動画か音声形式のクリップです。png形式などの静止画クリップや、FCPで生成した静止画クリップ、ジェネレータから配置した背景色、テロップといった時間情報を持たないクリップに速度変更を適用することはできません。静止画クリップは時間情報を持たないとは言うものの、キーフレームを追加してアニメーション処理を加えた静止画クリップや、モーションを伴ったテロップに速度設定を施せても良いのではとも思います。なお、これらの速度変更を適用できないクリップは、複合クリップにすることで、その複合クリップに速度変更を適用して再生速度を加工することができます。
自動速度
リタイミングメニューの中ほどにある「自動速度」(58_fig_09)は、動画ファイルの1フレームをタイムラインの1フレームに対応させます。例えば、24fpsのタイムラインに30fpsの動画クリップを配置すると、通常は30fps動画クリップの速度は変わることなく配置されます。この時、30fpsの動画クリップはタイムラインの24コマ目で1秒が経過し、タイムラインの1秒目に30fps動画クリップの30コマ目が対応します。
しかし、「自動速度」を適用すると、30fps動画クリップの1フレームづつは、タイムラインの1フレームづつに対応する形で配置され、タイムラインの24コマ目に30fps動画クリップの24コマ目が対応します。この時、タイムラインの24コマ目で30fps動画クリップは0.8秒分しか進んでいない状態で、30fpsの動画クリップは80%のスローモーション映像として扱われています。
ピッチを保持
リタイミングメニュー下部にある「ピッチを保持」(58_fig_10)は、速度変更をするクリップの音声についての設定です。クリップの再生速度を変更した場合、通常は速度を速めると音声の音程は高く、速度を遅くすると音声の音程は低くなります。速度変更の際に音声の音程が変化するのを防ぐのが「ピッチを保持」機能です。この項目にチェックマークが付いているとき、クリップの速度を変更しても音声の音程は保たれます。
ただし、ピッチを保持した場合、音声によってはフランジャーエフェクトをかけたように、うねるような音声になる場合があります。FCPやLogicでの音声処理に共通するのですが、速度変更やそれに伴うピッチの修正処理での音質は今ひとつのように感じます。今後に期待です。
ビデオの品質 不規則にフレーム補完する場合
リタイミングメニュー下部にある「ビデオの品質」は、クリップの速度変更をした際にどのようなフレームで映像を作成するのか設定します。200%のような比率のファストモーションの場合は、1コマおきにフレームを並べる単純な処理で済みますが、250%のような比率の場合は、切り捨てるフレームと採用するフレームを一定の法則で決定する必要があります。また、スローモーションの場合は、時間を引き延ばすことによって不足するフレームをどのように補うかを決定する必要があります。このフレームの採用や補完のルールを設定するのが「ビデオの品質」です。
補完の方法を確認するために、画面上部に1フレームづつ歩進するカウンター、画面下部に1フレームづつ短くなる帯を配置した簡単なアニメーション動画58_movie_01を作成しました。タイムラインのフレームレートは24fpsで、12フレーム空舞台、アニメーション48フレーム、12フレーム空舞台の3秒の動画です。
1フレームづつ複製するような単純な補完では対応できない60%のスローモーション設定をこの動画に適用して、各ビデオ品質設定を試したのが以下の4つの動画です。YouTubeでは「<」「>」キーでコマ送りできます。再生開始後に一旦停止してから「<」「>」キーでコマ送りをして、フレーム補完のされ方を実際に確認してみてください。
【標準(フロア)】
スローモーション処理のために不足したフレームには、直近のフレームを使います。マニュアルには「最も近い完全なフレームまで複製または切り捨て」と記載されています。58_movie_01を60%スローモーションにして、「ビデオの品質:標準(フロア)」に設定した動画が58_movie_02です。
画面上部に配置したカウンターを見ると、48までのうち1から10の数字は次のような並びでフレーム補完されています。
1 1 2 2 3 4 4 5 5 6 7 7 8 8 9 10 10
上記のようなフレームの並びになる結果、1フレームのみ採用される「3」「6」「9」の部分で、帯の動きは僅かに早くなりますが、実際に動く映像を見て不自然さは感じません。
【直近フレーム】
スローモーション処理のために不足したフレームには、直近のフレームを使います。「標準(フロア)」との違いが微妙ですが、マニュアルには「最も近い完全なフレームまで切り上げまたは切り捨て」と記載されています。58_movie_01を60%スローモーションにして、「ビデオの品質:直近フレーム」に設定した動画が58_movie_03です。
画面上部に配置したカウンターを見ると、48までのうち1から10の数字は次のような並びでフレーム補完されています。
1 2 2 3 3 4 5 5 6 6 7 8 8 9 9 10
「標準(フロア)」が「直近まで複製または切り捨て」るのに対して、「直近フレーム」では「直近まで切り上げまたは切り捨て」るといった違いが、採用するフレームの違いに出ているようです。「標準(フロア)」と採用するフレームが微妙に違うものの、1フレーム適用と2フレーム適用の繰り返しの周期は同じなので、「標準(フロア)」と「直近フレーム」に大きな違いはないように見えます。実際の運用上でこの二つの違いがどの程度出るのかはよく分かりません。帯の動きは、1フレームのみ採用される「1」「4」「7」「10」の部分で僅かに早くなりますが、実際に動く映像を見て不自然さは感じません。
【フレームの合成】
スローモーション処理のために不足したフレームは、前後のフレームをディゾルブした画像で補完します。58_movie_01を60%スローモーションにして、「ビデオの品質:フレームの合成」に設定した動画が58_movie_04です。
フレーム間のディゾルブ処理により帯が短くなる動きは滑らかに見えますが、フレームの並びの関係でディゾルブのかかったフレームとかかっていないフレームがあり、補完方法として完全とまでは言い難いです。
【オプティカルフロー】
スローモーション処理のために不足したフレームは、解析により新たに作成されます。解析とフレームの作成にはそれなりに時間がかかり、そのためかFCPのマニュアルでは他の方法を推奨しています。58_movie_01を60%スローモーションにして、「ビデオの品質:オプティカルフロー」に設定した動画が58_movie_05です。
数字の補完は笑える描画になってしまいました。テスト用にカウントを表示しましたが、実際にはカウントする動画にスローモーション処理をすることはあまりないと思うので、この部分の描画は無視して良いと思います。画面下の帯の減り方の補完はほぼ完璧で、動きは4つのビデオ品質の中で最も滑らかな仕上がりです。ただし、矩形の端部分の形状などに微妙な乱れがあります。
スローモーション設定により不足したフレームを補完する場合、できれば元のクリップのフレームレート(fps)が端数なく割り切れる比率を設定し、オリジナルのフレームが規則的に配置されるスピードを指定した方が自然な動きになります。しかし、上記の動画の動きを見る限り、多少不規則なフレーム補完処理がなされたとしても、明らかにカクついた動きになるとは限らないようです。動画クリップの動きの内容によって結果が異なると思われるので、その都度様々な数字を試してみるのが良いかもしれません。
ビデオの品質 実写映像で補完処理の違いを見る
数字のカウントや帯が縮むアニメーション動画ではなく、もう少し実用に近い映像として、水面の反射を撮影した2カットをスローモーション処理した動画が58_movie_06です。ここでは、フレームレートに端数の出るような比率でのフレーム補完のルールよりも、動きの印象の違いをみることを目的に、単純な1フレームづつの複製が施される50%のスローモーション処理を適用しました。
1カット目はチラチラした波紋の映像、2カット目はそれなりにソフトウエアの解析で補完できそうな滑らかな波紋の映像を選びました。
- 1カット目(チラチラした波紋の映像)を標準再生
- 1カット目を50%スローで、ビデオの品質を標準(フロア)に
- 1カット目を50%スローで、ビデオの品質を直近フレームに
- 1カット目を50%スローで、ビデオの品質をフレームの合成に
- 1カット目を50%スローで、ビデオの品質をオプティカルフローに
- 2カット目(滑らかな波紋の映像)を標準再生
- 2カット目を50%スローで、ビデオの品質を標準(フロア)に
- 2カット目を50%スローで、ビデオの品質を直近フレームに
- 2カット目を50%スローで、ビデオの品質をフレームの合成に
- 2カット目を50%スローで、ビデオの品質をオプティカルフローに
の順で並んでいます。
1カット目、2カット目ともに「標準(フロア)」と「直近フレーム」で処理した映像を見た印象は同じで、フレームレートを半分にした12fpsの映像を見ているような仕上がりです。実質的に表示されるフレームは、元のクリップを12fps再生した場合と同じで、1コマづつを繰り返し表示するかの違いだけなので当たり前です。「フレームの合成」も、フレーム間にディゾルブがかかっているというそのままの印象です。
「オプチカルフロー」については、両カットとも滑らかさは感じますが、1カット目はややモーフィングをかけたような印象があり、尚且つ本来の動きとは異なる動きに作り替えられているように見えます。2カット目は比較的自然に中間フレームが作成されているように感じます。ただ、自然なスローモーションかというと、1カット目と同じようにどこか動きが捏造されているような印象もあります。処理方法を理解した上で観察してるためかもしれません。
58_movie_07は、24fps設定のタイムラインで2.5倍のスローモーションとなる60fpsで歩き撮りした映像を、FCPで更に50%スローモーション処理したものです。ビデオ品質は「オプティカルフロー」を適用しているため、1フレームおきにFCPが生成したフレームが補完されていることになります。
- 50%スローモーション処理した映像
- 50%スローを100%サイズで、左に偶数フレーム、右に奇数フレームで比較
- 50%スローを200%サイズで、左に偶数フレーム、右に奇数フレームで比較
- 50%スローを300%サイズで、左に偶数フレーム、右に奇数フレームで比較
の順で繋がっています。
後半の奇数フレーム、偶数フレームを比較した部分は、オリジナル映像のフレームとFCPによって生成されたフレームを左右で比較する目的で作成した映像です。50%のスローモーション処理なので、1フレームおきにオリジナルのフレームとFCPによって生成されたフレームが繰り返す映像になっているはずです。そのため、奇数フレームか偶数フレームのいずれかは解析により生成されたフレームとなります。比較したい箇所で一時停止することで、左右のいずれかはオリジナルフレーム、もう一方は生成されたフレームという形で比較することができます。また、「<」「>」キーでコマ送り操作をすることで、オリジナルフレームと生成フレームの左右配置を入れ替えながら観察することができます。オリジナルフレームと生成されたフレームを区別することができるでしょうか。
58_movie_06のようなグニャグニャとした形状や早い動きでは、補完フレームの生成の精度に微妙な部分がありますが、58_movie_07のようなゆっくりとした動きで形状のしっかりしたものを捉えた映像では、かなり高い精度で補完フレームを生成することができるようです。一部画面が大きく揺れた箇所で微妙な描写のフレームもありますが、ほとんどのフレームでオリジナル映像と生成された補完フレームの見分けがつきません。条件が上手く適合すれば、オプティカルフローは高いクオリティのフレーム補完が仕上がる場合もあるようです。
「ビデオの品質」設定の各項目は、どれが優れているといった違いよりも、それぞれに視覚効果が異なり、スローモーション映像の意図によって使い分けると効果的なように思います。