FCPのオーディオ同期

　カメラの録音機能が貧弱な場合や、カメラでは録音しきれない多チャンネル録音の必要がある場合、カメラでの映像・音声の収録に加えてオーディオ機器で音声を別に録音するといったケースがあります。こういった収録素材を扱う場合、Final Cut Pro（ファイナルカットプロ　以下FCP）には、映像と、映像とは別に録音した音声とを同期させる機能があります。今回は、FCPのクリップの同期機能について記載します。

試す素材

　SONYのFX30で撮影した映像とTASCAMのDR-701Dで録音した音声を使って、FCPで同期クリップを作成してみます。
　FX30は先に記載したような録音機能が貧弱というカメラではなく、内蔵マイクの品質も良くハンドルユニットを追加すれば最大で2チャンネル＋ステレオ1チャンネルの録音ができるなど多チャンネル録音も可能なので、音声を別に録音する必要は滅多にありません。しかし、さらに多くの録音チャンネル数が必要な場合も考えられるのでテストしてみました。

クリップの読み込み

　FCPへクリップを読み込むとき、同期処理に関連した特別な手順はありません。ただし、FX30で収録したファイルはmp4形式で、タイムコード記録には対応していないファイルフォーマットのようです。FCPへFX30のタイムコード情報を読み込むには、撮影時に同時に記録されたxmlファイルからタイムコード情報を取り出す必要があり、そのためには収録したメモリーカードから直接読み込まなくてはなりません。メモリーカードから直接FCPに撮影データを読み込むと、mp4ファイルにxmlファイルのタイムコード情報を加えたmov形式に変換されて読み込まれます。FX30の収録ファイルをFCPにタイムコード情報を伴った状態で読み込む手順については、こちらのページにも記載しています。併せてご覧ください。

クリップの同期

　設定画面87_fig_02のチェック項目「同期にオーディオを使用」は、ビデオクリップとオーディオクリップの同期に音声波形を参照するかを設定します。ビデオクリップとオーディオクリップにある程度同じ内容の音声が記録されている場合は、ここにチェックを入れておいた方が同期処理が正確です。
　「AVクリップのオーディオコンポーネントを無効にする」がチェックされていると、同期処理の対象として選択したビデオクリップの音声がミュートされ、同期させたオーディオクリップの音声のみを再生するオーディオ構成として仕上がります。後から同期クリップのオーディオ構成を変更して、ビデオクリップのミュートを解除することも可能です。この操作については、「FCPで同期したクリップの編集」の「同期クリップのオーディオ構成」の項をご覧ください。

同期の方法　自動

　87_fig_02はデフォルトの設定画面で、「同期にオーディオを使用」にチェックが入っているときはクリップの音声を主な同期の基準にしつつ、クリップに含まれるタイムコードなどの情報も参照して同期クリップを作成しているようです。一方「同期にオーディオを使用」のチェックが外れているときは、次に記載するカスタム項目から有効と思われる方法で同期処理を行うようです。
　多くの場合、音声波形を基準にした処理でほぼ問題なく同期させることができます。ただし、ビデオクリップとオーディオクリップの音声の関連性が低い場合、どの程度同期が保たれるかは素材ごとに試してみないとわかりません。

同期の方法　カスタム

　より詳細な同期の条件を設定したい場合は、設定画面左下の「カスタム設定を使用」ボタンをクリックして詳細設定画面を開きます（87_fig_03）。

　同期の方法は、設定画面中央付近の「同期：」項目から選択します（87_fig_04）。

　同期の方法として、以下の5つの項目があります。

• 自動
• タイムコード
• コンテンツの作成日
• 最初のクリップの先頭
• クリップの最初のマーカー

　「同期にオーディオを使用」にチェックが入っているときは、クリップの音声波形での同期処理の補助的な要素として上記の項目が活用されるようです。1項目づつ試してみた結果を記載します。

自動

　カスタム設定を閉じた状態と同様の処理だと思われます。同期の方法の項目から効果的と思われる条件で同期処理をしているようです。

タイムコード

　クリップにタイムコードが正確に記録されている場合は、「同期にオーディオを使用」のチェックを外してタイムコードのみを同期の判定材料とすることで、高速に同期処理を完了させることができるようです。しかし、今回試したDR-701DでHDMI経由のタイムコードを記録した場合、HDMI信号の遅延と思われるタイムコードのズレがあります。またFCPでは、DR-701Dで記録したタイムコードは同期収録したカメラのフレームレートに関わらず常に60fpsと思われるフレームレートで認識され、整数フレームレートよりも0.1%少ないフレームレートの29.97fpsなどとは一致しません。こういったDR-701Dのタイムコードの遅延やフレームレートがビデオクリップと一致しない問題のために、DR-701Dで収録した音声素材で同期クリップを作成する場合は「同期にオーディオを使用」を併用した方が無難なようです。なお、DR-701Dのタイムコード仕様については「DR-701DとFX30のタイムコード同期」に詳しく記載しましたので、興味のある方はそちらをご覧ください。
　87_fig_05は29.97fpsDFで撮影したビデオクリップとDR-701Dで同期収録したオーディオクリップを、「同期にオーディオを使用」のチェックを外して「タイムコード」のみを同期の判定材料として処理した同期クリップのタイムラインです。画面の右側に表示した「ソースのタイムコード」ウィンドウをみると、オーディオクリップのタイムコードが4フレーム遅れています。また、クリップの音声波形をみると、画像上部のタイムラインのメモリ（29.97fpsタイムラインです）で音声が1フレームほど先行しているのがわかります。恐らくタイムコードのフレームレートが不一致なことが原因と思われますが、音声もタイムコードも上手く同期処理できていません。
　なお、オーディオクリップのフレームレートは60fpsと推測されるため、オーディオクリップのタイムコードでの4フレームは、29.97fpsのビデオクリップの2フレームに相当します。つまり、タイムコード値のズレと波形のズレを合算すると、29.97fpsベースで音声が3フレームほど先行しています。
　タイムコードやDF、フレームレートについては、「タイムコードとフレームレートの小数点」をご覧ください。

　同じ素材を「同期にオーディオを使用」にチェックを入れて、タイムコードと音声波形の両方を同期判定の材料として同期処理したのが87_fig_06です。音声波形がピッタリと揃っているのがわかります。一方、「ソースのタイムコード」ウィンドウをみると、オーディオクリップのタイムコードが7フレーム遅れているのがわかります。同期クリップ作成の判定材料として、タイムコードよりも音声の一致が優先されているようです。
　オーディオクリップのタイムコードは60fpsと思われるので、7フレームの遅れは29.97fpsベースで3.5フレームに相当します。

　FX30のフレームレートをDR-701Dの60fpsに近い値にするために、59.94fpsDFに設定して同様のテストをしてみましたが、タイムコードのみの同期条件では上手くタイムコードが揃ったり揃わなかったりと不安定でした。今回の機材の組み合わせの場合は、「同期にオーディオを使用」にチェックを入れて同期処理をするのが確実なように思います。
　DR-701Dで記録されるタイムコードは、FCPの表示をみる限り60fpsと少し特殊なようなので、タイムコードを基準にした同期クリップ作成のテスト機材としては適当ではないようです。FX30とDR-701Dのタイムコード同期については、タイムコードのフォーマットを様々に変更して試したものを後日改めて記載する予定です。

コンテンツの作成日

　コンテンツの作成日を基準にした同期処理について、FCPのオンラインマニュアルには「秒単位の精度でクリップが同期されます」と記載されています。これを読む限りだとカメラやオーディオレコーダーの時計設定が正確であれば、それを元に記録されたファイルの作成日時データを手がかりに、タイムコード同期に近い仕上がりが期待できます。しかし、今回試した素材ではクリップの先頭を揃えて同期されるだけでした。ビデオファイルやオーディオファイルに記録されるメタデータの互換性の問題かもしれません。FX30、DR-701D共に、FCPの「コンテンツの作成日」設定で同期処理をするために必要なメタデータを記録していない、或いは記録したメタデータの互換性が乏しいようです。

最初のクリップの先頭

　選択したクリップの先頭を揃えて同期処理されます。

クリップの最初のマーカー

　同期したいクリップに付けたマーカーのうち、最も先頭近くに付けたマーカーを同期の基準にします。また、「同期にオーディオを使用」を併用することで、マーカー周辺の音声が同期の判定材料として利用されるようです。
　カチンコ（スレートやクラッパーボードなどともいいます）などを叩いたり、カメラとオーディオレコーダーを結線してスレートトーンを記録した場合には、その付近にマーカーを付けておけば「同期にオーディオを使用」の精度が向上することが期待できます。
　マーカー機能については、「FCPのタイムライン その7　マーカーを付ける」をご覧ください。

クリップの範囲選択を併用

　ブラウザ上のクリップを範囲選択（in点とout点を設定）した上で同期処理を実行すると、範囲選択した部分のみを切り出して同期クリップが作成されます。クリップ全体では同期ポイントを見つけづらい音声波形ではあるものの、編集で使用したい箇所は比較的同期しやすい録音状態の場合には、範囲選択をしてから処理をすることで同期精度の向上が期待できます。

その他の設定

　カスタム設定画面の「同期」より下には、新たに作成する同期クリップの設定項目が並びます。この値は、同期処理の対象として選択したビデオクリップの設定がそのまま反映されるようで、特に変更する必要はないように思われます。

同期クリップは特殊な複合クリップ

　同期処理が完了すると、同期処理をする対象として選択したビデオクリップとオーディオクリップとで複合クリップが作成されます。同期処理によって作成された複合クリップは、タイムラインやブラウザでフィルムストリップ表示された状態では左上に鎖のアイコン（∞）が表示されます（87_fig_07 左）。また、ブラウザでリスト表示された状態では、アイコンそのものが鎖のマーク（∞）で表示されます（87_fig_07 右）。

　同期処理によって作成されたクリップに同期ズレがあった場合は、複合クリップの内容を修正・変更するのと同様に、同期クリップをダブルクリックでタイムラインを開いて音声の位置を修正することが可能です。
　この同期処理によって作成された複合クリップについて、FCPのマニュアルには「特殊な複合クリップ」であると記載されているのですが、どう特殊なのかについての記載は見当たりません。この複合クリップをタイムライン上で複製してその内容を変更しても、通常の複合クリップに見られるような参照関係は認められません。複製した同期クリップのタイムラインを開いて、色彩補正や音声のミュート、テロップの追加などといった変更を加えても、タイムライン上の複製元となる同期クリップやブラウザのオリジナルの同期クリップにその変更は反映されません。これは、複合クリップというよりも、通常のクリップとよく似た振る舞いです。複合クリップでありながら参照関係がないことが、特殊な点なのかもしれません。

複数のビデオクリップを選択して同期処理した場合

　「クリップの同期」処理をする際に、複数のビデオクリップとそれに対応するオーディオクリップを選択した場合、選択したクリップに収録時刻に基づいたタイムコードなどがFree Run設定で記録されていれば、タイムコードが連続しない（カメラの録画を停止した）部分にギャップクリップが挿入される形で同期クリップが作成されます（87_fig_08）。

　同期処理の結果が、このようにギャップクリップによって飛び飛びになっていない、ビデオクリップが連続した同期クリップとして仕上げたい場合は、撮影時のタイムコード記録の設定をRec Runにする必要がありそうです。ただし、その場合はオーディオレコーダーのタイムコードはカメラのタイムコードを外部入力する形で記録しないと、タイムコードでの同期は難しくなります。（タイムコードのRec Run、Free Runについては、「タイムコードとフレームレートの小数点」のフリーランとレックランの項をご覧ください。）
　ビデオクリップとそれに対応するオーディオクリップとを探していくのは面倒かと試したのですが、同期クリップの仕上がり具合を見ると、ビデオクリップをひとつづつ同期処理していった方が扱いやすい仕上がりになるように感じます。
　なお、ビデオクリップやオーディオクリップに記録されたタイムコードがどれも0スタートのように同じタイムコードが記録されている場合は、クリップの先頭を基準に縦積みされた状態で同期処理されます（87_fig_09）。

まとめ

　今回の素材クリップ作成に使ったFX30とDR-701Dの組み合わせでは、同期クリップ作成の全ての項目をテストすることはできませんでした。それでも、音声波形を同期判定の基準にして処理するので多くの場合は十分なようです。また、マーカー機能や範囲選択などの機能を併用すれば、より精度を上げることができそうです。FCPの同期クリップ作成に用意された同期の判定項目は、カメラやオーディオレコーダーで記録されたクリップの様々な仕様に対応できるだけの種類があるといえます。
　今回の結果をみると、タイムコードを使った同期処理にはタイムコード記録やタイムコードの外部入力などに対応した機材を使い、フレームレートなどのタイムコードフォーマットを揃えた収録が必要なようです。タイムコードの時刻さえ合っていれば、フレームレートなどはある程度ファジーに処理してくれるといったことは期待できません。
　こういったタイムコードの記録方法に対応した機材がない場合は、カメラとオーディオレコーダー双方に同期処理時の基準になるような音声を記録しておくと安心です。同期処理時の基準となる音声として、

• 各機材で一つのトラックには、同期判定が可能な程度に同じ波形となる音声を記録する
• カチンコなどを叩いた音声を記録する
• スレートトーンの発信機能がある機材では、カメラとオーディオレコーダーに同じスレートトーンを記録する

などが録音されていれば、同期処理が可能です。
　同期後のクリップを編集する際には、オーディオコンポーネントの操作が必要になります。この操作については、次回記載します。