[CEDEC2016]アニメが声優に合わせる時代がくるか?口の動きを声優に合わせて動画を編集する技術「Audio-Visual Synchronizer」

記事カテゴリ:
たて りょうた
2016年08月25日

 早稲田大学、先進理工学研究科 物理学及応用物理学専攻 森島研究室所属の古川翔一さんが今回発表したのは、「Audio-Visual Synchronizer」という技術の実験映像だ。

 古川さんいわく、動画では字幕よりも音声による吹き替えの方が情報を多く伝えることができ、吹き替えの需要が多くなっている現状があるとのこと。

 たしかに、外画を見る際、字幕は演者の生声による演技を楽しむことができるが、実際、字幕に注意がいってしまい、映像への注意力が散漫になってしまう実体験がある。なので、最近海外ドラマなどはもっぱら吹き替えしかボクは見ていない。

 古川さんによると、外国語のセリフを吹き替え台本にする際、ブレスや尺合わせ、口合わせなどを意識し、非常に高度な翻訳技術、台本を書く技術が必要になるという。

 たとえば、「アナと雪の女王」の主題歌「レット・イット・ゴー」では、本来の歌詞と元動画である「go~」の口の動きと同じくするため「ありの~」という歌詞が作られたとのこと。

 これを、「Audio-Visual Synchronizer」を利用することにより、動画内と声優の口の動きをシンクロさせるというものだ。
 どのようにしてその動きをシンクロさせるのか?

 今回紹介された方法は、声優の口部分の動画を撮影し、口の位置情報を演者、声優双方取得し数値化する。そして、双方の動画を複数枚に切り分け、声優の口の形が似ている演者の動画を自動で切り抜き、入れ替えるという手法だ。

 実験した動画では、違和感はあったものの、確かに、口の動きとセリフがリンクしたものであった。
 現状では、口元の動きに注力した場面を想定しているとのことで、激しいアクションなどでは応用できないとのこと。ただし、これまでの実験では、対象が人種や体形問わず、誰でも利用できたとのこと。

 では、この技術が実用化されるとどうなるのか? 古川さんは、有名人に好きなことを言わせるエンターテイメントの実現のほか、CGアニメーションなど今まで如何にしてリアルに作るかに注力されていたものが、編集に集中できる環境をつくることができるのではないかと考えているそうだ。

 また、2Dアニメーションの場合、基本的に口の動きは3種類しかない。「開いている状態」「閉まっている状態」「中間の状態」の3つだ。なので、CGアニメや実写映像に比べると、より違和感なく実現できる。
 実際、2Dアニメーションのデモでは、実写にあった違和感はなく、ストレスなく見ることができた。

 もちろん、実用段階の技術の発表ではなく実験段階のものなので、現段階では実用化する際のクエスチョンは当然出てきたが、今後の改良次第では、動画の撮影ではなく、声優側の発音によって動画側の編集を自動で行うなど、様々な可能性が見えてくる技術だ。

 ジャック・バウアーが、完全に小山力也とフュージョンしてくれる日もやってくるかもしれない。

 

この記事のカテゴリ

この記事を共有しよう!

『Fate/Grand Order』初の節分イベント「節分酒宴絵巻 鬼楽百重塔」を開催。坂田金時(バーサーカー)のバトルモーションと宝具演出をリニューアル プロジェクト「Project U(仮称)」モブキャスト×エイタロウソフトがアニメ「幽☆遊☆白書」の新作スマホゲームを共同開発 動画サービス「niconico」FLASH版終了すべてHTML5版へ移行。「ユーザー生放送」HD配信機能枠数限定で提供を開始 【週刊ジーパラが批評280】『パズドラ』や『モンスト』のガチャに個別の排出確率が表示!? 任天堂は新機軸の遊び「Nintendo Labo」を発表! 島田フミカネがキャラデザインを手掛ける武装カスタマイズアクション『アリス・ギア・アイギス』を配信開始 【マイクラPE】0から始める『マインクラフト』第8回:牛やニワトリをお世話する「牧場」を作ってみよう! [事前登録]『デジモンリアライズ』スマートフォンゲームとして「デジモン」新プロジェクト始動 [FFBE]『ファイナルファンタジー ブレイブエクスヴィアス』に『ヴァルキリープロファイル』よりレナス、フレイ、アリューゼ、ルシオ、ジェラード参戦 [事前登録]『サーヴァント オブ スローンズ』ダウンロード数に応じて天野喜孝、時田貴司などさまざまなクリエイターがゲスト参戦 『SINoALICE』(シノアリス)、シンデレラ(CV:喜多村英梨)の新ジョブが登場する「賤劣の銃槍ガチャ」を開始。討伐イベント「巨兵ノ洗礼」を開催