[CEDEC2016]アニメが声優に合わせる時代がくるか?口の動きを声優に合わせて動画を編集する技術「Audio-Visual Synchronizer」

記事カテゴリ:
たて りょうた
2016年08月25日

 早稲田大学、先進理工学研究科 物理学及応用物理学専攻 森島研究室所属の古川翔一さんが今回発表したのは、「Audio-Visual Synchronizer」という技術の実験映像だ。

 古川さんいわく、動画では字幕よりも音声による吹き替えの方が情報を多く伝えることができ、吹き替えの需要が多くなっている現状があるとのこと。

 たしかに、外画を見る際、字幕は演者の生声による演技を楽しむことができるが、実際、字幕に注意がいってしまい、映像への注意力が散漫になってしまう実体験がある。なので、最近海外ドラマなどはもっぱら吹き替えしかボクは見ていない。

 古川さんによると、外国語のセリフを吹き替え台本にする際、ブレスや尺合わせ、口合わせなどを意識し、非常に高度な翻訳技術、台本を書く技術が必要になるという。

 たとえば、「アナと雪の女王」の主題歌「レット・イット・ゴー」では、本来の歌詞と元動画である「go~」の口の動きと同じくするため「ありの~」という歌詞が作られたとのこと。

 これを、「Audio-Visual Synchronizer」を利用することにより、動画内と声優の口の動きをシンクロさせるというものだ。
 どのようにしてその動きをシンクロさせるのか?

 今回紹介された方法は、声優の口部分の動画を撮影し、口の位置情報を演者、声優双方取得し数値化する。そして、双方の動画を複数枚に切り分け、声優の口の形が似ている演者の動画を自動で切り抜き、入れ替えるという手法だ。

 実験した動画では、違和感はあったものの、確かに、口の動きとセリフがリンクしたものであった。
 現状では、口元の動きに注力した場面を想定しているとのことで、激しいアクションなどでは応用できないとのこと。ただし、これまでの実験では、対象が人種や体形問わず、誰でも利用できたとのこと。

 では、この技術が実用化されるとどうなるのか? 古川さんは、有名人に好きなことを言わせるエンターテイメントの実現のほか、CGアニメーションなど今まで如何にしてリアルに作るかに注力されていたものが、編集に集中できる環境をつくることができるのではないかと考えているそうだ。

 また、2Dアニメーションの場合、基本的に口の動きは3種類しかない。「開いている状態」「閉まっている状態」「中間の状態」の3つだ。なので、CGアニメや実写映像に比べると、より違和感なく実現できる。
 実際、2Dアニメーションのデモでは、実写にあった違和感はなく、ストレスなく見ることができた。

 もちろん、実用段階の技術の発表ではなく実験段階のものなので、現段階では実用化する際のクエスチョンは当然出てきたが、今後の改良次第では、動画の撮影ではなく、声優側の発音によって動画側の編集を自動で行うなど、様々な可能性が見えてくる技術だ。

 ジャック・バウアーが、完全に小山力也とフュージョンしてくれる日もやってくるかもしれない。

 

この記事のカテゴリ

この記事を共有しよう!

[TGS2017]モイ! PS4『巨影都市』で、ウルトラマンにエレキが踏みつけられ、たてDに睨みつけられる オリジナル原作をもとにしたスマホゲーム『刀使ノ巫女 刻みし一閃の燈火』キービジュアル&ティザートレーラー公開 『Fate/Grand Order』1000万ダウンロード突破キャンペーン開始。さらに★5(SSR)マーリンや★5(SSR)アルトリア・ペンドラゴンのピックアップ召喚もスタート [TGS2017]モイ! PSVRはやっぱりすげえ。たてD、『グランツーリスモSPORT』で現実とゲームの区別がつかなくなる 『パズル&ドラゴンズ』「龍契士」と「龍喚士」シリーズ特別イベントでスペシャルダンジョン「ドラゴンフォレスト」登場 USJ『ファイナルファンタジー』シリーズを、史上初の“超体感”コースター化。「ファイナルファンタジー XRライド」として登場 [TGS2017]モイ!ほぼ全部のグッズを紹介してみる物販スペースその3。まさか!まさかのたてDが物販で購買意欲が止まらない!コスパすごい! [TGS2017]『アヴァベルオンライン-絆の塔-』マルチプラットフォームプロジェクト始動。Nintendo Switch、PS4などの家庭用ゲーム機向けへ [事前登録]『バトル オブ ブレイド』『聖剣伝説』シリーズのプロデューサー小山田将氏が手がける新作スマホゲーム。最大8人によるマルチプレイと重厚なシナリオを楽しめるソロプレイが楽しめる 【マイクラPE】0から始める『マインクラフト』第8回:牛やニワトリをお世話する「牧場」を作ってみよう!