[CEDEC2016]アニメが声優に合わせる時代がくるか?口の動きを声優に合わせて動画を編集する技術「Audio-Visual Synchronizer」

記事カテゴリ:
たて りょうた
2016年08月25日

 早稲田大学、先進理工学研究科 物理学及応用物理学専攻 森島研究室所属の古川翔一さんが今回発表したのは、「Audio-Visual Synchronizer」という技術の実験映像だ。

 古川さんいわく、動画では字幕よりも音声による吹き替えの方が情報を多く伝えることができ、吹き替えの需要が多くなっている現状があるとのこと。

 たしかに、外画を見る際、字幕は演者の生声による演技を楽しむことができるが、実際、字幕に注意がいってしまい、映像への注意力が散漫になってしまう実体験がある。なので、最近海外ドラマなどはもっぱら吹き替えしかボクは見ていない。

 古川さんによると、外国語のセリフを吹き替え台本にする際、ブレスや尺合わせ、口合わせなどを意識し、非常に高度な翻訳技術、台本を書く技術が必要になるという。

 たとえば、「アナと雪の女王」の主題歌「レット・イット・ゴー」では、本来の歌詞と元動画である「go~」の口の動きと同じくするため「ありの~」という歌詞が作られたとのこと。

 これを、「Audio-Visual Synchronizer」を利用することにより、動画内と声優の口の動きをシンクロさせるというものだ。
 どのようにしてその動きをシンクロさせるのか?

 今回紹介された方法は、声優の口部分の動画を撮影し、口の位置情報を演者、声優双方取得し数値化する。そして、双方の動画を複数枚に切り分け、声優の口の形が似ている演者の動画を自動で切り抜き、入れ替えるという手法だ。

 実験した動画では、違和感はあったものの、確かに、口の動きとセリフがリンクしたものであった。
 現状では、口元の動きに注力した場面を想定しているとのことで、激しいアクションなどでは応用できないとのこと。ただし、これまでの実験では、対象が人種や体形問わず、誰でも利用できたとのこと。

 では、この技術が実用化されるとどうなるのか? 古川さんは、有名人に好きなことを言わせるエンターテイメントの実現のほか、CGアニメーションなど今まで如何にしてリアルに作るかに注力されていたものが、編集に集中できる環境をつくることができるのではないかと考えているそうだ。

 また、2Dアニメーションの場合、基本的に口の動きは3種類しかない。「開いている状態」「閉まっている状態」「中間の状態」の3つだ。なので、CGアニメや実写映像に比べると、より違和感なく実現できる。
 実際、2Dアニメーションのデモでは、実写にあった違和感はなく、ストレスなく見ることができた。

 もちろん、実用段階の技術の発表ではなく実験段階のものなので、現段階では実用化する際のクエスチョンは当然出てきたが、今後の改良次第では、動画の撮影ではなく、声優側の発音によって動画側の編集を自動で行うなど、様々な可能性が見えてくる技術だ。

 ジャック・バウアーが、完全に小山力也とフュージョンしてくれる日もやってくるかもしれない。

 

この記事のカテゴリ

この記事を共有しよう!

『パズル&ドラゴンズ』お得な企画が盛りだくさんのイベント「夏休み&サービス開始2000日スペシャル(前半)」を開催 [事前登録]シミュレーションRPG『StraStella(ストラステラ)』洲崎綾さんが歌う主題歌「Shooting Star」のフルバージョンを公開! 『スターオーシャン:アナムネシス』新キャラクター追加。TVCM放送を記念したキャンペーンも実施へ 【マイクラPE】0から始める『マインクラフト』第8回:牛やニワトリをお世話する「牧場」を作ってみよう! [コラボ]『#コンパス』と『ストリートファイターV』コラボレーションイベント開催。新ヒーロー「リュウ」と「春麗」本日7月27日より登場 [事前登録]ボードゲームとRPGを組み合わせたスマホゲーム『ロードオブダイス』対人戦や協力・ソロプレイが楽しめるゲームモードの内容明らかに [事前登録]『歌マクロス スマホDeカルチャー』「熱気バサラ」「ミレーヌ・ジーナス」の3Dモデル公開 『拡張少女系トライナリー』、 期間限定の水着イベント開始。水着クランも登場 [コラボ]『ドラゴンクエストXI 過ぎ去りし時を求めて』発売までを楽しみに過ごすお絵かきプロジェクト「みんなのスライム」に、「ミニオン」登場 [コラボ]ボードゲーム『サモンズボード』でTVアニメ「進撃の巨人」とのコラボレーション企画開始。無料でコラボガチャをまわせるログインボーナスもスタート