[CEDEC2016]アニメが声優に合わせる時代がくるか?口の動きを声優に合わせて動画を編集する技術「Audio-Visual Synchronizer」

記事カテゴリ:
たて りょうた
2016年08月25日

 早稲田大学、先進理工学研究科 物理学及応用物理学専攻 森島研究室所属の古川翔一さんが今回発表したのは、「Audio-Visual Synchronizer」という技術の実験映像だ。

 古川さんいわく、動画では字幕よりも音声による吹き替えの方が情報を多く伝えることができ、吹き替えの需要が多くなっている現状があるとのこと。

 たしかに、外画を見る際、字幕は演者の生声による演技を楽しむことができるが、実際、字幕に注意がいってしまい、映像への注意力が散漫になってしまう実体験がある。なので、最近海外ドラマなどはもっぱら吹き替えしかボクは見ていない。

 古川さんによると、外国語のセリフを吹き替え台本にする際、ブレスや尺合わせ、口合わせなどを意識し、非常に高度な翻訳技術、台本を書く技術が必要になるという。

 たとえば、「アナと雪の女王」の主題歌「レット・イット・ゴー」では、本来の歌詞と元動画である「go~」の口の動きと同じくするため「ありの~」という歌詞が作られたとのこと。

 これを、「Audio-Visual Synchronizer」を利用することにより、動画内と声優の口の動きをシンクロさせるというものだ。
 どのようにしてその動きをシンクロさせるのか?

 今回紹介された方法は、声優の口部分の動画を撮影し、口の位置情報を演者、声優双方取得し数値化する。そして、双方の動画を複数枚に切り分け、声優の口の形が似ている演者の動画を自動で切り抜き、入れ替えるという手法だ。

 実験した動画では、違和感はあったものの、確かに、口の動きとセリフがリンクしたものであった。
 現状では、口元の動きに注力した場面を想定しているとのことで、激しいアクションなどでは応用できないとのこと。ただし、これまでの実験では、対象が人種や体形問わず、誰でも利用できたとのこと。

 では、この技術が実用化されるとどうなるのか? 古川さんは、有名人に好きなことを言わせるエンターテイメントの実現のほか、CGアニメーションなど今まで如何にしてリアルに作るかに注力されていたものが、編集に集中できる環境をつくることができるのではないかと考えているそうだ。

 また、2Dアニメーションの場合、基本的に口の動きは3種類しかない。「開いている状態」「閉まっている状態」「中間の状態」の3つだ。なので、CGアニメや実写映像に比べると、より違和感なく実現できる。
 実際、2Dアニメーションのデモでは、実写にあった違和感はなく、ストレスなく見ることができた。

 もちろん、実用段階の技術の発表ではなく実験段階のものなので、現段階では実用化する際のクエスチョンは当然出てきたが、今後の改良次第では、動画の撮影ではなく、声優側の発音によって動画側の編集を自動で行うなど、様々な可能性が見えてくる技術だ。

 ジャック・バウアーが、完全に小山力也とフュージョンしてくれる日もやってくるかもしれない。

 

この記事のカテゴリ

この記事を共有しよう!

この記事を書いた人

たて りょうた

 
大きくなったら宇宙飛行士か、歌って踊れるアイドルを夢見るアラフォー男の子。楽しいことだけやって生きていきたいので、楽しいことしか探しません。
『SINoALICE』(シノアリス)事前登録者数が444,444人を突破。事前登録報酬の追加を決定 【マイクラPE】0から始める『マインクラフト』第8回:牛やニワトリをお世話する「牧場」を作ってみよう! 【週刊ジーパラが批評252】『モンハンXX』や『ドラクエライバルズ』など、ビッグタイトル関連作品がいきなり公開!? 『天華百剣 -斬-』累計100万ダウンロード突破。巫剣「小烏丸」がゲーム内に登場 『パズル&ドラゴンズ』アニメ「進撃の巨人」とのコラボ第2弾の開催が決定。年6月5日(月)より開催 なんか話題になってるっぽい、男顔なのか女顔なのか診断してくれて似てる有名人を検索してくれる「pictriev, 顔検索エンジン」で遊んでみる 『消滅都市2』と『にゃんこ大戦争』の第3弾コラボレーションが決定。コラボ限定バイクが手に入るキャンペーンも開催  『ファントム オブ キル』夏の大型プロジェクトティザーサイトを公開。詳細は6月10日に情報解禁 「Re:ゼロから始める異世界生活」から、エミリア 抱き枕カバー、フルグラフィックTシャツ レム、ポストカードセット各種グッズの再販予約受付が開始 『ディバインゲート』2017年夏から、『ディバインゲート零(ゼロ)』として新章スタート。インターフェイスの改修や、新主人公を実装へ