[CEDEC2016]アニメが声優に合わせる時代がくるか?口の動きを声優に合わせて動画を編集する技術「Audio-Visual Synchronizer」

記事カテゴリ:
たて りょうた
2016年08月25日

 早稲田大学、先進理工学研究科 物理学及応用物理学専攻 森島研究室所属の古川翔一さんが今回発表したのは、「Audio-Visual Synchronizer」という技術の実験映像だ。

 古川さんいわく、動画では字幕よりも音声による吹き替えの方が情報を多く伝えることができ、吹き替えの需要が多くなっている現状があるとのこと。

 たしかに、外画を見る際、字幕は演者の生声による演技を楽しむことができるが、実際、字幕に注意がいってしまい、映像への注意力が散漫になってしまう実体験がある。なので、最近海外ドラマなどはもっぱら吹き替えしかボクは見ていない。

 古川さんによると、外国語のセリフを吹き替え台本にする際、ブレスや尺合わせ、口合わせなどを意識し、非常に高度な翻訳技術、台本を書く技術が必要になるという。

 たとえば、「アナと雪の女王」の主題歌「レット・イット・ゴー」では、本来の歌詞と元動画である「go~」の口の動きと同じくするため「ありの~」という歌詞が作られたとのこと。

 これを、「Audio-Visual Synchronizer」を利用することにより、動画内と声優の口の動きをシンクロさせるというものだ。
 どのようにしてその動きをシンクロさせるのか?

 今回紹介された方法は、声優の口部分の動画を撮影し、口の位置情報を演者、声優双方取得し数値化する。そして、双方の動画を複数枚に切り分け、声優の口の形が似ている演者の動画を自動で切り抜き、入れ替えるという手法だ。

 実験した動画では、違和感はあったものの、確かに、口の動きとセリフがリンクしたものであった。
 現状では、口元の動きに注力した場面を想定しているとのことで、激しいアクションなどでは応用できないとのこと。ただし、これまでの実験では、対象が人種や体形問わず、誰でも利用できたとのこと。

 では、この技術が実用化されるとどうなるのか? 古川さんは、有名人に好きなことを言わせるエンターテイメントの実現のほか、CGアニメーションなど今まで如何にしてリアルに作るかに注力されていたものが、編集に集中できる環境をつくることができるのではないかと考えているそうだ。

 また、2Dアニメーションの場合、基本的に口の動きは3種類しかない。「開いている状態」「閉まっている状態」「中間の状態」の3つだ。なので、CGアニメや実写映像に比べると、より違和感なく実現できる。
 実際、2Dアニメーションのデモでは、実写にあった違和感はなく、ストレスなく見ることができた。

 もちろん、実用段階の技術の発表ではなく実験段階のものなので、現段階では実用化する際のクエスチョンは当然出てきたが、今後の改良次第では、動画の撮影ではなく、声優側の発音によって動画側の編集を自動で行うなど、様々な可能性が見えてくる技術だ。

 ジャック・バウアーが、完全に小山力也とフュージョンしてくれる日もやってくるかもしれない。

 

この記事のカテゴリ

この記事を共有しよう!

『Fate/Grand Order』新TVCM公開。新章「Epic of Remnant」の最後の物語「亜種特異点Ⅳ 異端なるセイレム」に決定 【マイクラPE】0から始める『マインクラフト』第8回:牛やニワトリをお世話する「牧場」を作ってみよう! なんか話題になってるっぽい、男顔なのか女顔なのか診断してくれて似てる有名人を検索してくれる「pictriev, 顔検索エンジン」で遊んでみる [コラボ]『パズル&ドラゴンズ』アニメ「鋼の錬金術師 FULLMETAL ALCHEMIST」とのコラボでゲーム内に「エドワード・エルリック」や「アルフォンス・エルリック」など人気キャラクターが登場 『シールモバイル』配信中。PCオンラインゲーム『シールオンライン』がスマホRPGとして復活 【マイクラPE】0から始める『マインクラフト』第11回:金やレッドストーンを集めてきたぞ~! …とか言ってる場合じゃねぇ ケイブ、新作プロジェクト「3jus」の名を改め、新作ゲーム『三極ジャスティス』を発表。公式サイトを同日に公開 iOS・Android版『テラリア』アップデートを実施。「釣り」など5つの要素を実装し、iOS9にも対応 『パズル&ドラゴンズ』新たな覚醒スキルや新モンスター「とじたまドラ」登場など、遊びの幅が広がるアップデートを実施 [朝刊]スマホゲームランキング・人気記事(11/19)