image

閉ざされた室内でもスナック菓子や植木鉢があれば外から何を話しているのか音声読取ることができる、そんな技術開発にMITを中心とする研究チームが成功したと発表しています。

音が生じたとき、人間の目には見えなくても、あらゆる物の表面にはごくわずかな振動が起こる。画像上にとらえられたこの振動情報を使って、その場の音を再構築できるアルゴリズムが開発された。
 
研究チームはこのアルゴリズムを使って、防音ガラスの向こう側にあるスナック菓子の袋を約4.6mの距離から撮影した動画から、内容がわかる話し声を取り出してみせた。

WIRED.jp
マサチューセッツ工科大学、マイクロソフト、アドビの研究チームは音声を映像から取り出すという技術開発に成功したと発表しています。

研究チームによると、聞こえない音声を取り出すには周囲にある物が振動している様子を撮影する必要があるとしており、解析する音声の周波数よりも映像のフレームレートが高いもので撮影する必要があるとしています。今回の研究では1秒間に2000~6000fps(コマ数)で撮影できる所謂ハイスピードカメラを使用し防音ガラスの外側からスナック菓子の袋を撮影し声を取り出すことに成功しました。



また、通常の60fps前後で撮影できるカメラでも音声をある程度再構築することに成功したとしており、複数の人の特徴を確認できる精度はあったとのことです。

この研究は犯罪操作や諜報活動に使用するということ以外でも、音から物の素材と構造を特定することが出来るようになると話しています。

外部から音声を読取る技術としてはレーザーを使った物が既に実用化されています。技術的には窓ガラス等にレーザーを照射し反射してきたレーザーの微細な振動を捕らえ音声に変換します。測定環境が良く見通しの良い所であれば1km先からも読取る能力があるとされています。