身近なスマートフォンを使い、触覚を伝える技術を実現

東北大学情報科学研究科　准教授の昆陽雅司先生。ロボットの研究に取り組みながら「触覚」を伝える方法の開発に取り組んでいます。触覚を伝えるために用いるのは、誰もが身近に持っているスマートフォン。どうやって触覚を伝えるのか、その研究について伺いました。

どんなイノベーションを目指しているか

「触覚」を再現する方法の研究

私は20年以上にわたり「触覚」の研究に取り組んでいます。その研究成果を生かし、スマートフォンなど身近な道具を用いて触覚を再現する方法の実現に取り組んでいます。私たちはスマートフォン上の動画に合わせてスマートフォンが振動し、動画を「体感」できる仕組みを作りました。例えば、チャーハンを作る中華鍋の振動、アーティストのライブ映像、迫力あるダンス、砂浜に寄せては返す波…など様々な場面を臨場感たっぷりに伝えることが可能です。この技術はAppleのiPhoneに搭載されたバイブレーターを使用し，iPhone8以上で利用できる技術になります。世界中で10億人以上の方に届けることができるのです。

これを可能にしているのが、映像で流れている音を周波数に応じて体感で感じる振動に変換する技術です。数ヘルツから数キロヘルツの音をスマートフォンのバイブレーターで利用できる100~200ヘルツの振動に変換して再現することが可能です。なぜ音に注目しているかというと、実は音の一部は触覚でも感じています。アーティストのライブを考えていただければわかりやすいのですが、大音量の音の一部は体に伝わる振動を触覚で感じているのです。

これまで振動の技術はゲーム機に利用されてきました。ニンテンドーDSやPlayStation5などにはゲームに合わせて振動する技術が使われています。ただリアルな体感を出すには振動するためバイブレーターを大きくする必要がありました。我々の技術を使えば、iPhoneのような小型のデバイスでも、リアルな体感を再現できるようになります。誰でも持っているスマホを利用して世界中に触覚コンテンツを広めることが可能です。

他にも触覚の研究ということで、例えば自分が感じた触覚を他の人に伝える技術を開発しました。ここではペンを使っていますが、でこぼこした面をなぞると、手首に伝わった振動が電気信号に変換され、他の人にその振動の様子が伝わるようになっています。

他にも、撮影した映像に振動をつけるということも可能です。ジャンプした高さに応じて振動を自動生成します。ここには画像を解析するAIが活用されています。

これまでの歩み

大学時代からロボットの研究を行ってきました。研究を進める中で「ロボットにできず、人にできることは何か」という問いが浮かびました。ロボットから「人」の感覚に興味が移り、その中で目を付けたのが「触覚」でした。人間の感覚の中でロボットには最も再現しにくいと考えたからです。例えば視覚はカメラを使えば取得できますが、触覚は体中に分布する情報が必要で再現が難しいと感じたからです。

触覚を再現するためには、接触面にかかる力や触覚情報を検出する技術（センサー）と検出した情報を伝える技術（ディスプレイ）の両方が必要なのですが、どちらの技術も研究を進めていかなければいけません。例えば、点で接触している場合は触覚情報の検出はしやすいものの、介護の場面で人を人が抱きしめるように「面」で接触している場合、検出はより難しくなる。ただこの技術がうまくいかないと介護ロボットを作ることはできません。ですからロボットのことだけではなく人間の知覚を研究する必要があります。例えば接触面でどんな触覚情報が知覚されていて、人の脳はどのように情報を処理しているのか、ということを深く知る必要があります。ヒューマンインタフェースと呼ばれる研究分野になります。

難しい研究分野のように思われるかもしれません。失敗もありますが「失敗はチャンス」ととらえています。想定と違うことになったことも成果。仮説が間違っていたことがわかるというのはよい兆候で、予想通りにならなかったことが一番面白い。指導している学生が予想通りにならなかったデータを報告しないことがありますが、「それはチャンスなんだから報告してね」と伝えています。

アイデア・技術を実現するために

技術を実現するためには基礎研究が大切だと思います。メカニズムを解明し、いかに基盤となる技術を固めておくか、ということが後々の応用や飛躍のために大切です。私たちも20年触覚の研究を続けてきたからこそ、今いろいろな技術に応用できている。逆に実用化に向けて不足しているところが、基礎研究のモチベーションにつながっています。

東北大学金属材料研究所の初代所長・本多光太郎が残した言葉に「産業は学問の道場なり」という言葉があります。つまり実用化は基礎研究で磨いた技を試す道場のような場所。基礎研究は民間企業ではなかなか難しいところで、大学が果たす役割だと考えています。大学外の方や企業の方と連携しながら「オープンイノベーション」を進めていきたいと考えていますし、起業する準備も進めています。

未来へ向けて・高校生へのメッセージ

触覚を伝える媒体は人類の歴史を考えてみても画期的なことだと考えています。活版印刷で文字情報を伝えられるようになり、そしてラジオで音の情報を伝えられるようになり、そこからテレビで映像が伝えられるようになりました。さらにインターネットやスマートフォンの普及で映像や動画の伝達が当たり前になりました。しかし、まだ触覚を伝えた例はありません。

特に可能性を感じているのはこれまで「体でたたき込む」ことでしか習得できなかった技能の継承に利用することです。高校生でも例えば楽器の演奏やスポーツなど、「体で覚えるんだよ」といわれるようなことがあるかもしれませんが、そのような場面に利用できると考えています

例えば「達人」といわれるプロの職人の技術をより臨場感を持って体感してもらえるかもしれない。この職人の技能継承というのは今まさに課題になっていて、とある工作機械メーカーでは80歳くらいの高齢の方が技術を持っていても、時間的余裕がなくてなかなか若手の職人を育成できていないと聞きました。達人の職人さんが感じている触覚を後世に残せると考えています。

危険察知能力を高めるためにも使えると考えています。交通安全を学ぶビデオを見たことがある方もいらっしゃると思いますが、あのようなビデオに触覚を組み合わせたら、より記憶に残りやすく危険を察知しやすくなります。

ほかにも失敗ができないような場面で利用することもできます。例えば医療現場で、処置に失敗した時の手の感触を再現してそうならないように体に覚え込ませることもできるかもしれない。VRなどの映像技術を組み合わせればより効果的になると考えています。ほかに利用ができそうなのは遠隔操作ロボットへの応用です。福島第一原子力発電所の廃炉に向けて、高い放射線量の中でも作業ができるロボットが求められていますが、そのロボットを通じて人に触覚を伝えることができたら作業もしやすいですし、廃炉にも貢献ができると考えています。

高校生のみなさんへのメッセージとしては、一見興味がないことも後々役に立つということを伝えたいと思います。自分はもともとロボットの研究をしていましたが、ロボットではない「人のこと」に興味を持ち始めたことが現在につながっています。最短ルートで目標に到達しなくてもよい。興味がないと思ったことも好奇心を持って自分の中に取り入れていくことを繰り返してほしいなと考えています。

編集後記

昆陽先生の趣味は音楽。ライブが好きで大学生の時はジャズバンドでベースを演奏。弦楽器を演奏した指先の感覚が今にも役立っているそうで「何が研究につながるかはわからない」とのこと。おすすめの1冊は「触楽入門（朝日出版社）」。「触覚とは何か、我々の日常で触覚がどのように働いているのか，具体的な例と共にわかりやすく書かれていて，触覚の面白さが分かってもらえると思います」とのこと。