MRデバイスアプリ「Holo AirTEXT」

【Holo AirTEXT】は、MicrosoftのMRデバイス「HoloLens^*1（ホロレンズ）」を利用し、対面する相手とのコミュニケーションをサポートするアプリで、先端技術の利活用事例として試作・開発されたものです。

次のような困りを抱えている人を想定しています。

1. 気持ちが散漫になって対面する相手に集中できない。
2. 話し言葉が記憶に残りにくい。または、話し言葉を聞くことが難しい。
3. 相手の感情を読み取るのが苦手。

この3つの課題を解決する機能をHoloLensに搭載しました。

1. 話者を認識すると話者以外がグレーアウトします。
2. AIを利用した音声認識により相手の声がテキストに変換され表示されます。さらに、後で読み返せるよう書き出しも可能。
3. AIを利用した感情認識により相手の感情をインジケータで表示します。

HoloLens内の表示（写真はハメ込み合成）

※Microsoftが実施している「AI for Accessibility」プロジェクトに応募しました。

*1：Microsoftが開発・販売するMixed Reality(複合現実)デバイスで、現実世界の形状（部屋の形やテーブルの位置）などをデバイスが把握し、それらにデジタル映像を重ね合わせることができます。

HoloLens

HoloLens2