まずはおさらいです

　「ぐるりビジョン」も「どこでもビジョン」もパソコンなどでの利用は既に当社の新設した塗装工場で実証が開始されています。今回はその2つのサービスをXRグラスで導入することを目的にしました。グラス上のモニターで情報を確認できるので、両手を塞ぐものがなくなりスムーズに作業を進めることができます。
　「ぐるりビジョン」は、360度カメラで映した現場映像の中心に自分がいるような感覚でプラント内を見て回ることができます。ストリートビューを進めていけば、リモートワークやテレワークをしながらバーチャル工場内を介して実際の現場を巡回していきます。
　また、「どこでもビジョン」では、グラス画面上の6面体で、最大6つの画像を映し出すことができます。6つとも全く別の現場を一度に確認でき、画面の切り替わり線を境に視線をずらすと、離れた場所にある機械の前に一瞬で「テレポーテーション」！
例えば、製造ラインの6カ所の要所をグラスモニター上に映し、各工程の進行具合を確認しながら、並行して手元の機械で微調整を加えるといったことも難なくこなせます。

デジタル空間上で掴んで開く情報の「ホットスポット」

いずれのXRグラスアプリでも、肝となったのはバーチャル空間に映し出す各情報のアイコン「CUBE」の設定です。CUBEは、クラウドに格納するマニュアルや日々の点検結果、リアルタイムの情報（現地のセンサーの値やライブカメラ）にリンクするもの。アクセスするには、グラス本体に触れて操作するのではなく、バーチャル空間上に映し出されたCUBEに自分の手を重ねるようにかざすと、映像上に疑似の手が現われます。そのままCUBEを掴むように自分の手を動かせば、その動作がバーチャル空間内でもリンク。センサーの値やトレンドグラフ、ライブカメラ映像、マニュアルpdfなど必要な情報をクラウドから引き出し、バーチャル空間に開示してくれます。これはバーチャル空間上に埋め込まれた活発な情報の集積地「ホットスポット」が、CUBEへのアクションによって開かれ、情報を瞬時に確認できるというプロセスによるものです。
　中でも、「どこでもビジョン」では、6面体を構成する各映像を作業別に自動で切り替え、さらに表示するCUBEの種類や数も連動して自動で切り替わる仕様にしました。メニューで「点検」「トラブル対応」「ライン稼働」など項目を選べば、必要な作業に応じた6画面構成と情報が速やかに確認できます。このプログラムの発明で特許も出願しました。
　さらに、一歩進んだ開発として「MCR（Mobile Control Room）（仮称）」構想も進めています。作業現場でXRグラスを装着すると、実際に自分が見ている現場にCUBEや操作パネルを表示するバーチャル空間が重なって映し出されます。その仮想パネルを操作すれば、機械に触れずとも実際の機械を動かすことが可能に！
遠隔地にある関連の機械も仮想パネルで操作できるので、グラスをかけて立っているその場所が、プラントのコントロールルームとして機能するのです。
　工場のスマート化というと、二次元コードを使って段階的にデジタル情報にアクセスする手法もよく使われます。でも私としては、現場に行ったら必要な情報がすぐに出てきてくれたらうれしいので、常に実作業者が使いやすいよう配慮した開発を意識しています。アプリの開発言語にはUnity（ユニティー）を使用していますが、ホットスポットの埋め込みや動作設定など専門的なプログラムの構築で用いるには複雑で、大変なことはあります。それでもXRグラスが自在に使えるようになれば、現場はさらに働きやすい環境になると期待を込めて、協力会社や学生の皆さんと一緒に開発を進めています。

CUBEを空間上で掴んで放し、情報を立ち上げる

MCRでは実際の現場とバーチャル空間が融合し、仮想操作パネルが出現（イメージ映像）

※使用デバイス：MiRZA®（ミルザ） Manufactured in 2024 NTTコノキューデバイス

「NEXT STEP」 臨場感・没入感を高めたVRゴーグルアプリを開発予定

一般的なXRグラスは、人間の目に映る部分を切り取って画像を構成する「視野角」が設定されており、それだとモニター上では空間の一部しか見ることができません。

そこで「ぐるりビジョン」は、360度すべてを同時に見渡せるVRゴーグルのアプリケーション開発にも今後は取り組んでいきます。メタバース上に現場を作り上げる際には、XRグラスアプリで使用している360度カメラ映像を転用したいと考えています。

そうすれば、開発・実装コストを抑えつつ、臨場感、没入感をより高めた空間構築が可能になり、難易度の高い作業の負担軽減にもつながるはず。一方で、メガネ型デバイスは装着のしやすさや軽量感といったメリットがあります。

現場の環境や作業内容に応じて、メガネ型かゴーグル型かを使い分けてもらい、
よりよいプラント運営を支えていきます。