企画開発室では2022（令和4）年度、金沢工業大学（KIT）松井くにお研究室と共同で、複数の場所の映像や情報を同時に認識しながら実際の現場での作業を支援するスマートグラスアプリを開発しました。開発のテーマは「スマートグラスを活用した新しい働き方」。スマートグラスを着けた作業者は、ハンズフリーで点検や工事といった作業が可能になるほか、別の現場にある機械や機器との調整・連動性の確認などを少人数で行うことができ、効率的なオペレーションを実現します。

具体的には、作業者はスマートグラスのアプリから当社が独自に構築したCreerプラットフォームにアクセスし、クラウドを経由して遠隔現場のカメラ、センサー、PLCの映像や情報をリアルタイムで入手。それらも照合しながら実際の現場でタイムリーな判断と作業遂行が可能になります。また、現在のリモート立ち会いはタブレット端末で作業状況を撮影する人員が必要ですが、スマートグラスを使えば将来的にそれも不要となります。例えば、検査員がZoom等オンラインでつなげたまま製品検査を実施することで、お客様は検査員の視点でチェックをすることができるなど、幅広い活用が期待できます。

松井研究室のゼミ生・山本雄万さん(4年)は、スマートグラスに搭載するアプリをゼロから開発。スマートグラスとしてVuzix M400（OS：Android）を採用し、Web APIを使ってCreerプラットフォームからスムーズに情報を引き出せるシステムを構築しました。スマートグラスのディスプレイは4画面で構成し、作業と並行しながら関連映像や文字情報など相対的に確認できます。アプリでは、作業者の視覚的な負担を軽減するため、文字の大きさ、背景色を工夫し、“見えやすさ”も追求。操作にはスマートグラスのサイドに付いたボタンを使い、押す回数と長押し時間の組み合わせで複数の機能を迅速に切り替えられるようにしています。

KITと当社では今後もこの研究を発展させていく予定で、音声認識や画像の入れ替え、ズームといった機能の追加を目指しています。