MR（複合現実）× マーカーレスモーキャプ
MR熟練者動作トレーニング
いつもの作業空間に熟練者を重ね、見て・試して・振り返る
クレッセントとキヤノンITソリューションズ(CITS)が取り組んだ、MRヘッドセット（MREAL）とマーカーレスモーションキャプチャ（Vicon Markerless）を組み合わせることで実現できる技能継承システムです。
「見て・試して・振り返る」これまでにない技術継承
MR（複合現実）ヘッドセットを通すと、実際の作業現場に熟練者の動きが実物大で現れます。
① 訓練者は普段の作業場で作業する熟練者の動きを見て学びます。
② 作業着のままグローブだけを着用し見たとおりに試します。
③
作業が終わると、自分の動きと熟練者の動きを重ね合わせ、姿勢や時間の違いを振り返ることが可能です。
「見て・試して・振り返る」という技能習得の一連の流れを、現場を離れずその場で完結できるのが本システムの特徴です。
従来のVR技能継承教材は、事前に収録した映像を「見る」ことに主眼を置いたものが中心でした。本システムはマーカーレスモーションキャプチャにより訓練者自身の動きを計測できるため、見るだけでなく「動き」を評価し、フィードバックする仕組みに発展させられます。
さらに、蓄積した動作データは、将来的にAI分析やロボット制御の学習データとして活用することも可能です。
単なる映像教材ではなく、計測・評価・データ活用までを見据えたシステムです。
「熟練者の動きを重ねて現場で学ぶ」仕組みは、MRヘッドセットとマーカーレスモーションキャプチャを使ったシステム例の一つです。具体的な製品や技術の組み合わせ方、連携させるアプリ次第で、用途は技能訓練以外にも幅広く広がります。
技能継承の課題解決
技能継承における以下の課題解決を目指します。
技能が失われる
- 熟練者が退職する前に技術を残したい
- 属人化した経験や勘を、個人の記憶から組織の資産へ変えたい
熟練者の動きを保存する
- 身体の動き、工具の動き、作業手順をデータとして保存
- 退職や異動の前に、現場のノウハウを繰り返し使える形で保存
技能を伝えにくい
- 肩の高さや手首の角度など、言葉や動画だけでは伝わりにくかった身体の使い方を理解してもらいたい
実際の作業場で、動きを見て理解する
- MRヘッドセットを通じて、いつもの作業場に熟練者のアバターを実物大で表示
- 姿勢、視線、工具の動きを、見たい視点から体験
教育を続けにくい
- OJTが担当者任せで、教育に時間を割けない
- 習熟度や身体負荷を客観的に判断したい
熟練者データと共に作業し、結果から改善を繰り返す
- 熟練者の時間を割くことなく、収録済みの熟練者の動きを見ながら作業ができる
- 熟練者との違い、作業時間、姿勢などが即座に表示されるため、改善を目指して次の作業を行える
MR × マーカーレスモーキャプだからできること
MR単体の映像視聴でも、マーカーレスモーキャプ単体の計測でもなく、掛け合わせることでより強力な仕組みとなります。
現場に重ねて、見ながら理解する
- 実物大の熟練者アバターを、実際の作業場に表示できる
- 姿勢・視線・工具との位置関係を、訓練者の視野内で確認できる
- 教材と作業場所が同じ空間になり、距離感や角度感を体験できる
普段に近い状態で、動きを計測する
- 身体用のマーカーやスーツを装着せず、グローブのみを着用すれば計測を開始できる
- いつもの服装・工具のまま、低遅延・高精度に動きを捉えられる
- 工具や治具など必要な対象にはマーカーを貼り付け、計測に含むことができる
見て、試して、振り返る教育サイクル
- 実際の作業場で熟練者の動きを見て、そのまま自分で試せる
- 試した動きを計測し、熟練者との違いを比較・評価できる
- 身体と工具の動きを含む訓練データを、次の指導や分析に活用できる
システム構成
「MR熟練者動作トレーニングシステム」は、視聴デバイス（MREAL）と計測システム（Vicon Markerless）によって構成されています。
- 1Viconカメラ（マーカーレスモーキャプ）
- 2MREAL（MRヘッドセット）
- 3マーカー付きグローブ／マーカーを付けた工具
- 4等身大の熟練者アバター
- 5普段の作業場
Vicon Markerless（モーションキャプチャ）
グローブ着用のみでセンサースーツ不要のマーカーレス計測。低遅延・高精度なリアルタイムトラッキングが特長で、ドライバーやレンチなど実際に使用する工具にはマーカーを貼り付けて計測に追加することもできます。複数人を同時に計測することも可能です。
Vicon Markerless 製品ページ →MREAL（MRヘッドセット）
現実空間に仮想映像を重ねて表示するMRヘッドセット。熟練者アバターや評価結果を実物大で作業現場に投影し、訓練者の視野内にリアルタイムで表示します。ビデオシースルーにより現実とCGの焦点が一致するため、違和感なく重ねて表示できます。
MREAL 製品ページ →MR熟練者動作トレーニング
Vicon Markerlessから得た熟練者・訓練者のモーションデータを記録し、OWAS姿勢評価・タクトタイム比較などのレポートを作成します。
主な機能
身体はグローブ着用のみでセンサースーツ不要。低遅延・高精度なリアルタイム計測で、ドライバーやレンチなど実際に使う工具にはマーカーを取り付けて収録データに追加することもできます。着脱・キャリブレーションが短いため短時間での繰り返し訓練が現実的になります。
作業性
作業を中断してモニターを確認する必要がなく、視野内にお手本が表示されます。「見ながら動く」体験が、脳と身体への定着を早めます。
区間ごとの姿勢負荷アクションレベルを自動算出。改善が必要な動作を特定し、職場環境改善や安全管理の根拠データとして活用できます。
OWASについてはこちらをご参照ください。
熟練者との区間ごとのタイム差分を可視化。「全体的に遅い」ではなく「第3工程で△秒ロスしている」という具体的な指導・確認が可能になります。
事前設定したしきい値を超えた関節角度をリアルタイムで警告。肩・肘・膝・首など部位ごとに個別設定でき、怪我リスクの高い動きをその場で是正できます。
蓄積したデータの将来的な活用
この活用例で蓄積するのは、見るための映像だけではありません。熟練者・訓練者・工具の動作データを蓄積することで、将来的には教育の改善からAI分析、ロボットへの活用まで発展させられる可能性を秘めています。
技能アーカイブ
工程・作業者・工具などの条件と合わせて動作を保存。必要なタイミングで必要なデータを再生し、未来の継承者が技能を学べるようにします。
教育・評価の改善
訓練履歴や動作の変化を追跡し、つまずきやすい工程を把握。訓練者ごとに課題の設定や、教育工程の改善への活用にもつなげられます。
AIによる動作分析
蓄積した動作データをAI分析へ活用し、危険動作や熟練者に共通する特徴の検出を目指せます。実現範囲はデータ量や分析設計によって異なります。
ロボット・フィジカルAI
人の動作データを、ロボットの動作生成やフィジカルAIの学習データとして活用。人の技能を自動化につなぐ基盤になります。
他分野/他システムでの活用例
本システムは、MREALとVicon Markerlessを組み合わせた一例にすぎません。同じ技術は、適用分野を変えることでも、別の技術を追加することでも、連携するアプリを変えることでも、さまざまなシステムに展開できます。
他分野への展開（同じシステム構成を他の現場に）
製造業（生産現場）
組立・溶接・検査などの技能伝承に活用。ラインを止めることなく、実際の工程の中で新人育成を進められます。
建設・設備工事
配管・電気工事など複雑な組み立て手順を、実際の現場環境でMR体験型OJTとして提供。手順書では伝わらない空間的な動きを習得できます。
医療・介護
移乗介助・処置など身体接触を伴う手技教育に活用。熟練者の正確な身体の使い方をデータ化し、安全で効率的なケア技術の伝承を支援します。
伝統工芸・芸能
職人技や舞台芸術など、言葉にしにくい身体の使い方を動作として記録。継承者が見て、試して、振り返るための教材として活用できます。
他のシステム構成例（連携アプリ・出力先を変える）
AI異常動作検知
モーキャプで取得した動作データをAIで解析し、事故につながりやすい前兆動作を自動検出。MRヘッドセットでの訓練ではなく、日常作業を継続監視して警告するシステムに置き換わります。
ロボットティーチング連携
モーキャプで捉えた熟練者の動作データを、人が見るMRヘッドセットではなく産業用ロボットの教示システムへ送信。ロボットアームに人の動きを直接学習させる構成に置き換わります。