エゴセントリックデータ(Egocentric Data)とは・意味、由来・主なデータセット・事例・研究

エゴセントリックデータとは?
エゴセントリックデータ(Egocentric Data)とは、頭や首、眼鏡などに付けたカメラで、作業する人の目線から記録した動画などのデータのこと。ARグラスなどで使うAIアシスタントの研究やロボットを動かすAIの学習に使われ、動画に手や体の動きの記録を組み合わせることもある。
KDDI と ELYZA は2026年10月の発表で、「エゴセントリックデータ(人の目線で記録した作業データ)」と表記した。両社の新会社 ELYZA Robotics が開発する周辺技術には、ロボット基盤モデルの開発に必要なものとして、エゴセントリックデータの取得の技術が含まれる。
英語の論文では「egocentric human video」「egocentric human data」のように、人の一人称の動画やデータを指す形で使われる。カメラを付けた本人の手の動きと、手で扱う物が写るのが特徴だ。
ロボットを動かすAIの学習には、操作者がロボットを遠隔操作して集めた実演のデータも使われる。エゴセントリックデータは、ロボットを使わずに人の作業を記録する点が違う。ロボットなどの機械を動かすAIはフィジカルAIと呼ばれ、エゴセントリックデータはその学習に使う材料の1つだ。
エゴセントリックデータの由来と広まった背景
英国のブリストル大学の Dima Damen 氏らは2018年4月、32人の参加者が自宅の台所で記録した55時間の一人称の動画のデータセット EPIC-KITCHENS の論文を公開した。同氏らは一人称の視点の研究が進みにくかった理由に、十分な規模のデータセットがないことを挙げている。
Facebook AI は2021年10月、ARグラスなどで使うAIアシスタントに向けて、一人称の視点から世界を理解するAIの研究を進めるため、大規模なデータセット「Ego4D」を発表した。同社は、一人称の視点の理解を研究者のあいだで「egocentric perception」と呼ぶと説明している。
Ego4D の動画は、9か国の13の大学・研究機関が集めた。各機関は市販の頭に付けるカメラなどを参加者に配り、買い物や料理など日々の暮らしを記録してもらった。発表の時点で、700人を超える参加者の2,200時間を超える動画を集めた。
一方、Apple の研究者の Ryan Hoque 氏らは2025年5月の論文で、ロボットの学習に人の一人称の動画を使う理由としてロボットの操作を学ぶデータの不足を挙げた。手先の器用な操作には言葉や2次元の画像のようなインターネット規模のデータの集まりがないと、同氏らは指摘した。
Hoque 氏らによると、人の一人称の動画は特別な手間をかけずに量を増やせる有望なデータの源の1つだ。ただし Ego4D のような既存のデータセットについては、手の姿勢の記録がなく物の操作を中心にしていないとした。そこで、手や指の動きを録画と同時に計測したデータセット EgoDex を公開した。
また、ロボットの側のデータを集める費用も理由に挙げられている。アリババグループの研究チームは2026年10月の論文で、人型ロボットの実演のデータを大規模に集めるには費用がかかると述べ、量を増やしやすい代わりの手段に人の実演を挙げた。
エゴセントリックデータの主なデータセット
| データセット | 公開した組織 | 規模 | 記録に使った機器 |
|---|---|---|---|
| Ego4D | Facebook AI と9か国の13の大学・研究機関 | 3,670時間超、参加者923人 | 市販の頭に付けるカメラなど |
| EgoDex | Apple の研究者 | 829時間 | Apple Vision Pro |
| HumanVerse | アリババグループの研究チーム | 500時間 | 首に付けた GoPro と、体の動きを測る PICO の機器 |
※2026年11月時点
EgoDex は手や指の3次元の動きの記録と組み合わせた動画で、靴ひもを結ぶことから洗濯物をたたむことまで194の机の上の作業を収めている。HumanVerse は一人称の動画に全身と手の動きを合わせたデータで、掃除や食卓の準備のほか、大きな物を歩いて運ぶ作業も含む。
エゴセントリックデータに関する主な出来事・ニュース
- 2021年10月14日 Facebook AI「Ego4D」を発表:Facebook AI は、9か国の13の大学・研究機関が集めた2,200時間を超える一人称の動画のデータセット Ego4D と、5つのベンチマークを発表した。
- 2023年11月30日 Meta「Ego-Exo4D」を発表:Meta は、15の大学と作ったデータセット Ego-Exo4D を発表した。参加者が身に付けたカメラの一人称の映像と、周りに置いた複数のカメラの映像を同時に記録した。
- 2025年5月16日 Ryan Hoque 氏ら「EgoDex」を公開:Hoque 氏らは、Apple Vision Pro で集めた829時間の一人称の動画に手と指の3次元の動きを組み合わせたデータセット EgoDex の論文を、arXiv で公開した。
- 2025年9月18日 Figure「Project Go-Big」を発表:人型ロボットを開発する Figure は、同社のモデル Helix に人の一人称の動画だけで移動を学習させ、ロボットが言葉の指示に従って物の多い家の中を移動できたと発表した。
- 2026年2月19日 NVIDIA「EgoScale」を公開:NVIDIA の研究チーム GEAR は、2万時間を超える人の一人称の動画で、ロボットを動かすAIのモデル(VLA)を学習させる研究 EgoScale を公開した。
- 2026年10月13日 Lambda-humanoid Team「λ0」を公開:アリババグループの研究チーム Lambda-humanoid Team は、一人称の動画と体・手の動きを組み合わせた500時間のデータセット HumanVerse と人型ロボットの基盤モデル λ0 の論文を、arXiv で公開した。
- 2026年10月27日 KDDIとELYZA「ELYZA Robotics」の事業開始を発表:KDDI と ELYZA は、フィジカルAIを進める新会社 ELYZA Robotics の事業開始を発表した。新会社は、エゴセントリックデータの取得などの周辺技術も開発するとしている。
- 2026年11月4日 Juncheng Ma 氏ら「Open-HumanWAM」を公開:Ma 氏らは、5万時間の一人称の動画を集めたデータセット Open-HumanWAM-50K を中心とする研究の論文を arXiv で公開し、このデータセットも公開するとした。
エゴセントリックデータに関する事例・研究
NVIDIA は2万時間超の人の動画で手先の操作を学習
NVIDIA と米国の2つの大学の研究者は2026年2月、人の一人称の動画でVLA(視覚と言葉からロボットを動かすモデル)を事前学習させる研究 EgoScale を公開した。学習には家庭・工場・小売・教育などの場で記録した動画を中心に、合わせて20,854時間のデータを使った。
研究チームは、人のデータの量を増やすと、検証の損失(学習に使わないデータで測る予測の誤差)が量の対数に比例して下がる関係を見つけたとしている。検証の損失の値は、実際のロボットでの作業の成績とも強い相関があった。データの量と性能の関係は、一般にスケーリング則と呼ばれる。
自由度(独立して動かせる関節の動きの数)が22あるロボットの手で試した結果では、人のデータでの事前学習に少量の追加の学習を加えた方策(ロボットの動かし方を決めるモデル)は、事前学習をしない方策に比べて平均の成功率を54%改善した。
NVIDIA は2026年4月、EgoScale の研究を中心に人型ロボット向けのモデル GR00T N1.7 を学習させたと紹介した。同社の Edith Llontop 氏らは、前の版の GR00T N1.6 が学習に使った数千時間のロボットの遠隔操作のデータに比べて大きな前進だとしている。
さらに、NVIDIA は2026年11月、人とロボットのデータで学習させたモデル GR00T 2 を発表した。学習のデータには、同社がオープンソースで公開する10万時間の人のエゴセントリックデータが含まれる。
アリババは首に付けたカメラで全身の動きも記録
アリババグループの Alibaba Token Hub と Amap の研究チームは、2026年10月に公開した論文で、人型ロボット向けのデータセット HumanVerse を発表した。手元だけでなく、歩きながら物を運ぶような全身の動きも記録した。
記録には首に付けた GoPro のカメラを使い、高さを人型ロボット Unitree G1 の頭のカメラにそろえた。体の動きは、PICO 4 Ultra のヘッドセットと体に付けた計測器で計測した。手の関節の動きは、動画から推定した。
チームはノートパソコンを閉じる作業とカーテンを引く作業で、1回の実演あたりのデータ集めの手間を比べた。手間には、準備や調整、不具合への対応、物を元の状態に戻す作業の時間を含めた。人数は、ロボットの遠隔操作を2人、人の記録を1人とした。2つの作業の平均では、遠隔操作の140.85人秒(人数×秒で数えた延べの作業時間)に対し、人の記録は33.30人秒だった。
エゴセントリックデータの限界と撮影の同意
人とロボットの体の違いを埋める工夫が必要
EgoScale の研究チームは、人の実演のデータにはノイズが多く、対になるロボットの動作の記録がないことを課題に挙げている。人とロボットでは、関節の動き方や制御の仕組みも大きく違う。
人とロボットの体の違いを埋めるため、EgoScale は人のデータでの事前学習のあとに、人とロボットで動きをそろえた少量のデータで追加の学習をした。HumanVerse も、カメラの視点と腕の見え方を人型ロボットに合わせる処理を加えている。
撮影される人の同意を得る手続き
エゴセントリックデータには、カメラを付けた本人のほか、本人が関わる周りの人が写ることもある。Ego4D では各大学が研究倫理の委員会の基準に沿った手順を作り、参加者から同意や映像の使用の許可を得た。
また、Facebook Reality Labs の研究者は、研究所の中に用意した場面で400時間の動画を追加で撮影し、写った人から書面で同意を得た。
国内では、KDDI と ELYZA の新会社 ELYZA Robotics が、協力する企業と一緒に現場で作業データを集める計画を示している。自分の職場がデータの取得の場になるときは、誰がどの機器で何を記録し写る人の同意をどう得るのかを確かめることで、自分や同僚の映像の扱いを把握できる。
エゴセントリックデータに関連する用語
- フィジカルAI:現実の空間の状況を読み取り、ロボットや自動運転車などの機械を動かして作業を行うAI。
- VLA:カメラの映像などの視覚の情報と言葉の指示を受け取り、ロボットを動かす命令を出力するAIのモデル。
- 合成データ:アルゴリズムやシミュレーション、AIモデルを使って人工的に作った、現実のデータに似せたデータ。
エゴセントリックデータに関連する記事
エゴセントリックデータに関する出典
KDDI、ELYZA「フィジカルAIを推進する新会社「ELYZA Robotics」事業開始」(2026年10月27日)
Ryan Hoque ほか「EgoDex: Learning Dexterous Manipulation from Large-Scale Egocentric Video」(2025年5月16日、2026年3月9日改訂、arXiv)
Ruijie Zheng ほか「EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data」(2026年2月18日、arXiv)
Edith Llontop、Kalyan Vadrevu「NVIDIA Isaac GR00T N1.7: Open Reasoning VLA Model for Humanoid Robots」(2026年4月17日、Hugging Face のブログ)
Lambda-humanoid Team「λ0: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation」(2026年10月13日、10月21日改訂、arXiv の HTML 版)
Facebook AI「Teaching AI to perceive the world through your eyes」(2021年10月14日、Meta AI のブログ)
Apple「EgoDex」
Lambda-humanoid Team「λ₀: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation」
Juncheng Ma ほか「Open-HumanWAM: An Open Recipe for Scaling Human and Robot Experience for Embodied Foundation Models」(2026年11月4日、11月10日改訂、arXiv)
Ruijie Zheng ほか「EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data」(2026年2月18日、arXiv の HTML 版)
NVIDIA GEAR「EgoScale: Scaling Human Video to Unlock Dexterous Robot Intelligence」(2026年2月19日)
Lambda-humanoid Team「λ0: Scaling Open-World Egocentric Human Data for Humanoid Loco-Manipulation」(2026年10月13日、10月21日改訂、arXiv)
Ego4D「Egocentric 4D Perception (EGO4D)」
Sasa Docca「Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation」(2026年11月9日、NVIDIA のブログ)
Dima Damen ほか「Scaling Egocentric Vision: The EPIC-KITCHENS Dataset」(2018年4月8日、7月31日改訂、arXiv)
Meta「Introducing Ego-Exo4D: A foundational dataset for research on video learning and multimodal perception」(2023年11月30日、Meta AI のブログ)
Figure「Project Go-Big: Internet-Scale Humanoid Pretraining and Direct Human-to-Robot Transfer」(2025年9月18日)




