本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

オンデバイスAI(On-device AI)とは・意味、仕組み・主な端末・プライバシー

オンデバイスAIとは?

オンデバイスAI(On-device AI)とは、スマートフォンやパソコンなどの端末の中でAIのモデルを動かし、データをクラウドのサーバーに送らずに処理する使い方のこと。一般に、インターネットの先にあるデータセンターでモデルを動かすクラウドのAIと対比して使われる。

日本語では、Microsoft が Copilot+ PC 向けのNPUの開発の経緯を紹介するブログで「オンデバイス AI 処理」と表記している。Google は Android の開発者向けの説明で、オンデバイスAIを、費用の安さとプライバシーの保護を特に重視する使い道に適した方法と位置づけている。

小規模言語モデル(SLM)がモデルの大きさを表す語であるのに対し、オンデバイスAIはAIを動かす場所を表す語だ。

オンデバイスAIの仕組み

端末でAIを動かす主な要素には、OSに組み込んだモデル、AIの計算に特化した半導体のNPU、端末のメモリーに収まる大きさのモデル、クラウドとの処理の分担がある。

モデルはOSの機能としてアプリに提供される

Android では、Google の端末向けのモデル Gemini Nano が、AICore と呼ぶシステムのサービスの中で動く。AICore は端末のハードウェアを使って推論の待ち時間を短くし、モデルを最新の状態に保つという。

アプリの開発者は、ML Kit の GenAI API を通じて、要約や校正、書き換え、画像の説明などを端末の中で行える。

Apple は2025年6月に、Apple Intelligence の中核にある端末向けのモデルをアプリの開発者が直接使える Foundation Models framework を紹介した。同社は、開発者が費用をかけずに推論を使えるとしている。

NPUがAIの計算を少ない電力で処理する

NPU(Neural Processing Unit)は、AIの計算に特化した半導体だ。Microsoft は日本語のブログで、NPU は機械学習や小規模言語モデルの計算を得意とし、CPU や GPU と比べてはるかに少ない電力で動くと説明している。NPU はもともとスマートフォンで使われていたもので、Windows のパソコンにも搭載されるようになったという。

Microsoft の Copilot+ PC は、1秒間に40兆回(40 TOPS)以上の演算ができるNPUを備えた Windows 11 のパソコンだ。TOPS は、1秒間に何兆回の演算ができるかを示す値だ。

Microsoft は開発者向けの文書で、NPU の多くは INT8 のような少ないビット数の整数の計算にしか対応しないため、モデルを NPU で動かすには量子化と呼ぶ変換が必要だとしている。

端末のメモリーと記憶領域にモデルを収める

Apple は2026年6月の発表で、従来の大規模言語モデルは学習で決まる数値(重み)をすべて作業用のメモリー(DRAM)に置く必要があり、一般向けの機器で大きなモデルを動かす妨げになると説明した。同社は、端末向けで最も性能の高い AFM 3 Core Advanced では、モデル全体をフラッシュメモリー(NAND)に置き、依頼に応じて選んだ一部だけをDRAMに読み込む仕組みにした。

モデルは端末の記憶領域にも置かれる。Apple は、iOS 27 などの Apple Intelligence を使うには、iPhone 17 Pro 以降などの一部の機種で端末に最大14GB、そのほかの対応する iPhone・iPad・Mac などで最大8GBのストレージが必要だとしている。

端末で足りない処理はクラウドのサーバーで実行する

Apple は2024年6月の発表で、Apple Intelligence を動かすモデルの多くは端末の上だけで動くと説明した。より多くの計算が必要な複雑な依頼では、Apple は Private Cloud Compute と呼ぶ同社のサーバーの環境でより大きなモデルを使う。

Microsoft も、NPU でできる端末の処理にクラウドの処理を組み合わせれば、さらに大きなモデルを動かせる可能性があるとしている。

オンデバイスAIに対応する主な端末

Google、Microsoft、Apple は、端末で動くモデルを自社のOSに組み込み、アプリの開発者にも使えるようにしている。

提供元 端末で動く主なモデル・機能 主な対応端末 開発者向けの提供
Google Gemini Nano。Android の AICore の中で動く ML Kit の GenAI API の対応端末は、Pixel 9〜11、Galaxy S25・S26 など ML Kit の GenAI API
Microsoft Windows に組み込み、NPU で動く言語モデル Phi Silica など。Phi Silica は2027年1月に Aion Instruct へ置き換える予定 40 TOPS 以上のNPUを備えた Copilot+ PC。Snapdragon X Elite、AMD Ryzen AI 300 シリーズ、Intel Core Ultra 200V シリーズを搭載した機種など Windows ML、Windows App SDK のAPI
Apple Apple Intelligence の端末向けの基盤モデル(AFM 3 Core など) iPhone 16 以降のモデル、iPhone 15 Pro、M1 以降を搭載した iPad と Mac など Foundation Models framework

※2026年11月時点

オンデバイスAIが注目されるようになった背景

各社は、端末で処理する利点として、応答の速さ、費用、プライバシー、オフラインでの利用を挙げている。Microsoft は2024年5月に Copilot+ PC を発表したとき、AIを端末で直接動かすことで、遅延や費用、プライバシーにかかわるこれまでの制約を取り除くと説明した。

Apple は、利用者のデータのセキュリティとプライバシーを守る中心に、端末の上での処理を長く据えてきたとしている。同社の説明では、利用者の端末にだけあるデータは分散していて、1か所を狙う攻撃の対象にならない。

スマートフォンで生成AIのモデルを動かす例として、Google は2023年12月に、端末での作業向けに作ったモデル Gemini Nano を Pixel 8 Pro で動かし始めた。同社は Pixel 8 Pro を、Gemini Nano のために設計した最初のスマートフォンと説明している。

パソコンでは、Microsoft が2024年5月に、NPU を備えた Copilot+ PC を6月18日から発売すると発表した。

オンデバイスAIに関する主な出来事・ニュース

オンデバイスAIに関する事例

Windows の Recall は画面の記録を端末で分析する

Recall は Copilot+ PC の画面を定期的に撮影し、端末で動くAIで内容を分析する Microsoft の機能だ。利用者は、パソコンで以前に見たものをあとから探せる。撮影した画像は暗号化され、端末の中に保存される。

Microsoft は2024年6月7日、Recall の提供の前に、プライバシーとセキュリティの保護を強める変更を発表した。Recall は利用者が自分で有効にしない限り無効のままになり、有効にするには Windows Hello への登録が必要だ。

撮影した画像は、利用者が認証したときにだけ復号される。Microsoft は6月13日に、すべての Copilot+ PC へ広く提供する前に、まず Windows Insider Program で試験的に提供すると改めた。

Microsoft は2025年4月25日に、Recall をプレビューの扱いのまま Copilot+ PC の利用者へ順に提供し始めたと発表した。欧州経済領域への Recall の提供は、2025年のうちに遅れて始めるという。

Edge はウェブ向けのAIのAPIを端末のモデルで動かす

Microsoft は2026年6月、ブラウザの Microsoft Edge 148 で、文章の言語を判定するAPIと翻訳のAPIを提供した。どちらのAPIも、ブラウザに組み込んだ翻訳などの作業に特化したモデルで端末の中で動き、145以上の言語に対応する。

ウェブサイトや拡張機能がこれらのAPIを使えば、クラウドの翻訳サービスに比べてプライバシーが高まると、同社は説明している。これらのAPIはネットワークに頼らずに使え、翻訳の費用もかからない。

Edge は、ウェブサイトからAIに指示を送る Prompt API と文章の作成を助ける Writing Assistance API に、40億パラメーターの Phi-4-mini を使ってきた。このモデルは求めるハードウェアの条件が高く、使える端末が限られていたという。

Microsoft は、より小さく速い Aion-1.0-Instruct の開発者向けプレビューを Edge の Canary と Dev のチャネルで始め、GPUの性能が低い端末やGPUのない端末にも対応を広げるとした。

Apple はサーバーの処理も外部から検証できるようにした

Apple は、Private Cloud Compute のサーバーで動くコードを独立した専門家が調べ、プライバシーが守られているかを確かめられるようにしている。iPhone などの端末は、調査のためにソフトウェアの記録が公開されたサーバーとしか通信しない。

Apple のセキュリティの部門などは2024年6月の説明で、クラウドのAIのサービスが利用者の特定のデータを記録しないと約束しても、セキュリティの研究者がそれを確かめる方法は一般にないと指摘した。同社は、Private Cloud Compute では依頼の処理が終われば利用者のデータを残さない設計にしたとしている。

Apple は2026年6月、サーバーのモデル AFM 3 Cloud Pro のために、Private Cloud Compute を Google Cloud 上の NVIDIA のGPUにも広げた。利用者のプライバシーを守る保証は、これまでと同じものを維持するという。

オンデバイスAIのプライバシーと対応端末に関する注意点

同じ端末でもクラウドで処理する機能がある

端末のAIの機能でも、処理する場所は機能ごとに違うことがある。Google は2023年12月の発表で、Pixel 8 Pro の録音アプリの要約は端末の Gemini Nano で行い、動画の画質を整える Video Boost では動画をクラウドにアップロードして処理するとした。

Google は2025年11月、AIの機能が端末での処理を超える計算を要するときのために、クラウドの Gemini のモデルを使う Private AI Compute を発表した。同社によると、Private AI Compute で処理するデータは、Google も見られないように守られる。Pixel の録音アプリは、この仕組みを使ってより多くの言語で文字起こしを要約できるようになった。

端末に残るデータの保護も必要になる

端末で処理すると、データは端末の中に残る。Microsoft は2024年9月の Recall の説明で、モデルとAIのデータの処理をパソコンに移すと、製品の設計で考えるべき特有のセキュリティの課題も生まれるとした。

Recall の画像と検索用のデータは常に暗号化されると、同社は説明している。暗号の鍵は、パソコンに搭載されたセキュリティ用のチップ TPM と、メモリーを区切って作る保護の領域 VBS Enclave で守られる。画像などのデータは Microsoft やほかの会社とは共有されない。

使える機能は端末の性能や機種で限られる

Google によると、端末で生成AIを動かすとネットワークの待ち時間はなくなるが、推論の速さは端末のハードウェアによって変わる。Microsoft も、Windows の新しいAIの機能の多くは40 TOPS 以上のNPUを必要とするとしている。

ML Kit の GenAI API が使える端末は、Google が一覧で示す機種に限られる。要約・校正・書き換え・画像の説明のAPIについて、同社は対応する機種を広げる予定としている。Gemini Nano が使えるかどうかと、その版は、端末のメモリーの構成やOSの版などによって変わることがある。

オンデバイスAIに関連する用語

  • 小規模言語モデル(SLM):大規模言語モデル(LLM)よりパラメーターの数を抑え、限られた計算資源で動くように設計された言語モデルのこと。
  • カスタムAIアクセラレーター:クラウドの大手やAIの開発企業が、自社のAIの処理に合わせて設計する計算用の専用チップのこと。
  • HBM(広帯域メモリー):DRAMのチップを縦に積み重ねてGPUなどの演算チップと密につなぎ、大量のデータを高速に受け渡せるようにしたメモリーのこと。
  • 大規模言語モデル(LLM):大量の文章のデータで学習し、文章の生成や翻訳、要約といった言語にかかわる作業を行うAIモデルのこと。

オンデバイスAIに関する出典

Microsoft「Windows をもっとインテリジェントに。進化を支える NPU の力」(2025年11月28日)
Google「Gemini Nano」(2026年10月29日更新)
Microsoft「Copilot+ PCs developer guide」(2025年11月17日更新)
Microsoft「Introducing Copilot+ PCs」(2024年5月20日)
Apple「Introducing the Third Generation of Apple’s Foundation Models」(2026年6月8日、9月9日更新)
Apple「次世代のApple Intelligenceを使い始める」(2026年11月6日)
Google「Overview of the ML Kit GenAI APIs」(2026年11月10日更新)
Apple「Updates to Apple’s On-Device and Server Foundation Language Models」(2025年6月9日、7月17日・2026年9月9日更新)
Apple「iPhone、iPad、MacにApple Intelligenceが登場」(2024年6月10日)
Apple「Private Cloud Compute: A new frontier for AI privacy in the cloud」(2024年6月10日)
Google「Google Pixel December feature drop: New Gemini AI-powered updates」(2023年12月6日、12月13日更新)
Microsoft「Update on Recall security and privacy architecture」(2024年9月27日)
Microsoft「Update on the Recall preview feature for Copilot+ PCs」(2024年6月7日、6月13日・8月21日・10月31日更新)
Microsoft「Expanding on-device AI in Microsoft Edge: New models and APIs for the web」(2026年6月2日)
Microsoft「Get started with Phi Silica in the Windows App SDK」(2026年10月19日更新)
Microsoft「Copilot+ PCs are the most performant Windows PCs ever built, now with more AI features that empower you every day」(2025年4月25日)
Google「Private AI Compute: our next step in building private and helpful AI」(2025年11月11日)

オンデバイスAIに関連する記事