全二重型音声対話(Full-Duplex)とは・意味、仕組み・主なモデル・事例

全二重型音声対話とは?
全二重型音声対話(Full-Duplex)とは、AIが相手の声を聞き続けながら自分も話し、相づちを打つ、割り込まれたら止まる、黙って待つといった振る舞いをその場で決める音声対話の方式のこと。
英語では、全二重を表す「full-duplex」を使い、「full-duplex spoken dialogue」などと表記する。全二重は一般に通信の分野で、送ることと受けることを同時に行える方式を指す語だ。一度にどちらか一方だけを行う方式は、半二重(half-duplex)と呼ばれる。
日本語の発表では、OpenAI が GPT-Live の紹介で「全二重アーキテクチャ」と表記した。AIの研究開発を行う AI inside は、自社のモデルを「全二重(Full-Duplex)型音声対話モデル」と呼んでいる。名古屋大学は「Full-duplex音声対話モデル」と表記し、「同時双方向」という言い方も添えた。
音声対話のモデルの評価の仕組み Full-Duplex-Bench を公開した Guan-Ting Lin 氏らは、多くの音声対話モデルは1回に1つのターンを処理する半二重で動くと記した。そのうえで、聞きながら同時に話せる全二重のモデルが現れ、より自然な会話ができるようになるとした。
全二重型音声対話の仕組み
OpenAI によると、初代の ChatGPT の音声会話は、文字起こしのモデルと大規模言語モデル、音声合成のモデルの3つを順につないでいた。その後の高度な音声モードは、1つのモデルで声を扱うようになった。ただし話す順番を交代する作りで、利用者が話し終えるのを待ってから答えていた。
全二重のモデルは一般に、話し終わりを待たずに、聞くことと話すことを1つの流れの中で続ける。OpenAI は、GPT-Live が出力を作りながら入力を処理し続け、話す、聞き続ける、止まる、割り込むといった判断を1秒に何度も行うと説明している。
声で質問に答えたり作業を進めたりする音声エージェントを作るときの組み立て方の1つとして、OpenAI の開発者向けの文書は全二重の GPT-Live を挙げている。
会話の時間を短い区切りに分けて処理する
全二重のモデルには、会話の時間をごく短い区切りに分けて処理するものがある。区切りごとに相手の声を読み込み、自分の声を出す作りだ。
区切りの長さは、AIキャラクターを開発する Shizuku AI の Shizuku-Duplex が80ミリ秒、音声のAIを手がける Boson AI の Higgs Realtime Duplex が160ミリ秒だ。AIのモデルを開発する Thinking Machines の TML-Interaction-Small は、200ミリ秒で区切る。
黙っているあいだも、区切りは止まらない。Boson AI は、無音の時間も区切りとして表し、映像を使うときは無音のあいだもカメラの画面を読み込み続けると説明している。時間に沿って処理するモデルでは沈黙や声の重なり、割り込みも文脈の一部として残ると、Thinking Machines は述べる。
NVIDIA の研究チームの PersonaPlex は、Kyutai の Moshi の作りをもとにしている。聞く流れと話す流れを2つ並べた作りで、相手の声を聞きながら同時に話せるという。
会話を受け持つモデルと考えるモデルを分ける
検索や込み入った推論を、会話の流れを止めずに処理する工夫もある。GPT-Live は会話を受け持ち、調べものやツールの利用は裏で動く別のモデルやエージェントに任せる。この任せる仕組みを、OpenAI は「delegation」(委任)と呼んでいる。
Thinking Machines も、会話を受け持つ TML-Interaction-Small と、時間のかかる推論やツールの利用を受け持つ裏のモデルを組み合わせる。任せるときは、質問だけでなく会話の全体を渡すという。Shizuku-Duplex では、会話のモデルが必要なときに特別な記号を出すと、裏のモデルに依頼が届く。会話のモデルは、裏のモデルが考えているあいだも受け答えを続ける。
Boson AI は、推論とツールの利用をどのモデルが受け持つかで、Thinking Machines とは違う作りを選んだと説明している。同社の Higgs Realtime Duplex は、会話を受け持つモデル自身が考えたりツールを呼んだりし、手に余る作業だけを大きなモデルに任せる。大きな推論のモデルは答えに10秒以上かかることがあり、毎回呼ぶと費用も抑えにくいためだという。
話す順番を開発者が決めずにモデルに任せる
OpenAI は、これまでの Realtime API の作りから GPT-Live へ移す開発者向けに、手動で話す番を区切る処理を外すよう案内している。GPT-Live では声を途切れずに送り続け、いつ話すかは GPT-Live が決める。
利用者とAIが同時に話すことがあるため、字幕の作り方も変わる。OpenAI が勧めるのは、両者の文字起こしを別々に更新し、声が重なるあいだもそれぞれの文字が伸びていけるようにする作り方だ。
全二重型音声対話の主なモデル
| 提供元 | モデル | 処理の区切り | 推論の分担 | 提供状況 |
|---|---|---|---|---|
| OpenAI | GPT-Live-1.1・GPT-Live-1.1 Quip(ChatGPT)、GPT-Live-1(API) | 記載なし | 会話のモデルが、推論とツールの利用を裏のモデルやエージェントに任せる | ChatGPT の音声会話で使われ、プランにより使うモデルが異なる。API では2026年9月10日に GPT-Live-1 の一般提供が始まった |
| Boson AI | Higgs Realtime Duplex | 160ミリ秒 | 会話のモデルが自分で考え、ツールを呼ぶ。手に余る作業だけを大きなモデルに任せる | 2026年11月5日に発表。API は近く提供する予定で、提供開始を知らせる登録を受け付けている |
| NVIDIA(ADLR) | PersonaPlex | 記載なし | 裏のモデルとの分担は記載なし。Moshi の作りをもとにした1つのモデルが聞き、話す | 2026年1月15日に公開。研究のページから論文・コード・モデルの重みへリンクしている |
| Shizuku AI | Shizuku-Duplex | 80ミリ秒 | 会話のモデルが、難しい依頼を裏のモデルに任せる | 2026年11月8日に開発を発表。自社の AI キャラクターに使う方針 |
| Thinking Machines | TML-Interaction-Small | 200ミリ秒 | 会話のモデルと裏のモデルを組み合わせる | 2026年5月11日に研究プレビューとして発表。発表の時点では、数か月のうちに限られた研究プレビューを開き、同じ年のうちに広く公開する予定とした |
※2026年11月時点
全二重型音声対話が広まった経緯
全二重の音声対話のモデルを示した研究には、Alexandre Défossez 氏らが2024年9月に arXiv で公開した Moshi の論文がある。著者らは Moshi を、音声と文章の基盤モデルで、全二重の音声対話の枠組みでもあると説明した。名古屋大学は、Moshi を Kyutai が開発した英語の音声対話モデルと紹介している。
2025年2月、名古屋大学の東中竜一郎教授の研究グループは Moshi をもとに日本語の音声対話データで追加の学習をした J-Moshi の開発を発表した。
Thinking Machines は2026年5月、汎用の商用フロンティアモデルは、利用者が打ち終わるか話し終わるまで待つ作りだと指摘した。同社は、全二重のモデルの例に Moshi や PersonaPlex を挙げつつ、それらを知能の評価より応答の速さに重きを置いた小規模なモデルと位置づけた。
OpenAI は7月に GPT-Live を発表し、ChatGPT の利用者に順次提供を始めた。11月10日には、ChatGPT で音声を使う人のほぼすべてが GPT-Live を使っているとして、12月11日に旧来の音声モードを外すと発表した。
全二重型音声対話に関する主な出来事・ニュース
- 2024年9月17日 Alexandre Défossez 氏ら「Moshi: a speech-text foundation model for real-time dialogue」を公開:Défossez 氏らは、全二重の音声対話の枠組みとして Moshi を示す論文を arXiv で公開した。
- 2025年2月5日 名古屋大学「J-Moshi」の開発を発表:名古屋大学の東中竜一郎教授の研究グループは、Moshi をもとにした日本語で使える Full-duplex の音声対話モデル J-Moshi を開発したと発表した。
- 2026年5月11日 Thinking Machines「Interaction Models」を発表:Thinking Machines は、音声と映像と文章を途切れずに受け取って応じる TML-Interaction-Small を、研究プレビューとして発表した。
- 2026年7月8日 OpenAI「GPT-Live」を発表:OpenAI は、全二重の仕組みで聞くことと話すことを同時に行う音声モデル GPT-Live を、ChatGPT の利用者に順次提供し始めた。
- 2026年9月10日 OpenAI、GPT-Live-1 を API で提供開始:OpenAI は、開発者が API で全二重の音声の会話を作れる GPT-Live-1 の提供を始めた。
- 2026年11月5日 Boson AI「Higgs Realtime Duplex」を発表:Boson AI は、聞く、見る、話す、自分の顔を描くことを同時に行う全二重のモデル Higgs Realtime Duplex を発表した。
- 2026年11月10日 OpenAI、ChatGPT の高度な音声モードと標準の音声の廃止を発表:OpenAI は、ChatGPT Voice から高度な音声モードと標準の音声を2026年12月11日に外すと発表した。
全二重型音声対話に関する事例・研究
ChatGPT は12月に旧来の音声モードを外す
OpenAI は2026年10月15日、ChatGPT の音声会話で GPT-Live-1.1 と小型版の GPT-Live-1.1 Quip の提供を始めた。Plus 以上のプランでは GPT-Live-1.1、ほかのプランでは GPT-Live-1.1 Quip が標準の音声モデルだ。
11月10日には、OpenAI が ChatGPT Voice から高度な音声モードと標準の音声を12月11日に外すと発表した。ただし、映像と画面の共有は、GPT-Live が対応するまで高度な音声モードが受け持つとしている。
AI inside は業務の処理と組み合わせた日本語のモデルを開発
AI inside は2026年4月、人と話しながら業務も同時に進める日本語の全二重型の音声対話モデルを開発したと発表した。経済産業省と NEDO(新エネルギー・産業技術総合開発機構)の生成AIの開発支援事業 GENIAC に採択された研究テーマの成果に基づく。
同社の説明では、このモデルは利用者が話している途中から意図をとらえ、答えの生成や業務の処理を始める。画像と音声、文章を1つのモデルで扱い、帳票などの画像と声の指示を組み合わせて業務を進める。同社は、このモデルを今後商用の版に更新し、各種のサービスに広げる予定としている。
Shizuku AI は約5分ごとに会話を要約し、長い対話を続ける
Shizuku AI は2026年11月8日、日本語の全二重のモデル Shizuku-Duplex の開発を公表した。同社によると、全二重のモデルは黙っているあいだも文脈が伸び続けるため、会話が長くなると応答が崩れることが、ほかの研究で報告されている。そこで同社は、約5分ごとに会話の中身を要約して文脈を作り直す仕組みを導入した。
Shizuku-Duplex の要約の仕組みは、コンパクションと呼ばれる手法の一種だ。Shizuku AI は、文脈の作り直しを80ミリ秒の1区切りのうちに済ませ、会話を途切れさせないようにしたと説明している。
Balam 氏らはツールを呼べるオープンなモデルを示した
Jagadeesh Balam 氏らは2026年9月、ツールを呼び出せる全二重の音声のモデル NemotronLabs VoiceChat を arXiv の論文で示した。著者らは、このモデルをオープンなモデルと位置づけ、聞く、文字に起こす、考える、ツールを使う、話すという動きを1つの流れの中で行えるとした。
PersonaPlex は役柄と声を指定できる
NVIDIA の研究チーム ADLR は2026年1月、PersonaPlex を公開した。Roy 氏らは研究のページで、それまでの Moshi のような全二重のモデルは声と役柄が1つに固定されていたと説明している。PersonaPlex は、文章で役柄を、音声の入力で声の特徴を指定できるようにした。
全二重型音声対話の英語での言い方
| 英語表記 | 意味 | 使用主体 |
|---|---|---|
| full-duplex | 相手の声を聞きながら同時に話せる方式 | OpenAI、Défossez 氏らなど |
| half-duplex | 1回に1つのターンを処理する方式 | Lin 氏ら |
| turn-based | 相手が話し終えるのを待ってから答える作り | Thinking Machines |
| cascaded | 音声認識、言語モデル、音声合成を順につなぐ作り | Roy 氏ら(NVIDIA ADLR) |
| interaction model | 利用者と途切れずにやり取りし、会話を受け持つモデル | Thinking Machines、Shizuku AI |
| backchannel | 相手が話しているあいだに打つ相づち | OpenAI、Lin 氏ら |
全二重型音声対話の限界と比べるときの注意点
長い会話と通信の品質が課題に
全二重のモデルは誰も話していないあいだも区切りを処理し続けるため、文脈が早くたまると、Boson AI は指摘する。そのため、音声や映像を少ないトークンで表す工夫をしたという。
Thinking Machines は、とても長い会話ではまだ文脈の丁寧な管理が必要だとし、取り組みを続けている分野だとした。遅れの少ない音声や映像のやり取りには安定した通信が必要で、通信が悪いと使い心地が大きく落ちるとも同社は記している。
話を止めても裏の作業は続く
GPT-Live が話すのをやめても、裏で任せた作業は動いたまま残ると、OpenAI は開発者向けの文書で説明している。利用者が途中で割り込んだときに、裏の作業を最後まで進めるか取り消すかは、開発者のアプリが決める。
利用者が取り消しを求めたときは、裏のモデルとアプリが取り消しを処理し、その結果を GPT-Live に伝える必要がある。
性能の数字は発表した会社の測り方による
Boson AI と Thinking Machines、Shizuku AI は、それぞれ自社のモデルを自社で評価した結果を発表に記載している。比べた相手のモデルや設定、相手の数値の出どころは、発表ごとに違う。Shizuku AI は、自社のモデルと GPT-Live の応答までの時間はサーバー側の録音で測り、ほかの2つのモデルは手元で再生した時刻で測ったと注記している。
日本語の全二重のモデルを評価する仕組みはまだ足りていないと、Shizuku AI は2026年11月の発表で記した。そこで、英語の Full-Duplex-Bench などを参考に、日本語版の評価の仕組みを自社で作った。
全二重型音声対話に関連する用語
- 音声エージェント:利用者と声で会話しながら質問に答え、予約の変更などの作業も進めるAIエージェントのこと。
- マルチモーダル:文章や画像、音声、動画といった種類の違うデータを、AIのモデルやシステムが入力として受け取ったり出力として生成したりできる性質のこと。
- コンパクション:長い会話や作業の記録を要約して、AIのモデルが扱う文脈を作り直す手法のこと。
全二重型音声対話に関する出典
OpenAI「GPT-Live の紹介」(2026年7月8日、7月31日更新)
AI inside「AI inside、対話と業務実行を同時処理する全二重型音声対話モデルを開発— GENIAC事業研究成果として業務完了時間96%短縮を実証」(2026年4月8日)
名古屋大学「【名古屋大学】相手の話を聞きながら話す、まるで人間のような対話 ~日本語で初のAI同時双方向対話モデル J-Moshiを開発~」(2025年2月5日、デジタルPR)
Guan-Ting Lin ほか「Full-Duplex-Bench: A Benchmark to Evaluate Full-duplex Spoken Dialogue Models on Turn-taking Capabilities」(2025年3月6日、8月16日改訂、arXiv)
Shizuku AI「Shizuku-Duplex:自然な間合いで話す日本語 Full-Duplex モデル」(2026年11月8日)
Boson AI「Higgs Realtime Duplex: Face to Face, Working in the Background」(2026年11月5日)
Thinking Machines「Interaction Models: A Scalable Approach to Human-AI Collaboration」(2026年5月11日)
Rajarshi Roy ほか「NVIDIA PersonaPlex: Natural Conversational AI With Any Role and Voice」(2026年1月15日、NVIDIA ADLR)
OpenAI「Getting started with GPT-Live」
OpenAI「Migrate to GPT-Live」
OpenAI「Managing GPT-Live sessions」
OpenAI「ChatGPT release notes」
OpenAI「Changelog | OpenAI API」
Shizuku AI「Shizuku AI Tech Blog」
Alexandre Défossez ほか「Moshi: a speech-text foundation model for real-time dialogue」(2024年9月17日、10月2日改訂、arXiv)
OpenAI「ChatGPT Voice」
OpenAI「GPT-Live-1.1 system card」(2026年10月15日)
Jagadeesh Balam ほか「NemotronLabs VoiceChat: An Open Full-duplex Speech-to-Speech Model with Tool Calling Capabilities」(2026年9月18日、10月1日改訂、arXiv)
OpenAI「Voice agents」
OpenAI「API の GPT‑Live‑1 で、より自然な音声体験を構築」(2026年9月10日)




