Shizuku AI、話を聞きながら相づちや返事ができる日本語の音声対話モデル「Shizuku-Duplex」を開発

AIキャラクター「しずく」を開発・運営するShizuku AIは11月8日、利用者の声を聞きながら自分も話せる日本語の音声対話モデル「Shizuku-Duplex」を開発したと発表した。同社が公開した通話の録画では、モデルが相づちを打ち、割り込まれると話を止め、話しながら調べものもしている。

従来の音声AIの多くは、音声認識、大規模言語モデル、音声合成を順につなぎ、利用者が話し終えてから処理を始める。そのため利用者は返事を待たされ、話の途中で口をはさめず、AIも相づちを打たない。相手の話を聞きながら話す方式は「Full-Duplex」と呼ばれ、OpenAIが7月に発表したGPT-Liveもこの方式だ。

Shizuku-Duplexは80ミリ秒ごとに利用者の声を聞いて自分の声を出す。話す内容は声に出す少し前にテキストで作り、話し始めるタイミングと黙るタイミングもモデル自身が判断する。

Shizuku-Duplexは2つのモデルで動き、一方が利用者との会話を受け持ち、Web検索などを使えるもう一方が、難しい依頼を裏で処理する。会話側のモデルは、その処理中も利用者との受け答えを続け、結果が届くと自分の言葉で伝える。

Shizuku AIは英語のベンチマークなどをもとに日本語のベンチマークを作り、Full-Duplex方式のGPT-Live、J-Moshi、LLM-jp-Moshiと比べたほか、方式の異なるGPT-RealtimeとGemini Liveも参考に測った。

同社による比較では、Shizuku-Duplexは話す番の交代を測る6つの指標のうち5つで、比べたFull-Duplex方式のモデルの中で最も良かった。応答の中身をAIが採点した評価では、Shizuku-Duplexは同じ方式のモデルの中でGPT-Liveに次いだ。

同社の測定では、利用者が話し終えてから返事が始まるまでの時間の中央値は、通信の往復を除いてShizuku-Duplexが0.57秒、GPT-Liveが0.53秒だった。GPT-RealtimeとGemini Liveは、通信の往復を含めて1.61秒と1.27秒だった。

同社は今後、対話能力の改善と対応言語の追加に加え、視覚やキャラクターの動作への対応を進める。Shizuku-Duplexを使い、利用者の様子に合わせて応え、感情も表す「しずく」を作っていく。

【関連サイト】Shizuku AI「Shizuku-Duplex：自然な間合いで話す日本語 Full-Duplex モデル」