本文へ移動
Harch AI Lab AI Learning & Research Mediapowered by Artiql Inc.

東京大学とNTT、光を使う深層学習の学習法と構造を簡略化。計算量は従来の深層学習に比べ最大約90%減

東京大学の中嶋浩平准教授らとNTTの共同研究グループは11月5日、光を使う物理深層学習の学習法とネットワークの構造を簡略化した枠組みを発表した。

この枠組みでは、これまでの深層ニューラルネットワークに比べ、認識性能を保つか高めながら、計算量と学習で調整するパラメータの数が最大約90%減った。論文は「Nature Computational Science」に掲載された。

物理深層学習は、光の強さや電流などの物理量の変化をニューラルネットワークの計算に使う方法だ。AIモデルが大きくなるにつれ、学習と推論に要るエネルギーが急速に増えている。光は、信号の速さやエネルギー効率から、計算の有力な基盤と見られている。

ただ、従来の物理ニューラルネットワークは多くの場合、デジタルのニューラルネットワークの構造と学習の手順を装置で再現しようとする。そのため多くのパラメータを調整する複雑な制御が要り、光の利点を打ち消すおそれがある。

中嶋准教授らとNTTは2023年1月10日にも、光ファイバーの装置でニューラルネットワークを学習させる手法を発表していた。

今回の学習法「SS-DFA」は、最終出力の誤差を各層へ直接伝える点は2023年の手法と同じで、パラメータは装置の初期状態と構造の情報だけで更新する。これにより、誤差を層と時間の順にさかのぼらせる従来の方法で必要だった、計算の途中の状態をすべて読み出す手間が省ける。

研究グループは構造の面でも「単一写像アーキテクチャ」を考案し、ネットワーク内部の密な結合を、互いにつながらない1変数の非線形な計算の繰り返しに置き換えた。SS-DFAと単一写像を組み合わせると、構造の情報も要らなくなり、学習に使う装置の情報は初期状態だけになる。

光と電気を組み合わせた装置の実験では、従来の手法に並ぶ性能が出た。単一写像をResMLPなど比較的基本的な現代の深層学習モデルに組み込んだ試験では、認識性能が上がり、計算資源は約40%減った。

中嶋准教授は、言語モデルなど現在最大規模のモデルで今回の構造を試すことを、今後の課題とした。

今回減ったのは計算量や計算資源で、エネルギーの削減はまだ可能性の段階だ。東京大学は、より大きなモデルへの拡張などがうまくいけば、発熱の少ない光の装置を生かして将来のAIデータセンターで計算と冷却に使うエネルギーや水を減らせる可能性があるとしている。

【関連サイト】東京大学大学院情報理工学系研究科「物理深層学習を高効率化する新たな学習法とアーキテクチャを開発~光ダイナミクスを活用した省資源でスケーラブルな深層学習を実証~」

【関連サイト】東京大学「Let there be light – novel AI framework runs on optical hardware」

【関連サイト】NTT「物理深層学習のための新たな脳型学習アルゴリズムを開発~新アルゴリズムで光ニューラルネットワークによる高速な深層学習を実証~」

画像:Editorial credit: u photostock / Shutterstock.com