研究背景・目的

　IoTデバイス等での簡易で高速な処理を目的として、機械学習のハードウェア化が着目されています。ニューラルネットワークの推論においては、2値データを用いた高速・省資源処理方式が提案されていますが、ネットワーク自体の学習はほとんどの場合設置前にオフラインで行うのみです。IoT デバイス側で学習を行うことには、設置環境に応じた適応を迅速に行える、といった利点があります。もし、設置環境に応じた適応が必須の場合、従来方式では生データをクラウド側に送る必要があり、通信量やプライバシーの問題が生じかねません。本研究では IoTデバイス側で容易に学習を行えるようなニューラルネットワークの新しい学習手法に取り組んでいます。

研究内容

　ニューラルネットワークで通常使われている学習アルゴリズム(誤差逆伝播法)では、学習のために浮動小数点演算が必要です。そのため計算をハードウェア化するには多くの回路資源が必要で、計算に大きな電力を要しました。そこで私たちは、できるだけビット数の少ない整数演算のみで誤差逆伝播法の近似演算を行う、新しい手法を検討しています。図は、MNISTという手書き文字認識用データセットを扱うニューラルネットワークにおいて本手法を用いた場合に、推論(右方向)と学習(左方向)における重みと転送されるデータ(整数値)に必要なビット数を解析したものです。これらは全て整数値であり、通常使われる32ビット幅に比べて少ないビット幅での計算が可能となっており、省資源化・低電力化が期待できます。プロトタイプによる実験では、近似演算であるため若干の正解率の低下が見られましたが、レジスタ数は約1/4、消費電力は約1/2という結果になりました。

産業応用の可能性

　現在の IoT機器に搭載される AIシステムの多くは、設置前にオフラインで学習させるのみで、環境変化に追随する学習を随時行うことは難しい状況です。それに対し我々の提案する手法を用いれば、IoT機器内で自由に学習を行うことができる可能性があります。従来方式で環境変化に追随するにはクラウド側に生データを送り、そこで学習を行う必要がありますが、それに比べて提案手法ではクラウドとの通信量を削減できるほか、生データを送ることによるプライバシー問題等の回避が容易になります。近似演算のため正解率が若干下がりますが、それが許容できるアプリケーションには適している手法です。