深層学習のカーネル法による汎化誤差解析とその適応能力の評価

開催日時
2018/12/19 水 15:00 - 16:00
場所
3号館110講演室
講演者
鈴木大慈
講演者所属
東京大学
概要

本講演では深層学習の汎化誤差解析および関数近似理論について述べる.
前半では,再生核ヒルベルト空間の理論を用いた汎化誤差解析について述べる.
深層学習は大きなネットワークでも汎化することが実験的に知られている.
その一つの理由として,ネットワークの隠れた実質的次元が小さいことが考えられる.
その隠れた次元として,古典的な「自由度」を用いることで,実際にネットワー
クがより小さなネットワークに圧縮できること,およびそれによって汎化性能が保証
されることを紹介する.
また,理論に合った圧縮方法を提案し,
種々のデータセットで実施した数値実験の結果を紹介する.
後半では,ReLU活性化関数を用いた深層ニューラルネットワークの関数近似能力について,
wavelet解析を用いた解析について述べる.
特に,これまでのHolder空間での解析を拡張して
Besov空間およびmixed-smoothnessを持ったBesov空間での近似能力を導出する
導出されたレートは任意の非適応的関数近似手法よりも良いレートを達成する.
そのため,特に空間的に滑らかさが一様でないようなパラメータ設定において
線形推定量をミニマックスリスクの意味で優越することが示される.
これは,深層ニューラルネットワークが特徴量抽出機として
高い適応力を持つことを示唆している.