Swap stepの無い条件付き勾配法およびkernel herding法への応用

開催日時
2022/12/20 火 16:45 - 18:15
講演者
田中 健一郎
講演者所属
東京大学 大学院情報理工学系研究科 数理情報学専攻
概要

本講演では,多変数関数の数値積分公式の構成法について述べる.数値積分公式は,所与の測度を,有限個の標本点と重みの組からなる離散測度で近似するものとみなせる.したがって,所与の測度からのサンプリングと関連が深い.決定論的なサンプリング方法の一つにkernel herding法がある.この手法は,所与の測度と離散測度とのある距離を逐次的に最小化する方法である.この最小化問題は,測度のなす空間上の問題であるため一般には無限次元の問題となる.一方,有限次元の凸最適化に用いられる方法として,条件付き勾配法(CG法,Frank-Wolfe法)がよく知られている.実は,kernel herding法は,このCG法を先の測度空間上の問題に適用したものとみなせる.そのため,CG法の加速法が得られれば,kernel herding法も効率化することが可能となる.
 CG法の加速法としてはいくつかの方法が考案されている.その代表例としてPairwise CG (PCG) 法がある.これは,暫定解の更新方向を制約領域の二点の差で与え,解の収束性の向上を図っているものである.しかし,場合によっては特定の二点の交換が起きるのみで解が本質的には更新されない”swap step”が発生してしまうことがある.このステップの数は問題の次元に依存する量で抑えられるため,PCG法の収束解析はkernel herding法に必要な無限次元の場合に一般化できない.
 そこで,本研究ではPCG法の新しい変形,Blended Pairwise CG (BPCG)法を提案した.この新しい方法にはswap stepが生じない工夫が施されている.BPCG法の収束率は,PCG法より悪くならず,多くの場合に改善される. そして,本研究ではBPCG法をkernel herding法に適用することで,優れた数値積分公式を導くことも示される.
 本講演の内容は,辻和真氏(三菱UFJ銀行),Sebastian Pokutta氏(ベルリン大学,ZIB)との共同研究に基づく.