第24回情報論的学習理論ワークショップ (IBIS2021) に参加しました

t2sy

2021.11.19

Topics

チュートリアル
招待講演
企画セッション
一般セッション
おわりに

こんにちは。データサイエンスチームの t2sy です。
第24回情報論的学習理論ワークショップ (IBIS2021) が、2021-11-10 から 2021-11-13 にかけて開催され、昨年に引き続き参加しました。この記事では、IBIS2021の内容を簡単にレポートします。

情報論的学習理論ワークショップ（Information-based Induction Sciences; IBIS）は、広く機械学習に関係する分野の学際理論フォーラムです。IBIS2021 は昨年度に引き続きオンラインでの開催となりました。講演は Zoom で配信され、質疑は Slack 上で行われました。

IBIS2021のプログラムは大きく以下の4つのセッションに分けられています。

チュートリアル
招待講演
企画セッション
一般セッション

全体として、上記のセッション間で関連性が見られる点が印象的でした。例えば、招待講演では、最適輸送 (Optimal Transport) や、転移学習 (Transfer Learning) の講演があり、関連したチュートリアルとして「最適輸送入門」や「転移学習：基礎から最近の展開まで」がありました。また、企画セッションでは因果推論に関する講演が3件あり、関連したチュートリアルとして「因果推論の入門と機械学習」がありました。
このように、招待講演や企画セッションのテーマについて、その分野をフォローする基礎・入門のセッションがチュートリアルとして設けられており、私のように各分野の背景知識に乏しい場合でも全体像や要点を押さえることができました。

チュートリアル

チュートリアルでは以下の4つのテーマについて基礎・入門から最近の動向まで俯瞰的な視点で講演が行われました。

「因果推論の入門と機械学習」(安井翔太)
「最適輸送入門」(佐藤竜馬)
「量子計算・量子機械学習入門」(御手洗光祐)
「転移学習：基礎から最近の展開まで」(松井孝太)

「因果推論の入門と機械学習」では、近年、機械学習の研究や企業での応用が増えてきている因果推論について基本的なモチベーションや考え方から、選択バイアスの問題とA/Bテストによる回避、またA/Bテストが行えない場合の様々な効果検証の手法 (回帰分析・傾向スコア・差分の差分・回帰不連続デザイン)、さらに機械学習に因果推論を取り入れたり因果推論のために機械学習を導入するといった近年の機械学習の発展との関連について解説がありました。

「最適輸送入門」では、機械学習の様々な場面で確率分布を比較する際によく使われている KL ダイバージェンスと比較した最適輸送の利点、最適輸送距離の定式化 (離散・連続)、最適輸送の特殊ケースとしての Wasserstein 距離、エントロピー正則化を導入することでよりシンプルな形で最適化できる Sinkhorn アルゴリズム、連続分布の最適輸送における Wasserstein GAN などの解説がありました。また、講演者の方が、最適輸送問題を解く様々なアプローチ・アルゴリズムを紹介しているスライドを SlideShare に公開されているので興味のある方はご確認ください。[1]

「量子計算・量子機械学習入門」では、量子計算の基礎 (量子ビット・量子ゲート)、現在の量子コンピュータと量子ビットのエラーに対する誤り訂正技術の課題、量子機械学習の基礎 (計算量理論の観点からの量子計算・量子特徴量・量子カーネル法) と課題となる QRAM の実現性、最後に最近の研究の紹介がありました。

「転移学習：基礎から最近の展開まで」では、目標ドメインで期待リスク最小の仮説を学習することを目的とする転移学習の基本問題 (When・What・How)、転移学習の学習理論、近年の深層学習の発展 (巨大事前学習モデルのファインチューニングや知識蒸留・ドメイン不変な特徴量) が転移学習に与えた影響について解説がありました。

招待講演

招待講演では、その専門分野で世界的に著名な方の講演が行われました。

「Scaling Optimal Transport for High dimensional Learning」 (Gabriel Peyré)
「Some Recent Insights on Transfer and Multitask Learning」 (Samory Kpotufe)
「COVID-19の疫学モデル」(西浦博)

「Scaling Optimal Transport for High dimensional Learning」は、最適輸送距離の定式化から、線形計画や Sinkhorn アルゴリズムなどの最適輸送アルゴリズム、ニューラルネットワークによるアプローチについての理論的な解説を中心とした講演でした。

「Some Recent Insights on Transfer and Multitask Learning」では、転移学習の目的・課題や、転移学習・マルチタスク学習の理論的な解析について解説がありました。

また、「COVID-19の疫学モデル」は、新型コロナウイルス感染症に関する様々な疫学的数理モデル (人口レベル予測・被害想定、シナリオ分析、病床占有予測など) の目的や技術的問題点の解説を中心とした講演でした。

企画セッション

企画セッションでは、以下の各企画について各3件の講演が行われました。いずれの企画も最近、注目を集めているホットな分野です。

「ソフトウェア検証と機械学習」
「新型コロナウイルス感染症のデータサイエンス」
「因果推論」
「量子計算と機械学習」

「ソフトウェア検証と機械学習」のセッションでは、形式検証に機械学習を利用 (e.g., プログラム検証でのループ不変条件の発見に機械学習を利用) する方向性と、機械学習を形式検証する方向性の大きく2つの方向性について、最近の動向や研究の紹介がありました。

「新型コロナウイルス感染症のデータサイエンス」のセッションでは、COVID-19 の実効再生産数の推定モデルや行動変容を組み込んだ数理モデルなど疫学解析や、ウイルスの進化系統解析など進化生物学解析についての取り組み、今後の課題について紹介がありました。

「因果推論」のセッションでは、原因の確率 (必要性の確率、十分性の確率、必要十分性の確率) とその評価や、構造的因果モデル (Structural Causal Models; SCM)、近年の発展として Causal Reinforcement Learning や Neural Causal Inference の紹介、また環境科学分野における統計的因果推論の研究事例の紹介がありました。

「量子計算と機械学習」セッションでは、量子計算の仕組みや量子機械学習の理論的枠組み、量子機械学習の量子化学計算への適用、離散変数のブラックボックス最適化の電子基板耐振動設計への応用事例などの紹介がありました。

一般セッション

一般セッションでは、合計 127 件の一般発表がありました。一般発表の時間は 15 分/件で Zoom 上で行われました。最初に、Vimeo を利用して共有された事前収録済みのプレゼン動画が放映され、残りの時間を質疑応答として割り振る形式で行われました。各一般発表は以下の分野に分類されています。

1-1 機械学習理論
1-2 機械学習一般（１）
1-3 最適化
1-4 表現学習・言語・幾何
1-5 サイエンス・工学
2-1 深層学習理論
2-2 機械学習一般（２）
2-3 モデル解釈・検証
2-4 強化学習
2-5 機械学習実践
3-1 情報理論・学習理論
3-2 深層学習一般
3-3 確率的手法・因果推論
3-4 画像・音声
3-5 医療

一般セッションの中で、個人的に印象に残っている発表をいくつか簡単に紹介します。

「潜在表現の部分情報量分解に基づくエンタングルメント解析」では、VAE (Variational Auto-Encoder) などの表現学習におけるエンタングルメントの指標として、部分情報量分解を用いて、因子が多変数にまたがって表現される度合いを計測し、表現の冗長性と変数間のシナジーを区別してエンタングルメントを解析する枠組みの提案がありました。

「データ拡張による因果グラフ的事前知識の予測モデリングへの活用」では、ドメイン知識により因果グラフ (データ生成過程の知識の簡潔な表現) が既知の場合に、条件付き独立性をデータ拡張として取り入れることで予測器の性能は改善されるかについて、理論解析と実験結果の紹介がありました。

「最適輸送理論を用いた異なるドメインのユーザの類似性判定」では、異なるドメイン間でユーザに直接の共通部分がない場合でも、最適輸送理論を利用しユーザ類似度を計算することで関連の高いユーザを結びつける手法の提案がありました。

おわりに

この記事では、IBIS2021の内容を簡単にレポートしました。招待講演や企画セッションで機械学習の最新の動向や課題をキャッチアップでき、充実したチュートリアルから学べることも多く、どの講演も質疑応答が活発に行われており参加して良かったと感じています。また、参加費は、学生の場合は無料、一般の場合は 4,000 円と一般でも参加しやすい価格でした。組織委員や関係者の方には、この場を借りてお礼申し上げます。
来年の IBIS ワークショップは、新型コロナウイルス感染症の流行状況次第にはなるかと思いますが、オフラインでの開催 (つくば国際会議場) も予定されているようです。機械学習に興味のある方は参加を検討してみてはいかがでしょうか。