収録日：20220220
発表者：@himkt, @yohei_kikuta
内容：
- 自己紹介とアイスブレーク
- 久々の hikifunefm の配信
- @himkt の自己紹介
- Optuna との関わり方
- Optuna とは？
- パラメタ最適化をするためのフレームワーク
- TPE のようなカーネル密度推定に基づくパラメタ分布の推定や Successive Halving による枝刈りなどによる効率的なパラメタ探索
- さまざまな機械学習ソフトウェアから利用しやすいインターフェース
- Optuna の基本的な使い方と optimize で何を実施しているか
- 基本的な登場人物としての Trial, Study, Parameter と Trial の結果を格納する Storage
- Trial が目的関数を評価する一回のプロセスで、ask で sampler で評価するパラメタを取得して、目的関数を計算して tell で Storage に目的関数の値や Trial の id などを格納する
- Study は最適化のセッションであり、この中で Trial を所定の回数実施して目的関数の値とパラメタを獲得し、最も性能の良かったパラメタを返したりする役割を担う
- ask and tell は明示的に扱うことで、パラメタを準備する部分とスコアを計算するところを分離して柔軟な使い方ができる
- Optuna をどういう時に使っているか
- ブラックボックス最適化でいろんなものに使えるので便利
- こういう使い方が面白いとか有用みたいな利用例の話とかはある？
- その他雑多なトピック
- version 3.0 の目玉や今後の開発の方向性はどうなりそうか？
参考情報：
- Optuna GitHub repository：https://github.com/optuna/optuna
- Optuna: A Next-generation Hyperparameter Optimization Framework：https://arxiv.org/abs/1907.10902
- Algorithms for Hyper-Parameter Optimization：https://papers.nips.cc/paper/2011/hash/86e8f7ab32cfd12577bc2619bc635690-Abstract.html
- Optunaを使ったおいしいコーヒーの淹れ方探索 (2021年4月版)：https://www.mattari-benkyo-note.com/2021/04/01/coffee-tuning-202104/