ネットワーク最適化の方法としてベストなハイパパラメータ(レイヤ層、ユニット数、学習係数等)の選定があります。これらの最適な値を探索する際に、どのパラメータから最適化し現在のモデルに当てはめるかが重要な意味をもつと思います。

例えばあるCNNに対して以下の探索を行うとします。

・最適な層数
・フィルタの次元(枚数、解像度)
・入力画像の解像度
・活性化関数
・学習アルゴリズム

はじめに総数を最適化し、その値が３層だったとします。それ以降のパラメータ探索では総数を３層に更新して行う時、他のパラメータは３層に適合したものになってしまうと思います。こうしたなかで、どのパラメータから適合させていくかという問題に機械学習をやられている方々はどうアプローチされているのでしょうか。

わかりにくい文章であるかもしれませんので、申し訳ございません。この問題に対する論文等のソースがあればリンクを載せていただけますと幸いです。