現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。
モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。
しかし、現状CNNは４層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。
このような場合に有効な学習を進める方法として何が考えられるのでしょうか？
バッチ正規化が有効だと聞いたことがあるのですが、GPUのメモリの関係上、バッチサイズは１が限界でバッチ正規化はおそらく使うことができません。
それ以外の方法で学習を安定して進めることのできる方法を教えてくださると助かります。