TensorFlowで画像処理を行いたい初心者です。
機械学習ネットワークから出力される、64×64の画像20枚分のテンソル[20,64,64,3]に対してある処理を行い、新たなテンソル[20,64,64,1]を求めたいのですが、適切な操作がわからず困っております。

やりたい処理としては、画像一枚の4×4のパッチ領域でRGBチャネル内の一番小さい値を見つけ出し、新たな画像のパッチ領域をその値で埋めてくことを繰り返すというものです。
RGBチャネルそれぞれの値へのアクセスの仕方が分からず手も足も出ません。
ご回答よろしくお願いいたします。

処理について図を描いてみました。
下の図を例とすると、
最初の4×4領域において、RGBのうちGのチャネルが最小値16を有するため、新たな画像の同じ領域は全て16とします。
また、次の4×4領域においては、Bのチャネルが最小6を有するため、新たな画像において値を6とします。
これを繰り返してシングルチャネルの画像20枚分のテンソルを求めていきたいです。

やりたいこと画像