TensorFlowなど機械学習フレームワークを用いて訓練済みモデルを作成した時、そのモデルの使用にもGPU性能は深く関わってくるでしょうか。
また、モデルの使用時に関する用語やベンチマーク、考察などありますでしょうか？

質問の背景

現在、訓練済みモデルを使ってユーザーから送られた画像を解析するWebサービスの作成を考えているのですが、訓練時と同様にGPUパワーが必要になるなら、それ用の構成にしないといけないのかなと疑問に思い質問しました。もちろんどの程度の処理能が必要かによっていくらでも変わってくる話だと思いますが、恥ずかしながら全くの無知なので、とりあえず感触としてどんなものかを知りたいと思い質問しました。