tensorflowのGPU使用制限の設定について

GPUがひとつだけ存在するマシンでtensorflowを動かすとき、

gpuConfig = tf.ConfigProto(
    gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.5),
    device_count={'GPU': 0})

with tf.Session(config=gpuConfig) as sess:

と設定を行うと、nvidia-smiコマンドでGPU使用の詳細を調べたところ、freeなメモリが1GiB以上あるにもかかわらず、GPU memory usageの部分にそのプログラムが使用するメモリが25MiB程度しか取れていないと表示されてしまいます。
この問題はどう解決すればいいのでしょうか？どなたかご教授いただけると助かります。