Ubuntu 16.04にて以下をターミナルから実行すると画像がすぐ消えてしまいます:

import gym
env = gym.make('MsPacman-v0')
env.reset()
for _ in range(1000):
    env.render()
    time.sleep(0.1) #他のサイトでこれを入れれば消えないと言ってましたが
    env.step(env.action_space.sample()) # take a random action

MountainCar、MsPacmanも同じく一瞬で消えます。
因みにOpenAI自体の説明はこちらからもらいました:https://gym.openai.com/docs/