swift 画像以外をタッチするとエラーが出てしまう。

myImageAという名前の画像をタッチするとカウント（scoreNum)が下がっていきそれ以外はカウントが上がっていくコードなのですが、画像以外（何もないところ。背景などの真っ白なところ）をタッチするとクラッシュしてしまいます。

その時 let touchedImageView = touch!.view as! UIImageViewの部分にエラーがあるとのことなのですが、自分では解決できず質問いたしました。

どのように書き換えればいいでしょうか？
コードも直して書いていただけるとありがたいです。

背景は self.view.backgroundColor = UIColor.whiteColor()で白くしています。

override func touchesBegan(touches: Set<UITouch>, withEvent event: UIEvent?) {
　　　　let touch = touches.first as UITouch?
     // タッチしたUIImageViewを取得
     let touchedImageView = touch!.view as! UIImageView
　　　　
　　　　if touchedImageView.image == myImageA {
     　　　　scoreNum--
          return
　　　　 }
      else {
      　　　　scoreNum++
      }
}