UIButtonに設定した画像のcontentModeが効かない

UIButtonに設定した画像のcontentModeを設定したいのですが、有効になってくれません。
UIButtonのサイズは180/44、画像のサイズは44/44ですが、めいっぱいに表示されてしまいます。
これをボタンのサイズはイキで、画像の表示サイズだけ44にする方法はあるのでしょうか？

let btn:UIButton = UIButton()
btn.frame = CGRectMake(0, 0, 180, 44)
btn.setBackgroundImage( UIImage(named: "image.png"), forState: UIControlState.Normal)
btn.contentMode = UIViewContentMode.ScaleAspectFit
btn.imageView?.contentMode = UIViewContentMode.ScaleAspectFit
self.view.addSubview( btn )