ツールバーのスワイプダウンイベントが認識されない

ツールバー上で下へスワイプしたらツールバーを閉じるという処理を実装中です。
Up,Left,Rightのスワイプは認識されるのですが、下スワイプだけが認識されません。
原因または回避策等を教えてください。

    let gesSwipe = UISwipeGestureRecognizer(target: self, action: #selector(self.swipeDown(_:)))
    gesSwipe.direction = .Down
    self.navigationController!.toolbar.addGestureRecognizer(gesSwipe)