ViewControllerで、scrollViewのサイズをself.view.frame.width * 3にしています。

初めのViewにUIButtonがあってその上の階層で、scrollViewをスクロールして覆いかぶせています。
そこでUIButtonのtapを適用させるためにscrollViewのuserinteractionEnabledをfalseにして、UIButtonを押しているようにしているのですが、それではScrollViewがScrollできません。

ScrollViewをスクロールさせることができるようにしながら、初めのViewのUIButtonのタップを適用させる方法はないでしょうか？

前提として必ずScrollViewは一番上の階層に置きたいです。