Python(WinPython3)とOpenCVを使って画像処理プログラミングを行っています。

デジカメ等で撮影された画像において、画像に写った建物などを認識させるにはどうすればいいでしょうか?

具体的には、青空を背景に建物がいくつか並んでいる場合、空に重なる全ての構造物をオブジェとして認識させたいです。そして、グラフを画像上に重ねた場合に、グラフと建物との交点が取り出せるようにしたいと思っています。

画像処理に関して詳しい方がいれば、手順や方法をわかりやすく教えてほしいです。よろしくお願いします。
(画像の赤丸が認識した点)

赤丸が認識した点