macのターミナルで秘密鍵でサーバーにログインするとき、
予め　ssh-add　にて秘密鍵を登録しておき、

ssh -i ~/.ssh/user.rsa user@0.0.0.0

にて接続しています。

しかし、これらのサーバーは５０近く管理しているため（実際は５つ程度登録しただけで）、次第に
「too many authentication」というエラーが出てしまうため、
ssh-add -D　で登録したものを全部削除して、接続するものだけ登録
ということを繰り返しています。

どうして　too many authentication　が出るのでしょうか？
sshコマンドではRSAファイルのパスを指定しているのでそのファイルでログインすればいいのになんでssh-addしたファイルをすべて使ってログインしようと試みるのでしょうか？

対策はありますか？