Homebrewをインストールしようとするとssh鍵のパスフレーズを聞かれて困っています．．．

現状

Mac Book Air(macOS Catalina)にHomebrewをインストールしようとしています．
しかし，以下のようにダウンロードしようとするとssh鍵のパスフレーズを聞かれ，ダウンロードに失敗します．

Press RETURN to continue or any other key to abort
==> Downloading and installing Homebrew...
Enter passphrase for key '/Users/KindMaple/.ssh/pems/hogehoge.pem':
HEAD is now at xxxxxxxx add to .gitignore
Failed during: /usr/local/bin/brew update --force

本来ならばユーザのパスワードを聞かれるフェーズに行くと思うのですが，何が起きているのかわからない状況です．

背景

hogehoge.pemを使用してのsshの接続先は，自前のgitサーバです．
パスフレーズを入力すると，gitサーバからオブジェクトをダウンロードし始めます．
しかし，すでにローカルのレポジトリはorigin/masterまでpullしています．

なにかプロセスやキャッシュファイルなどが残っているのでしょうか．．．