VPS環境のUbuntu 18.04サーバーを使っていて、パソコンAから公開鍵認証でssh接続できるように設定した後、rootユーザーとしての接続とパスワード認証による接続を禁止しました。

この環境下で新しくパソコンBからサーバーに接続したくなったとき、どのようにすればスムーズに行えるでしょうか？　sshでログインしたいのはパソコンAの場合と同じユーザーです。

今まではパソコンBで新しく鍵ペアを作成し、USBメモリ経由で公開鍵をパソコンAにコピーし、パソコンAからssh-copy-idしていましたが、もっと簡単な方法があれば知りたいです。

補足

似たような質問が既に投稿されていましたが、微妙に目的が違うので新しい質問として投稿しました。