Teratermで認証に失敗してしまう

さくらのVPSでCentOS7をインストールしましたが、Teratermで認証に失敗してしまいます。

公開鍵id_rsa.pubは~/.ssh/authorized_keysに、秘密鍵id_rsaはクライアント側にあります。

OpenSSHは以下のように設定しました。

Port 1583
PermitRootLogin no 
PasswordAuthentication no
ChallengeResponseAuthentication no
AllowUsers (一般ユーザー名)

Teratermからポート番号1583で接続はできるようになりましたが、今度は認証に失敗してしまいます...

VNCコンソールから、# ssh -p [ポート番号] [一般ユーザー名]@[IPアドレス]で接続しようとするとパーミッションエラーになります

Permission denied (publickey,gssapi-keyex,gssapi-with-mic)

SELinuxも無効にしました。(# getenforceと入れるとdisabledと返ってきます。)

/var/log/secureを見てみると、画像のようになっていました。

https://kie.nu/2Kww

いろいろ調べましたが、これ以上は追究できませんでした。
何度もsshdを再起動しましたが、ダメでした。

知恵を貸していただけると嬉しいです。
よろしくお願いいたします。


質問内容を編集しました。

とりあえず接続はできるようになりましたが、# ssh コマンドでログインができず、Teratermで認証に失敗してしまいます。

改めてお願いします。


接続できるまでの流れ

/etc/firewalld/services/ssh.xmlをもともと以下のように複数指定していました

<?xml version="1.0" encoding="utf-8"?>
<service>
<short>SSH</short>
<description>(略)</description>

<port protocol="tcp" port="1583"/>
<port protocol="tcp" port="80"/>
<port protocol="tcp" port="8080"/>
</service>

それを1つだけ指定にしたところ、Teratermから接続ができるようになりました。

<?xml version="1.0" encoding="utf-8"?>
<service>
<short>SSH</short>
<description>(略)</description>

<port protocol="tcp" port="1583"/>
</service>

直近の/var/log/secure(9月30日の夜中~10月1日の夜)は以下です。

https://kie.nu/2KEt

どうやら

error: bind to port [ポート番号] on 0.0.0.0 failed: permission denied.
fatal: cannot bind any address.

というエラーがなくなったようです。