さくらのVPSにてポート番号を指定してログインできない

さくらのVPSを契約しましたが、ポート番号を指定してログインができなくて困っております。どなたかご教授の程、よろしくお願いいたします。
http://weble.org/2011/05/16/sakura-vps-and-centos
ここの通りに進めていましたが、同じようにしてもエラーが出ることがあったので、少しやり方を変えて進めました。以下に実施した手順を記述します。
＊ここでは仮に、userid:hoge、password:admin1、passphrase:admin2、IP:111.11.11.111とさせていただきます。また、指定されているターミナルにて起動できないことがあったため、実際に使用したターミナルも追記しています。

１・adduserとpasswdの設定（さくらのVPSのターミナルにて）

adduser hoge
passwd hoge
New password: admin1

２・bashrcは変更せず。
３・vimはあらかじめ（自分のパソコンのターミナル）に入っているため設定せず
４・SSHのポート番号を変更（さくらのVPSのターミナルにて）

su
vim /etc/ssh/sshd_config

この中のポート番号を変更して保存、再起動して異常なし。
　Port 10022　
５・公開認証鍵でSSH接続（自分のパソコンのターミナル）

ssh-keygen
generating public/private rsa key pair.
Enter file in which to save the key(/User/hoge/.ssh/id_rsa):

ここでは何もせずにEnter

Enter passphrase (empty for no passphrase ): admin2
Enter same passphrase again: admin2

その後、.sshを作成

cd ~
mkdir .ssh

その次の「ローカルから.sshフォルダの中に対して以下のようにしてファイルを転送」ができなかった（time outする）ため、自分で保存。

/Users/hoge/.ssh

に移動してから「is_rsa.pub」を展開。

:w authorized_key

として保存。
６・転送が終わったらサーバー側にてパーミッションを調整

chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

ここでは「サーバー側で」と書いてあったため、これを（さくらのVPSのターミナル）で実行すると、

chmod: cannot access : no such file or directory

と表示されたため、（自分のパソコンのターミナル）にて実行。何も表示されず。
７・公開認証鍵のみでのログインできる状態に変更するため、ファイルの編集（さくらのVPSのターミナルにて）

su
vim /etc/ssh/sshd_config

以下の通り変更。

PermitRootLogin no
PasswordAuthentication no（なぜか２行あったため削除して１行に）
PermitEmptyPasswords no
ChallengeResponseAuthentication no

その後、SSHの設定を反映

/etc/init.d/sshd restart

これらの設定をした後に

$ ssh -l hoge -p 10022 111.11.11.111

とすると、

Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

と表示され、ログインすることができません。（どちらのターミナルでも）
解決策として次のページの通りにしました。
http://qiita.com/youcune/items/2f427979403771f2e03a

/var/log/secure

とすると

No such file or firectory（自分のパソコンのターミナル）
bash: /var/log/secure: Permission denied（さくらのVPSのターミナル）

と表示されます。

以上です。正直なところプログラミングに関して知識が浅く、単純に勘違いしている点も多いかもしれませんが、そういう点についてもご指摘いただけると幸いです。よろしくお願いいたします。