vimのバッファの切替

vimでバッファを使っていますが、1の次が3で開かれてしまいます。
また、バッファの切替のために
nmap <C-j> <C-^>
とマッピングしていますが、3つ以上開いているとき押しても特定の2つを行き来するだけとなってしまいます。

思うにNerdTreeのプラグインを使っているのが原因でないかと思うのですがよくわかりません。
（vimrcで起動時に開くようにしています。）

対処方法を教えていただけないでしょうか。
どうぞよろしくお願いいたします。