Node.jsとExpressでサイト構築をしています。

$ git add .
$ git commit -am "Heroku"
$ heroku login
~~~~メールとパスワードを入力~~~~
$ heroku addons:create heroku-postgresql:hobby-dev
$ git push heroku master

上記の手順でUbuntuからHerokuへデプロイしようとしているのですが
以下のようなメッセージ＆エラーが出ます。

Counting objects: 12961, done.
Compressing objects: 100% (11964/11964), done.
fatal: Out of memory, malloc failed (tried to allocate 425298626 bytes)
fatal: The remote end hung up unexpectedly
fatal: The remote end hung up unexpectedly
fatal: write error: Bad file descriptor

どうもファイル数が多すぎるのが問題なのかな？と思うのですが
実際こんなに多くのファイル数をgit add .したつもりがありません。
もしかすると、node_modules以下のファイルが入ってしまっているのが原因かもしれないと思い
以下のようにremoveをして、コミットをしてみても上手く行きませんでした。

git rm --cached -r node_modules/
git commit -m "remove"

私自身は、GitもNode.jsもHerokuも超初心者なので、何でも良いので
原因に当たりそうなものがあれば教えてほしいです。