submoduleを使うと、.gitmodulesにignore=dirtyを指定すると、そのサブモジュールの変更チェックを無視することができますが、submoduleなしで同様の処理を行うことはできないでしょうか？

例えばC++ boostをリポジトリに含めると、ファイル数が多すぎてgitの処理が重くなってしまいます。基本的に変更をすることはないため、リポジトリに入れた後は基本的に無視したいのです。
cloneした後に各自ダウンロードするという風にしてもいいのですが、できればclone一発で環境が整うようにしたいです。