コンパイルに必要な最低限の環境を一つの実行可能な形式のファイルにまとめることはできますか?

USBメモリーに入れて持ち運べるCコンパイラ環境がほしいと考えていて、なるべくUSBメモリから移動させるファイル数を減らしたいので1つのファイルにまとめたいです。
Cのコードをコンパイルして実行したいので、libcやヘッダーファイル、リンカなども必要です。
これらを1つの実行可能なファイルの中にまとめる方法はないのでしょうか?
WindowsとLinuxでそれぞれ実行可能なファイルを作り、x64で動かすことを想定しています。
OSごとにファイルは分かれてもよいです。

このようなことは可能なのでしょうか?
また、可能ならどのようにすればよいのでしょうか?