VB.netでのWindowsアプリケーション開発をしています。
String文字列の連結においてOutOfMemoryExceptionのエラーがスローされます。

手法としてはSingleの数値をカンマで区切り、1000個のカンマ区切り文字列を作成します。
その文字列は「temp_Str as String」の変数に格納していくのですが、
大型のループ処理で10万件以上作成されたところで上記のエラーが発生します。
（時間にして2～3時間程度経過した時点）

少なくとも数100万件の処理を行いたいのですが、
うまくメモリー管理をする方法はないでしょうか？
今現在GC.CollectやRemove等の処理は入れているのですが、あまり効果がありません。
よろしくお願いいたします。