numpy.hstack演算を低メモリで行う方法
Python3でDNNを使ってシミュレーションを行っています。
学習用データは7,500,000件、1件は1,000次元程度のベクトルなので
サイズ(7,500,000、 1,000)の配列をnumpyで作成しているのですが、その作成過程でメモリエラーが起きてしまいます。
この配列は、データの特徴上もともと存在しているサイズ(7,500,000、20)の配列を、横に50個並べて作っています。
この横に50個並べる作業はnumpy.hstackもしくはnumpy.c_で結合するという方法をとっているのですが、そちらでメモリエラーが起きてしまいます。
回避策を教えて頂けないでしょうか。
よろしくお願い致します。