HDF5フォーマットファイル中の大容量データを部分的に読み込みたい
現在、学術的目的でHDF5フォーマットで保存されたデータの解析に取り組んでいます。解析にはPythonのh5pyを使用しています。
ところで現在解析対象のHDF5ファイルはデータの全体容量として20GBもあり、さらに解析したい本体部分のデータは400000×10000のfloatの行列と考えられ、私が現在所有しているPCのハードウェアではメモリ的に十分に開くことができません。実際、本体部分のデータを読み込んだところメモリ不足で開発環境のspyderが停止しました。h5pyでなくてもよいのでHDF5を部分的に読み込みこのような問題を回避する方法はありませんか?
御回答お願いします。