pandasを使った場合のexeファイルへの変換方法

コード中にpandasを使用したファイルをpy2exeを使って、
exeファイルにコンパイルしましたが、実行できません。
exeファイルは一応作成されるのですが、ファイルサイズが異様に大きく、
実行すると次のエラーが出力されてしまいます。

OMP: Warning #178: Function GetModuleHandleEx failed:
OMP: System error #126: 指定されたモジュールが見つかりません。
Traceback (most recent call last):
  File "hogehoge.py", line 7, in <module>
    import pandas as pd
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\__init__.pyc", line 49, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\core\api.pyc", line 9, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\core\groupby.pyc", line 15, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\core\frame.pyc", line 39, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\core\series.pyc", line 2702, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\tools\plotting.pyc", line 27, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "pandas\tseries\converter.pyc", line 7, in <module>
  File "zipextimporter.pyc", line 82, in load_module
  File "matplotlib\__init__.pyc", line 1100, in <module>
  File "matplotlib\__init__.pyc", line 947, in rc_params
  File "matplotlib\__init__.pyc", line 789, in matplotlib_fname
  File "matplotlib\__init__.pyc", line 325, in wrapper
  File "matplotlib\__init__.pyc", line 693, in _get_data_path_cached
  File "matplotlib\__init__.pyc", line 661, in _get_data_path
UnicodeDecodeError: 'ascii' codec can't decode byte 0x83 in position 43: ordinal
 not in range(128)

使用したsetup.pyは次のものです。

from distutils.core import setup
import py2exe, sys, os

sys.argv.append('py2exe')

setup(
    options = {'py2exe': {'bundle_files':1}},
    zipfile = None,
    console = [{'script': "hogehoge.py"}]
)

setup.pyになにか色々追加しないといけないと思うのですが、
初心者なものでまだ解決出来ていません。

pyinstallerも試してみましたが、こちらも何か足りないようで結構困っています。

アドバイス頂ければ大変助かります。