anacondaでpandasを使うモジュールをpyinstallerでexe化出来ない

pandasを使ったモジュールをexe化しようとしても上手く行かずに困っています。

Traceback (most recent call last):
  File "site-packages\PyInstaller\loader\rthooks\pyi_rth_pkgres.py", line 11, in <module>
  File "c:\users\Username\anaconda3\lib\site-packages\PyInstaller\loader\pyimod03_importers.py", line 389, in load_module
exec(bytecode, module.__dict__)
  File "site-packages\setuptools-27.2.0-py3.5.egg\pkg_resources\__init__.py", line 68, in <module>
  File "site-packages\setuptools-27.2.0-py3.5.egg\pkg_resources\extern\__init__.py", line 61, in load_module
  ImportError: The 'appdirs' package is required; normally this is bundled with this package so if you get this warning, consult the packager of your distribution.
Failed to execute script pyi_rth_pkgres

環境は
・Windows10
・Anaconda(64-bit)

これまで試したこと
・https://stackoverflow.com/questions/29109324/pyinstaller-and-pandas　を参考にspecファイルをいじるも失敗
・pyinstallerをpipではなくcondaで入れて

conda install -c acellera pyinstaller=3.2.3

を使おうと思っても通常のとどう違うのかわからない

とにかく色々試してみましたが、どうも上手く行きません。
どうか助けてください