HTMLページの多言語化を行い、

英語版http~.com
日本語版http~~~.com/ja/

という構成にしました。

しかし、日本語で検索した時も英語版のタイトルのほうでヒットしてしまいます。

alternate,hreflangタグも両方に"en"、"ja"の２つをつけています。
しかし検索に表示されません。

懸念される事項としては、ブラウザ言語に応じて自動でリダイレクトするJSスクリプトを実装していることです。
（例：英語版サイト(.com)に日本語設定の人が行くと日本語版(.com/ja/)に自動遷移する。逆も然り）

また、fetch as google からインデックス登録をリクエストする際に、クロールが完了したという表示は出ています。

どのような対策を取れば、英語検索には英語版、日本語検索には日本語版を表示できるでしょうか。