CloudFront経由でS3にアクセスすると403エラーになります

S3のファイルへCloudFront経由でアクセスした場合だけ403エラーになります。

ブラウザやcurl等で直接S3へアクセスする場合には問題なくダウンロードできているのですが、CloudFrontからアクセスするには何か特別な権限設定が必要なのでしょうか？

CloudFrontではRestrict Bucket Accessは有効化していませんし、S3側でもファイルをすべてのユーザーからのアクセスを許可しているので、403エラーになる理由が思い当たりません。