s3のIP制御について

S3で画像を管理しているのですが、IPを制限して自分のサーバーからのみアクセス許可をしたいのですが、設定のconditionの中にIPを入れると403が返ってきてアクセスできません。conditionを外すと表示されます。

具体的に設定方法や確認すべき箇所、(あれば)必要なコマンドなどご教示いただけますでしょうか？

よろしくお願い致します。

{
    "Version": "2012-10-17",
    "Id": "Policy1527266936788",
    "Statement": [
        {
            "Sid": "Stmt11111111,
            "Effect": "Allow",
            "Principal": "*",
            "Action": "s3:*",
            "Resource": "arn:aws:s3:::xxxxx/*",
            "Condition": {
                "IpAddress": {
                    "aws:SourceIp": "xx.xx.xxx.xxx/24"
                }
            }
        }
    ]
}