標準出力ログ(gollum)の接続元IPアドレス表示が上手くいかない件について。

wikiをgit的に管理できるという gollum というものを最近知りまして、導入してみました。
その際、構成によっては上手く動いてくれない状態になってしまって困っております。
お知恵を拝借出来ませんでしょうか？

下図のような構成の時(gollumの上にnginxを置いた場合)に、アクセス元のIPアドレスが表示されません。

nginxの説明に、プロキシされる際はアクセス元のIPがわからないようになっていて、わかるようにさせたい場合はproxy_set_header オプション X-Real-IP を proxy_pass設定の下に記載するように。とあったのですが、相変わらずアクセスすると 127.0.0.1 からの接続という情報ばかり出てきてしまいます。

上図の右の構成においても、きちんとアクセス元のIPを出力させるためにどのような作業が必要になりますでしょうか？

環境：CentOS7.2

---

追記1

server {
    listen       80;
    server_name  localhost;

    location / {
        root   /usr/share/nginx/html;
        index  index.html index.htm;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
        root   /usr/share/nginx/html;
    }   
}

server {
    listen       80;
    server_name  hogefuga.com;

    location / {
        proxy_pass http://127.0.0.1:4567;

        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-Server $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}