ロードバランサーを入れた時のapacheの設定に関してどの様に.confを設定すれば良いでしょうか

以下サーバ情報です。

Ubuntu: Ubuntu 18.04.2 LTS
Apache: 2.4.29
SSL: Lets encrypt

最初は、/etc/apache2/sites-available/user.confと/etc/apache2/sites-available/user-ssl.confを新規で作り設定を試みようとしたのですが、色々試しているうちに以下の様に000-default.confに纏めて書く様にしました(本当はuser.conf/user-ssl.confに記載したい)。

<VirtualHost ロードバランサーのIP:80>
    ServerName ロードバランサーのIP
    <Location />
        Require all denied
    </Location>
</VirtualHost>

<VirtualHost example.new-service.com:443>
    SSLEngine on
    ServerName example-101.new-service.com

    SSLCertificateFile /etc/letsencrypt/live/example-101.new-service.com/fullchain.pem
    SSLCertificateKeyFile /etc/letsencrypt/live/example-101.new-service.com/privkey.pem

    DocumentRoot /var/vhost/public
    ServerAdmin webmaster@okahome.local
    ErrorLog /var/log/apache2/maint_ssl_error.log
    TransferLog /var/log/apache2/maint_ssl_access.log

    <Directory /var/vhost/public >
        require all granted
        AllowOverride All
    </Directory>
</VirtualHost>

<VirtualHost ロードバランサーのIP:443>
    ServerName example-101.new-service.com
    <Location />
        Require all denied
    </Location>
</VirtualHost>

<VirtualHost example.new-service.com:80>
    ServerName example.new-service.com
    <Location />        Redirect / https://example.new-service.com/
    </Location>
</VirtualHost>

<VirtualHost *:80>

  ServerAdmin webmaster@localhost
  DocumentRoot /var/vhost/public
  ServerName example-101.new-service.com

  ErrorLog ${APACHE_LOG_DIR}/error.log
  CustomLog ${APACHE_LOG_DIR}/access.log combined

  <Directory /var/vhost/public>
    AllowOverride All
    require all granted
  </Directory>

</VirtualHost>

やりたい事は、以下になります。
user.conf/user-ssl.confで80番と445番と設定は分けて記載したい。
IP直打ちでバランシング先のサーバに接続出来てしまう為何とかしたいになります。

ロードバランサーを使った設定が初めての為、色々とご教示頂ければと思いますので宜しくお願い致します。