VPS APPサーバーを作成し(CentOS 7.2)し、 ConoHaのアプリケーションサーバー項目からDBサーバーを追加しました。
一通り設定を済ませて

ping -c 3 private.****.****.database-hosting.conoha.io

とすると

 PING private.unit01.database-hosting.tyo1.conoha.io (172.21.74.19) 56(84) bytes of data.

64 bytes from 172.21.74.19: icmp_seq=1 ttl=63 time=0.455 ms
64 bytes from 172.21.74.19: icmp_seq=2 ttl=63 time=0.372 ms
64 bytes from 172.21.74.19: icmp_seq=3 ttl=63 time=0.408 ms

--- private.unit01.database-hosting.tyo1.conoha.io ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2003ms
rtt min/avg/max/mdev = 0.372/0.411/0.455/0.041 ms

と返ったので、続いてmysql接続をしようと

mysql -u **** -h private.***.***.database-hosting.conoha.io -p *****

と打ったら

-bash: mysql: command not found

と返ってきました。

いろいろ調べてみましたら、原因はパスが通ってないなど出てきたのですが、そもそもAPPサーバーの方にもデータベースをインストールしなくてはいけないのでしょうか？
APPサーバーからデータベースがインストールされているDBサーバーにアクセスするというイメージだったのですが、根本的になにか間違っていますでしょうか？

ConoHa側の設定では主に下記のチュートリアルを見て行い
DBサーバー接続用ネットワークを使う

ターミナル側では下記の設定にしました。
/etc/sysconfig/network-scripts/ifcfg-eth1

DEVICE=eth1
TYPE=Ethernet
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=172.21.***.**
NETMASK=255.255.254.0

/etc/sysconfig/network-scripts/route-eth1

[東京リージョンのIPアドレス] via eth1のゲートウェイのIPアドレス
[東京リージョンのIPアドレス] dev eth1