PSCustomObjectへの追記方法について

前提・実現したいこと

PSCustomObjectでjsonファイルをConvertFrom-Jsonで読み込み、値を追加して、以下のような形で出力したいのですが、どのようなコマンドを実行すれば良いかわかりません。

InputJson

{
    "hoge1": {
        "hoge2": [
            {
                "hoge3": [

                        ]
            }
         ]
       }

OutputJson

{
    "hoge1": {
        "hoge2": [
            {
                "hoge3": [
                           {"foo1": {
                               "foo2":"XXXX",
                               "foo3":"XXXX", 
                                    }
                           }
                        ]
            }
         ]
       }

試したこと

foo2、foo3の「key:value」については、以下のコマンドで実施できました。
しかし、foo1(jsonで言うところのオブジェクト)の部分が追加方法がわかりません。

$d = New-Object 'system.collections.generic.dictionary[string,string]'
$d.Add("foo2","XXXX")
$d.Add("foo3","XXXX")
$PSCustomObject.hoge1.hoge2.hoge3 += $d