下記で「data-hoge="b"である要素(子要素含む)」を削除したいのですが、該当要素を(jQueryではなく)JavaScriptで選択するにはどうすれば良いですか?

<main>
  <div class="">
    <div class=""></div>
    <div class="">
      <div class="">
        <div class="" data-hoge="a"></div>
        <div class="" data-hoge="b"></div>
      </div>
    </div>
  </div>
</main>