フォルダ内にある2つ違う形式のファイルのうち、片方の作成日が一番古いファイルを削除

スクリプト開発初心者です。

同じフォルダ内に、pngファイルと、txtファイルがいくつかあり、
作成日が一番古いtxtファイルだけを削除する処理を実装したく、
下記のコードを参考に考えているのですが、
作成日が一番古いファイルの抽出方法が思いつきません。
何か良い方法、もしくは、このコマンドを使った方が良いなど
ありましたら教えていただけると幸いです。

回答、お願い致します。

$files = Get-ChildItem <対象フォルダのパス> | Sort-Object -Descending -Property LastWriteTime
$files = $files[1 .. $files.length]
foreach($file in $files)
{
    Remove-Item $file
}