C# LINQ でファイルの更新日付でソートする時に新しい日付、古い時間順に並べたい

こんにちは。
C# のLINQ だと思うのですが、少しむずかしくて、質問させてください。

現在、次のようにして、
ディレクトリのサブフォルダを一覧しています。

    string folderPath = 任意のどこか
    string[] filePaths;

    filePaths = Directory.GetFiles(
        folderPath,
        "*", SearchOption.AllDirectories
    ).OrderBy(f => File.GetLastWriteTime(f)).ToArray<string>();

ファイルの更新日時の古いものから順番ということでOrderByしています。

このソートを、少し複雑に、

更新"日付"に対して、新しいものから古いもの
更新"時間"に対して、古いものから新しいもの

にしたいと思っていますが、
この条件をどのように記載すればいいのかがわかりません。

ご存知でしたら、よろしくおねがいします。