早速、再確認してみました。
Windows 10 (x64) Version 2009 (build 19042.985)
Windows Defender Version 4.18.2104.14
Scan Engine Version 1.1.18100.6
Virus Definitions Version 5/21/2021 Rev 1.339.1178.0
Last Disk Scan on Wednesday, May 19, 2021 22:09:09
Realtime File Scanning Off
該当のフォルダー内は、無用なゴミファイルは存在せず、カラッポでした。
新バージョン（Scan Engine Version 1.1.18100.6）が適用されて以降、常にカラッポな事を確認しています。
ただ、そのフォルダーには「CacheManager」という新たなフォルダーが配置されていますが（その中も、常にカラッポ状態です）。
（私の場合は「リアルタイム・スキャン」などの全てのオプションを無効化していますが）

公式サポートのトピック
https://docs.microsoft.com/en-us/answers/questions/376490/windows-defender-issue-on-server-lots-of-files-bei.html?page=2&pageSize=10&sort=oldest
では、問題が収束しているようです。
確かに、Gonbe さんの現状は「期待された状況」とは異なるように感じます。