バージョン2020.11を使ってみました。

前述のowlさんも解説してくれていますが通常の方法では拡張機能の削除が出来ません。
右上の削除したい拡張機能のアイコンを右クリックして「Remove from Browser」を選択すれば削除出来ます。
表示していない場合は拡張機能ボタンの中から消したい拡張機能の3点リーダをクリックすれば「Remove from Browser」が現れます。

ポータブル版はブラウザをリセットしてもファイルごと削除しても拡張機能は消えなかったです。
例のごとくCドライブに設定ファイルを残すみたいです。