個人的にブラウザは複数あったほうがタスクバー上の取り回しも良くていいと思っていますので、数少ない（？）完全オープンソースブラウザーのこちらを試してみました

どうやらポータブル利用にはコマンドラインオプションが必要らしく、それがないと%localappdata%以下にファイルを作成してしまうようでした
なので「タスクバーから起動したらそれが設定できないのでは...?」と思ったものの、どうやらタスクバーのショートカットアイコンは実体が存在したらしいので
https://news.mynavi.jp/article/win10tips-222/
を参考にShift+右クリック→プロパティでコマンドラインオプションを追加したところうまくいきました（ちなみに、こういうのを検索するときは「○○ 実体」とかで検索すると、溢れかえってる初心者向け記事なんかを比較的避けられる）
ついでに、Ironと違いタスクバーから右クリックしてもシークレットモードが選択できないっぽいので（ポータブル版だから？）私はシークレットモードを常用するため--incognitoもコマンドラインオプションに追加しておきと
これである程度快適に使えております
更新が今年の6月で止まっているのが気がかりだけど、サブ用途として使うには十分

【追記】2021年10月15日 01時01分
私は特定のサイトしか見ないからほとんど問題は起こらないだろう（最悪問題が起こっても大丈夫なようにはしてあるし）と高を括っていたのですが、人に勧めるようなものではないですね...
失礼致しました
割と大きなchromiumの脆弱性（任意のコード実行？）が最終更新以降にあったようですし、少なくとも普段使いには全く適しておりません
（何を今更という感じですが、一応私からも書くべきかと思い...）