Freeのポータブル版使用だと
『アクティブモニタリング』は、(灰色で)チェック自体が出来ない状態です。
まずまずさん指摘の右上の最小化ボタンでバックグラウンドに常駐は
再現したので設定＞タスクトレイに表示で回避。
右上の×で終了させた場合は
スタートアップに登録やバックグラウンドに常駐もなく終了しているようです。

＞緩やかにさん
Free or Pro 、インストorポータブルの環境の違いがありますが、
私の環境でEdgeが立ち上がったことはないです。

とりあえず、今回の件が仕様かバグかはっきりするまで使用は控えた方がいいかと思います。