スタートアップにも入れていないのに自動起動し、大量のEdge updateのタスクが残るようになり、…

自動的に起動することはないはずです。
ロック画面にある奴(気に入りましたか?)をクリックしたから起動したと思います。

キーボードの何かを押す→ロック解除で起動したら、起きないです。

自動起動の件については、ウーロン茶ヌルヌル様のおっしゃる通りと思います。
あと気になるのは、【Microsoft Edge Update】が複数起動している点です。
通常にインストールしたら、その様な状況になりません。
一度、面倒でもMicrosoft EdgeとMicrosoft Edge Updateの双方のモジュールのアンインストールをお勧めします。
(Microsoft Edgeのアンインストールで、同時にMicrosoft Edge Updateのモジュールが削除される？)

もう遅いとは思いますが、手動で管理者権限でtaskkillを/tと/fオプションを付けて実行してみてはいかがでしょうか。