IE11の速度や重さに関してはchromeやFirefoxとそんなに変わらないと思う。しかし便利さの点ではchromeやFirefoxの方が圧倒的に上です。一度chromeなどほかのブラウザを使うと、もうIEに戻ろうとは思わないでしょう。
スクロール時の画面の移動は結構きれいです。ブラウザの中でもトップクラスではないでしょうか。

IEのコメントで「脆弱性」に関するコメントが多数見かけられますが、EMETやMBAEなどの脆弱性緩和ソフトを使用してみてはいかがでしょうか？EMETはマイクロソフト製、MBAEはセカンドオピニオン用のウイルスチェックソフトとして有名なMalwarebytes Anti-Malwareを出しているMalwarebytes製です。EMETとMBAEはどちらも無料で使うことができ、基本的にセキュリティソフトと併用することができます。