関わりの多かった相互フォロワーをリムーブしていいものでしょうか？

関わりの多かった相互フォロワーをリムーブしていいものでしょうか？ ブロ解の方が完全に拒絶しているようで失礼な気がする＆相手から先にフォローしてくれて私がフォロバした形なのでリムの方がいいのかと思っているのですが、試しに調べてみたら「リムられると気付かずにいいね・リプした時に気まずいから嫌」という意見が結構な数見られたので悩んでいます。 私は交流メインではないので相互でも自分からリプを送ることは殆ど無く、フォロー外からのリプや引用などをいただく分には気まずさは一切無いのでその感覚がよくわかりません。 ただ、確かに話しかけてくれることが多く仲良くしていただいていたとは思うので後ろめたさは多少ありますし、身勝手ですが出来るだけ角の立たない方法を取りたいです。