人付き合いについて悩んでいます。

人付き合いについて悩んでいます。 推しキャラ、推しCPが同じで子どもの年齢も近く仲良くしている人がいます。 合同誌を出したこともあるし、子ども同士を遊ばせたり、 サークルを隣に配置するような仲でした。 数年前にその人のプライベートに関するある一言がどうしても許せず、 コロナもあって顔を合わせる機会が減ったことを口実に やんわりと距離を置いているのですが、 あちらは全く気付いていないのでこれまで通りお誘いがきて、 毎回何かしら理由をつけて断るのもつらくなってきました。 一度は「そういうこともあるか」と流したのですが、 その後二度三度同じことを言われ、 その人と関わるとまた言われるのではないかと身構えてしまいます。 その一言がどうしても許せないので関係を絶ちたいと言いたいのですが、 狭いジャンルで同じ推しキャラ、同じ推しCPなので、 周りからもふたりセットのようにみられており、 絶縁するとどうしても周りを巻き込んでしまうし、 ジャンルにも居られなくなるだろうと思うと踏ん切りが付きません。 (私よりその人のほうが活動期間も長くフォロワーも多いです。) この状況を打開するためのアドバイスを頂けると幸いです。