グループ内の一人が体調不良で低浮上になりました。

グループ内の一人が体調不良で低浮上になりました。 その人はグループ内で一人だけ馬で集まりの機会を設ける中心人物だったのですが、その人が消えた途端悪口で盛り上がってます。 これといった非のない人なので、声がくぐもってて陰キャオタクっぽくてキモいとかそんな悪口ばっかりです。馬は病気で声が通らなくなっただけで、むしろ一番明るく面白い陽キャタイプの人でした。 馬が浮上するとみんな人が変わったように歓迎してます。悪口を叩く人達に愛想よくしている馬が気の毒で見ていて辛いです。 もうこのグループから抜けたいのですが、抜けたら悪口を言われたり、逆に馬になにかを吹き込んで自分を悪者にする（悪口を言っていたとか（※自分は悪口言ってません））可能性もあります。馬とは縁を切らずら他の人達とだけ縁を切るにはどうするのがいいんでしょうか。