Desafortunadamente, en realidad es bastante común.
No estoy seguro de que sea porque la gente te ve como inferior, pero en cualquier caso, les estás recordando su ser anterior. Y a las personas no les gusta que les recuerden sus momentos débiles y lamentables.