Понимание проблемы - первый шаг к ее решению. На самом деле ваша бесконфликтность, то есть бесхребетность, не меньшее зло, чем чья-то агрессия. Ведь вы спускаете другим безнаказанно их хамство, эгоизм, нежелание считаться с вами. Вы автор чужой агрессии. Обрисуйте для начала границы, которые вы никому ни при каких обстоятельствах не дадите перешагнуть. Совершенно не обязательно ругаться, но выдержать достаточно долгую паузу в отношениях с тем, кто вас обидел, сказать ему о том, что вы обижены и разочарованы его поведением - надо.