Вы правы, в "кругу" возникает свой язык. Как правы и в том, что многие не обращают внимания, что вставляют свои словечки. На фанфиксе это очень заметно, кстати.

Но есть нюанс.
Когда я рассказываю друзьям забавный случай из блогов, я использую фандомный сленг, не замечая этого. Друзья переспрашивали, пока не запомнили.
Когда друг рассказывает мне забавный случай с работы, он использует много терминологии, которую не поймёт не только гуманитарий, но с я с 4 образованиями. Я много переспрашиваю и уже многое понимаю!
Не понимать и спрашивать нормально.
Если вам рассказывают что-то с энтузиазмом, а вы перебиваете, - вот это может вызвать раздражение.
Но это все нормально.