Если вы у тех же самых людей, от которых это слышали, спросите не про верующих, а про что угодно другое, чем они не являются, - про спортсменов, если они не занимаются спортом, про шахматистов, если они не играют в шахматы, и про нешахматистов, если играют, - вы тоже услышите что-нибудь уничижительное. Это просто такой (самый скучный и пошлый) способ самоутвердиться: "не такие, как я, - хуже".