Ну, можно пофантазировать об этом. Например:
а) бриллианты чувствительны к магии и портятся от нее, поэтому чистокровные их носить не могут - магический фон все равно гробит камни.
б) бриллианты, напротив, зело полезны в качестве составных частей артефактов, поэтому все, что добывают (ну, скажем) гоблины, моментально расходится, на украшения не остается. А у маглов, покупать, конечно, никто не догадался. И вообще у маглов неправильные бриллианты, искусственные и гранят их не так, как надо.
в) бриллианты, напротив, на магию не реагируют, поэтому в сделанных волшебниками украшениях применяться не могут. Встречаются только в гоблинских изделиях, а их на людях никто не носит: гоблины узнают, что у тебя их вещь - не отмашешься потом.
г)...