В целом горячую воду из городского водопровода тоже можно пить. Это же не отопительная система, это в отопление добавляют некие реагенты, и то не всегда. И для отопления важно давление воды, потому сливать её нежелательно. А горячая вода - та же, что и холодная, только нагрета.

Холодную воду после отключений усиленно хлорируют с целью дезинфекции. Потому пить её сразу после запуска системы лучше после бытового фильтра. Или отстаивать хотя бы пару часов, а после кипятить.

И вообще водопроводы в некоторых городах в совершенно удручающем состоянии.(