Я не понимаю этот аргумент. Вот в СИ у электрического и магнитного поля размерности разные, а в СГС одинаковые. Можно сказать, давайте сделаем постоянную больцмана равной единице и всё. k перед логарифмом отражает только выбор основания логарифма и температурной шкалы - можно мерить Т сразу в джоулях (у меня в курсе статистической физики так везде и делали).

Я предположу, что это говорит привычка рассматривать энтропию просто как функцию системы, ничем особым от других не отличающуюся операционно, в ряде прикладных задач. Но это какое-то слепое пятно: игнорируется одинаковость и повсеместность паттерна p_i*Log[p_i], где p_i - частоты~вероятности. Энтропии Больцмана и Гиббса оказываются частным случаем квантовой энтропии фон Неймана (которая учитывает корреляции и потому субаддитивна) - которая работает как на много- так на мало-частичных состояниях. Ещё один мостик из "чудовищного" квантмеха в знакомую классику. При этом сопоставления типа "число состояний - статвес - вероятность/частота появления символа алфавита - `информация`" - вполне работают. Некоторые вообще вот видят взаимосвязь с вариационным принципом (через статсумму и интеграл по траекториям).
Короче, взаимосвязь таки есть. Обсуждать, видимо, тоже есть что, потому что этой взаимосвязи посвящена не одна книга.

По поводу слабых квантовых измерений - да, надо сначала разобраться. По поводу интерпретаций - бритва Оккама делает их не одинаковыми. Но обсуждать их тоже и правда надо после вникания.