Комментарии «Диссонанс» (джен)

#разъяснялка #биология

В свете очередного поста, где кто-то, не очень хорошо знающий область, пытался читать не очень хорошую статью и получил, что нас травят жуткой химией, мы вот-вот все умрем от рака (спойлер: нет и нет), хочу представить несколько советов, как не-специалисту понимать пресс-релизы и кричащие заголовки о биологических и медицинских открытиях. О самых распространенных заблуждениях. Если у вас есть ещё примеры частого/то, насчет чего есть вопросы - пишите в комментарии, а пост будет дополняться.


В чашке/пробирке. Если речь не идет об испытаниях на людях или хотя бы животных, то новость ничего не значит. Если плюнуть в культуру раковых клеток, она тоже начнет умирать.
Чтобы разобраться в каждом конкретном исследовании на культуре, что оно значит, какие перспективы у данного конкретного препарата, нужны специализированные знания и чтение первоисточника. Для понимания новости неспециалисту важно следующее: большая часть того, что работает в чашке, не будет работать на мышах и тем более на людях в реальных клинических условиях. Даже из того, что дошло до проверки на людях, 90% все ещё не будет работать. Чисто статистически, вероятнее всего, что препарат окажется пшиком.
Даже если не окажется, до появления в клинической практике - ещё годы и годы исследований. Сначала на мышах, потом проверки на людях, что занимает несколько, если не десяток лет.
Так что на любую такую новость можно смело забить.

Первая стадия клинических испытаний не требует проверки эффективности препарата. Первая стадия - обязательная проверка токсичности и подборка дозировок. То есть "мы давали наш препарат людям и проверили, что они от него не умирают и даже не сильно болеют. Круто, правда?". Первая фаза может, но не обязана включать в себя и какую-то оценку эффективности. К примеру, первая стадия препаратов от рака - это всегда больные раком, и кто-нибудь из них внезапно выздоровел (а остальные - нет:)). Это тоже могут написать в тексте релиза, это уже немного лучше, но все ещё не гарантия.
Может быть так, что в этой первой фазе действительно есть ещё и небольшое исследование эффективности (в идеале с двойное слепое контрольной группой, а не против известной статистики выживаемости). Такое, если показало лучшую выживаемость, дает некоторую надежду. Но небольшую. Заметная часть препаратов, показавших себя в первой фазе, легко отваливается на больших группах из разнообразных пациентов во второй и третьей с двойным слепым тестированием. В случае рака - не заметная, а большая.
То есть, конечно, авторы молодцы, что смогли дойти до первой фазы, это уже непросто, но открывать шампанское ещё очень рано.

К сожалению, из-за развитой хемофобии, а также количества людей, которые любят на ней играть, большая часть таких релизов/заголовков - просто кликбейт, и придется лезть в саму исходную статью (именно научную статью-первоисточник, а не пост блогера или статью журналиста), чтобы понять, чтобы написано ли что-то стоящее. Что должно заставить насторожиться:
- классический пример в этой области: одним мышам давали только нездоровую еду с X, другим - здоровое нормальное питание без X, первым плохо, вторым хорошо, но виноват X, а не питание жирной нездоровой пищей. Все мыши, крысы и так далее должны содержаться и питаться абсолютно одинаково, за исключением X. Должна быть тестовая группа (дают X) и контрольная группа (не дают X). Если этого нет, плохое исследование
- недостаточное число мышей в выборках. Как понять это на пальцах: в статье должны быть такие слова как p-value или q-value. Это статистики, которыми проверяют, а не получились ли результаты просто случайно из-за шума, кривизны рук, того, что мыши сами по себе немного разные. Они должны быть меньше 0.05. Чем меньше, тем лучше. Если сравнивают разные параметры у мышей (например, объемы мыши в разных местах или экспрессию разных генов), то неплохо бы ещё иметь такие слова как multiple testing correction и fdr. Если этого нет, сомнительное исследование
- запредельные дозы X. В достаточно больших количествах всё что угодно яд. Если мышам дают x5, x10 допустимой дозы (FDA безопасную дозу легко можно найти в википедии), то им будет плохо в любом случае. Даже если это обычная соль. Если дозы превышают безопасные FDA (а едим мы обычно во много раз меньше этой дозы, чтобы её превысить, надо питаться только продуктами с высоким X. Концентрации в продуктах всегда регулируют так, чтобы нельзя было превысить суммарную безопасную дозу просто одной лишней бутылочкой колы), то это не показательное исследование. В лучшем случае это повод проверить, сохраняется ли эффект, если давать X в нормальных концентрациях. Выводы о том, что X - яд, из такого делать нельзя.
Это, конечно, далеко не все черты плохих исследований, но наиболее доступные неспециалисту.

См п.3. и п.1. То же самое, что и п.3. только с той поправкой, что исследования на отдельных клетках ещё хуже транслируются на полный человеческий организм, чем мыши, очень много нюансов. Тут всегда нужны дополнительные исследования.

Популяционные исследования - это когда собирается (проспективно или ретроспективно) всякая разная информация о куче человек, включая их заболевания и потребление X, а затем оценивается, происходит ли что-то плохое чаще с теми, кто ест X. Всякие статистические штуки типа p-value и fdr там тоже обязательно должны быть, но от них в популяционных исследованиях уклониться сложнее, поэтому они обычно есть по умолчанию. Так что признаки лажи тут заметно сложнее и требуют внимательного чтения исходного исследования.
- посмотрите, какие ещё вредные факторы учитываются при анализе одновременно с X, и подумайте сами, что связано с высоким потреблением X. К примеру, диета. Если X встречается много в фастфуде, то те, кто едят много X, едят много и фастфуда, так что может проблема в нем, а не в X? В анализе почти наверняка должны быть учтены диета, образ жизни, социальное положение (уровень дохода), курение, алкоголь, возраст, пол. Исходное состояние здоровья тоже неплохо бы. Важно, что это должно быть не просто "мы собрали данные", а они должны быть в одном расчете с X, чтобы показать, что это действительно независимый фактор.
- проявляйте некоторую осторожность к self-reported (собранные со слов) данным. Увы, без них не обойдется, потому что ученым не дают посадить кучу людей в клетки и кормить их специально составленными диетами на протяжении нескольких лет. а хотелось бы Но чем крепче что-то привязано к самооценке (длина члена; оцените, насколько вашей девушке нравится секс с вами), тем вероятнее оно указано неверно.
- потребление X в граммах (на что-нибудь там) должны считать сами исследователи, опрашиваемые обычно не только врут, но ещё и плохо считают. Джон рассказал, что ест не больше 5 мг X на кило своей массы - плохо. Джон рассказал, что пьет три колы в день, ест два бигмака, зная массу Джона и среднее содержание X в коле и бигмаке, мы рассчитали, сколько примерно мг на кило он потребляет - хорошо. Если все крупные источники X учтены, конечно. Если учитываем только колу и бигмаки, а про фитнес протеиновые батончики забыли, несмотря на то, что известно, что в них Х много, это тоже плохой подсчет.
- для понимания того, насколько страшен Х, важно не только относительное увеличение, но и абсолютный риск. К примеру, если у одного на 500k раз в десять лет бывает страшное, а X увеличивает это до пяти на 500k за десять лет, это не так уж и страшно для вас как для потребителя Х, поскольку шансы все ещё очень низки.
Словом, тут уже посложнее разбираться, придется вчитаться и искать ошибки самостоятельно.

Надо заметить, что ошибки бывают не только в эксперименте, но и в интерпретации результатов (особенно если кто-то пересказывает статью, как понял). Блогер пересказывал исследование, где одна группа людей худела при помощи ограничения времени питания (это когда едят только с 10 до 18, например), а другая - не ела больше определенного числа калорий.. Первая похудела больше, из чего блогер заключил, что ограничение времени питания - круто для метаболизма, биологически помогает худеть. Нюанс нашелся в результатах исследования. В нем все испытуемые, не только во второй группе, записывали, чего сколько едят. Оказалось, что среднее число потребляемых калорий в итоге было меньше в первой группе, чем во второй. То есть первая группа на самом деле легко могла похудеть больше, потому что ограничение времени питания позволило им есть меньше, чем вторая группа, а не потому, что это сильно повлияло на их метаболизм.

Список будет дополняться. А пока бонусом области, которые могут быть особо поражены фриками и сомнительного качества материалами. (В корне псевдонаучные области вроде гомеопатии в этот список не входят, с ними и так все ясно.)

Нутрициология - началось как здравая идея "то, что мы едим, как-то влияет на наш организм, выясняем как", закончилось очисткой от токсинов и шлаков, хемофобией и чем угодно. Сравнительно недавно топлива в огонь подкинули интересные исследования микробиоты (при помощи метагеномики в том числе), где изучали, как меняется микробиота в зависимости от питания и как микробиота может влиять на организм, в том числе на высшие нервные функции. Метагеномика в применении к человеку штука не безынтересная, но очень шумная, зависимая от многих факторов, в том числе методов получения данных, из-за чего есть проблемы с воспроизводимостью и все это требует ну очень аккуратной работы. В результате непрофессионалу сложно оценить результаты, а фриков от нутрициологии такое не волнует.
Развлекательная генетика - та фигня, где вам расскажут ваш характер, склонности, таланты и интеллекты по геному. На данный момент только небольшая или в лучшем случае средняя доля вариабельности каждого из этих признаков объяснена генетическими признаками и любой тест такого рода - гадание на картах (не путать с медицинской генетикой, где ищем причины заболеваний. Тут все гуд). Изучать, как оно что ассоциировано, дело неплохое. Говорить, что все ясно - нет.
Лонгевити - оно же продление жизни и изучение старения. В область, где нормально изучают процессы старения и может быть капельку, как что-нибудь подкрутить, набежало достаточно много полу или совсем сектантов, которые ищут таблетку бессмертия, сорок два, а также толкают различные режимы питания и непроверенные нецелевые использования препаратов (биохакинг), которые точно-точно дадут жить лучше. В крайнем случае, говорят, что вот сейчас их стартап годик-другой что-нибудь поисследует/помайнит нейросеткой статьи на пабмеде, точно будет победа над всем и сразу или на худой конец поймут всю биологию старения. Из-за такого хайпа область тоже полна разного, непрофессионалу будет сложно оценить результаты, особенно учитывая, что часто в этой области умеют хорошо питчить свои стартапы и продавать херню.

Отдельно выделю DNA-LLM и прочую AI-driven биологию, которая на волне ИИ-хайпа стремительно тоже набирает обороты не с откровенным фричеством (если исключить заявления очередного AI-СEO, что через два-три-пять лет именно наш ИИ вылечит рак и победит старение), но c процентом статей и тезисов на конференциях несколько сомнительного качества (или совсем сомнительного, если речь идет про AI конференцию, а в написавших нет ни одного биолога и в ревьюерах тоже нет ни одного биолога, шарящего за две области сразу). Если вы NVIDIA, то вы можете опубликовать достаточно фигню даже в титульном Science, к сожалению. Так что тут тоже лучше без специальных знаний относиться с осторожностью.

На этом пока все, со своими примерами кричащих заголовков и подозрений, что где-то там журналист изнасиловал ученого, можно в комментарии.