Ebm_base

Я не знаю таких биостатистиков, которые из-за выбросов или других проблем заставляют менять ВСЁ исследование. Обычно описывают выявленную проблему, обосновывают принятое решение по ее исправлению, демонстрируют несколько результатов оценки и делают выводы с учётом вышеперечисленного. У биостатистиков нет задачи задолбать врачей, подстраивать клинические задачи под статистические "хотелки", из-за одной проблемы ломать все исследование (неважно это клиническое исследование или диссертация). Есть задача только помочь клиницистам грамотно провести исследование (получить насколько возможно точный ответ на заданный клинический вопрос) Как пример, мне нравится это исследование, где исследователи столкнулись с высокой частотой кроссовера в 1 группу. Они описали проблему, свои идеи для ее решения, продемонстрировали все результаты. Но как мы видим никто (ни исследователи, ни статистики) не поменяли исследовательскую задачу, не отменили свое исследование.

Заговор статистиков, решивших все усложнить для бедных врачей, которым всего лишь надо защититься😅

Не первый и не последний раз я снова в бане.

Если обсуждать статистические аспекты научных исследований не в статистическом чате, то где тогда?

К сожалению, не успел сделать скрин своих сообщений (теперь их там нет, их просто удалили). Но заметьте, что подобные авторы сами сначала упрекают в то, что обсуждения нет, а затем включают цензуру у себя И да, ранее я уже попал в бан у них же в IG Здесь пример разбора симуляций автора данного канала, про которые автор теперь молчит)

Ты слушаешь меня, Нео, или любуешься на женщину в красном платье? Оглянись.

В игру с хайпом можно играть вдвоем)

Недавно в одном канале была озвучена радикальная позициия "один тест для всего" при сравнении двух групп по количественной переменной. Автор даже показал результаты своих симуляций (правда изображения были сгенерированы ИИ). Я попросил код, на что получил ответ "Ну так все входные параметры на слайдах - берите их и подставляйте в симуляцию". Ну ладно. Я взял эти параметры и провел. Но в отличие от автора я сразу покажу с кодом и своими размышлениями. Думаю это может быть полезно многим. Комментарии, замечания, мнения приветствуются @Ebm_base

Кратко, в общем, про ИИ (точнее LLM) Если вы не представляли как они работают, то это хорошее объяснение

Став папой, я понял, как тяжело мне без папы..

ВСЕ СКАЗАЛИ! Немного отвлечемся от инструментальных переменных) Вчера я в двух каналах запустил опросы (Ebm_base и JC Ebm_base). По их результатам (56% и 47% соответственно) можно ли сделать вывод, что статистика - это интересно, но непонятно? Или что 7% людей она неинтересно и непонятна? Кажется, что я натягиваю сову на глобус? Так и есть! Давайте разберемся, что произошло. 1. Selection bias (или конкретно survivorship bias) [1, 2]. Этот опрос проходили подписчики моего основного канала и канала журнального клуба. Это явно не все врачи, статистики, ученые, исследователи и т.п. Это целевая аудитория (ЦА), которая по каким-то причинам читает данные каналы (нравится подача, темы, личность и т.д.). 2. Sampling bias [3]. В моем канале почти 3900 подписчиков, опрос увидели 319 людей, ответили 100 (причины низких просмотров не обсуждаем). Но почему не каждый просмотревшие ответил? Потому что на опросы отвечают те, кому интересно/любит отвечать на них (или просто отвечает). 3. Non-response bias [4]. Из пунктов 2 и 3 вытекает 3. Люди, которые отвечают и не отвечают на опросы, различаются между собой. Как? Ну для этого надо было собрать хотя бы базовую информацию об этих категориях (пол, возраст, активность в соц сетях, профессия и прочее). 4. Social desirability bias и neutral bias [5, 6]. Люди чаще отвечают социально приемлемые ответы. Ответить, что "неинтересно и непонятно" кажется странным, если ты подписан на канал, подобный моему (можно же отписаться). Проще придерживаться нейтральных ответов. Думаю, что тут можно ещё найти несколько bias, но основной посыл в том, что опросы в тг-каналах нерепрезентативны совсем. Т.е. не надо экстраполировать результаты со своей ЦА на какую-то общую популяцию (все врачи, все статистики, все студенты, все учёные и т.д. и т.п.). Ваша аудитория подписана на вас, а это уже ее отличает от остальной популяции.

Завершился третий сезон открытого онлайн-лектория «Разрушители статистических мифов»! bioinf.me/stat_myths За прошедшие три сезона преподаватели трека по биостатистике Института биоинформатики разобрали девять мифов, которые могут увести исследователя совсем не туда! 1 сезон:

🦖 Миф №1: Статистика – наука точная, и в ней нет места мифам | Евгений Бакин 🦖 Миф №2: Доверительные интервалы и p-значения — это то, чем они кажутся | Ольга Мироненко и Максим Кузнецов 🦖 Миф №3: Ненормальное распределение требует ненормальных решений | Матвей Славенко

2 сезон:

🦖 Миф №4: Категорически категорично, или «просто разбей на группы» | Алексей Глазков 🦖 Миф №5: Рандомизация — смешать и не взбалтывать | Артемий Охотин 🦖 Миф №6: Визуализация — это просто красивые графики | Елена Убогоева

3 сезон:

🦖 Миф №7: Автоматизированный выбор многофакторной модели: кто ищет, тот всегда найдет | Евгений Бакин 🦖 Миф №8: Придай нормальности описательной статистике | Алексей Глазков 🦖 Миф №9: Расчёт мощности: лучше поздно, чем никогда | Матвей Славенко

Записи всех лекций доступны: ☁️ на сайте лектория ☁️ на YouTube-канале Института биоинформатики Будем рады, если вы поделитесь своими впечатлениями в анонимной форме обратной связи. Благодарим вас за активное участие в лектории, до встречи! ❤️ P.S. Мы уже начали готовить кое-что интересное для вас! ✨ Мы в VK | Мы в почте | Мы в Telegram #bioinf_online #bioinf_education @bioinformatics_institute

У МЕНЯ ЕСТЬ ИНСТРУМЕНТ Давайте представим, что у вас получилось собрать данные реальной клинической практики - real-world data (RWD. Сами вели свою таблицу Excel, ведь они так собираются). Вы планируете сравнить методы лечения (препарат А против В) по исходу (пациент выписался или умер). Но слышали/знаете, что есть такое явление, как confounding. Он может реализовываться через множество факторов. Но предположение о модели ведёт к тому, что факторов, которые надо включить, очень много (а мб каких-то нет в данных - скрытые). Что делать? Можно присмотреться к методу из causal inference, который называется инструментальная переменная (instrumental variable, IV) [1, 2]. В чем суть? Мы подбираем такую переменную/фактор (инструмент), которая: - связана с назначением лечения (релевантность) - не связана с исходом (кроме связи через назначение лечения) - не связана с другими (особенно скрытыми) факторами, которые влияют на исход (экзогенность) [1, 2, 3] Визуально это можно отобразить на DAG (рис) Если эти предположения не нарушены (и основные для оценки ATE), то мы можем использовать выбранный показатель в качестве инструментальной переменной. А дальше с помощью двухэтапных методов (есть и другие подходы) это учитываем в окончательной модели [2]. Что нам это даёт? Мы получаем оценку LATE-IV, т.е. локальный средний эффект лечения среди "послушных" (об этом разделении я расскажу в других постах) [4].  LATE-IV = 𝔼[Y|T = 1, U = c] - 𝔼[Y|T = 0, U = c] где:  𝔼 - мат ожидание Y - исход T - лечение (1 - препарат А, 0 - препарат В) U - фиктивная переменная "послушания" (c - "послушные") К сожалению, если нам недоступна оценка ATE (а часто это так), то оценка LATE - это оправданный шаг (но это меняет эстиманд - мы оцениваем эффект у тех, кто следовал назначенному лечению). Может показаться, что это похоже на per protocol анализ (об этом и применение IV в РКИ я тоже расскажу в следующих постах) [4]. Как пример, можно ознакомиться с этой статьей. В ней оценивали назначение Варениклина на смертность от всех причин через 2 года после назначения терапии. В качестве инструмента использовали склонность врача назначать варениклин (количество рецептов на варениклин, выписанный 7 предыдущим пациентам).  Итог: RD = 0.67% (95% CI –0.11; 1.46%) на 100 пролеченных пациентов. Клинически не выражен, статистически не значим.  Пока писал пост, понял, что нужно будет еще раскрыть некоторые особенности (кто такие "послушники" и "непослушники", IV в РКИ, методы, что-то еще). Поэтому буду пока это разбирать... @Ebm_base

Что-то я здесь запутался с ссылками, когда писал пост. Исправил

🎤Продолжаем разговор о статистике в формате Живой студии. В эфире Бурлов Никита Николаевич!

Интересно, можно ли меня считать нишевым биостатистиком?

У меня было несколько интересных выступлений, записи которых организаторы выложили 1. Рассказываю про дизайны квази-эксперимента (смотреть с 7:16:25, я потом понял, что допустил в нем ошибку при объяснении эффекта в DiD) 2. Показываю, что умеет ИИ в статистике "типичного" исследователя (смотреть с 3:16:32, но лучше ознакомьтесь со всей секцией, отдельная благодарность за интересные доклады остальным спикерам) Буду рад дискуссии, если есть вопросы/комментарии!

Тут можно далеко зайти.

Крайне интересные два поста и дискуссия к ним. Мне кажется, что прежде чем обсуждать, что должно или не должно входить в курс по статистике и обсуждать качество курсов, нужно ответить на более фундаментальный вопрос: чему именно мы хотим научить врача? Я вижу как минимум три разные аудитории. 1. Врач, который не занимается исследованиями, но регулярно читает статьи, клинические рекомендации и слушает лекции. 2. Врач-исследователь, который сам не проводит статистический анализ, но планирует исследование, набирает пациентов, обсуждает дизайн со статистиком и интерпретирует готовый отчет. 3. Врач-исследователь, который планирует самостоятельно анализировать данные. Очевидно, что это три разные образовательные задачи. Честно говоря, у меня нет готового ответа ни для первой, ни для второй группы, и тем более для третьей. Но если говорить о первом уровне, то из опыта работы с ординаторами мне кажется важным понимание следующих вещей. 1. Что означает p-value и чего оно не означает. Почему в первую очередь мы смотрим на первичную конечную точку. 2. Почему статистическая значимость не равна клинической. Что такое Number Needed to Treat (NNT) и почему он тоже не является универсальным показателем. 3. Что множественные сравнения увеличивают вероятность ложноположительных результатов. Почему при большом числе вторичных конечных точек p = 0,05 уже нельзя интерпретировать так же, как при одном сравнении. Почему в описательной статистике p-значения в ряде журналах вообще не используют. 4. Зачем нужны поправки на множественные сравнения, иерархия конечных точек и почему в некоторых исследованиях используют win ratio. 5. Как на базовом уровне интерпретировать кривые Каплана-Мейера. 6. Для чего нужны регрессионные модели. Понимать, что авторы могли преследовать разные цели: оценить причинно-следственные связи, построить прогностическую модель или просто сделать модель ради модели [последнее разумеется то чего лучше не делать]. Я бы тут еще a) про casual inference рассказал бы и привел пример парадокса ожирения. b) сказал бы что не все что называется прогностической моделью является адекватной прогностической моделью и про внешнюю валидизацию. 7. Что данные могут иметь разные распределения. Когда данные лучше описывать средним значением, а когда медианой и 25-м и 75-м процентилями. 8. Какие ограничения есть у подгрупповых анализов. 9. Что такое статистическая мощность исследования. Как, читая статью, можно прикинуть, было ли включено достаточно пациентов. Понятно, что здесь придется объяснять доверительные интервалы, еще раз говорить о клинической значимости, приводить примеры и честно сказать, что простого алгоритма здесь нет. 10. Как интерпретировать чувствительность и специфичность тестов и почему без учета распространенности заболевания они могут вводить в заблуждение. 11. Типы исследований. Что такое рандомизация и ослепление и зачем они нужны. Типы наблюдательных исследований. Что можно и чего нельзя узнать из последних. 12. Что такое разные виды bias с примерами. Что важно понимать какие пациенты попали в работу и и нет ли тут immortality bias и т.д. 13. Что такое мета-анализ и основы его интерпретации. А что думаете вы? Что бы вы добавили в этот список? Что, наоборот, считаете лишним для врача, который не делает исследований и только читает статьи и слушает лекции

И есть радостная новость! Отбор в ЖК завершён, письма отправлены! Ждем новых участников в наш клуб!

В действительности обучение статистическому анализу - это сложно, долго и тяжело. 5. Ошибки. Мы хотим, чтобы наука в России стала великой, поднялась с колен, чтобы мы могли ею гордиться. По факту, за долгое время мало что меняется, кроме единичных случаев (там, где нас нет, тоже схожая ситуация). И это логично, потому что это зависит не только от авторов или статистиков. Это большая структура, где много участников. Но добавлять в это свои ошибочные и самоуверенные предположения, а потом жаловаться, что вот все плохо или мне мешают/критикуют - ту мач (можете иначе назвать). Все, что выше, это мои размышления (некоторые я не знаю как структурировать лучше). Вы можете с ними быть согласны или нет, ваше право. Вы можете указать другие плюсы и/или минусы. Однако я решил, что вешать на себя белое пальто - признак дурного тона, поэтому немного подумал, а что я делал или делаю сейчас... Страдаю ли я излишней самоуверенностью? Да. Особенно, когда я занимаюсь любимым делом троллингом. Я могу прибегать к радикальным формулировкам, выражениям. В работе же я стараюсь искать подтверждения или опровержения своим идеям, знаниям. Находить обоснования того или иного метода. Делал ли я ошибки? Да, уверен до сих пор! Особенно, когда на мою работу посмотрят более компетентные люди. Горжусь этим? Нет. Зачем? Выставляю все это на показ? Нечего выставлять. Мне важно работать с людьми, решать сложные и интересные задачи, а не демонстрировать отзывы или рассказывать о моем "величии". Оправдываю свои ошибки? Не совсем. Часто на тот момент у меня не было достаточно знаний - это ок. Иногда приходят с запросом "давайте сделаем просто" - это тоже ок (с оговорками). Дальше я стараюсь не останавливаться, а изучать новое, выслушивать критику, больше узнавать и пробовать, не повторять своих же ошибок. И в меру своих возможностей где-то об этом рассказывать. В первую очередь, что статистика - это интересная, но сложная и тяжёлая область. А дальше каждый делает выбор сам.