medstatistic

Простой пример того, как конфаундеры мешают правильно оценить различия и как мы можем устранить эти помехи с помощью регрессии и R Пост подготовлен совместно с медицинским кибернетиком Еленой Филипповой, автором канала MedData Lab. В клинических исследованиях есть понятие конфаундеров - вмешивающихся, или спутывающих, факторов. Это признаки, которые связаны как с изучаемым исходом, так и с воздействием, не являясь при этом промежуточным звеном влияния воздействия на исход. Часто к ним относятся возраст, тяжесть заболевания, наличие сопутствующих заболеваний и т.д. Если в наблюдательном исследовании мы сравниваем группы основного лечения и контроля, и при этом они имеют различия по каким-либо вмешивающимся факторам, это может существенно изменить результаты сравнения. В статистике есть разные способы устранять влияние конфаундеров, чтобы получить корректные результаты анализа. Один из них - рандомизация, то есть случайный отбор исследуемых в сравниваемые группы. Это позволяет снять проблему влияния как известных, так и неизвестных нам конфаундеров. А если рандомизация не проводилась? Например, мы проводим когортное исследование по данным пациентов, наблюдающихся в больнице. То или иное лечение им назначается не случайно, а исходя из показаний. Легко представить, что группы пациентов с разным лечением будут заодно различаться и по другим важным признакам, таким как коморбидность или тяжесть заболевания. И, конечно, это будет влиять на результаты сравнения. Для устранения или минимизации влияния конфаундеров в такой ситуации можно использовать: 🔹анализ подгрупп, 🔹многофакторную регрессию, 🔹псевдорандомизацию методом сопоставления оценок склонности (PSM). Все эти методы с примерами в программе SPSS мы будем подробно изучать во второй теме Курса по сложным методам, который стартует 14 сентября. А в этом посте вместе с медицинским кибернетиком Еленой Филипповой мы проведем статистический разбор подобной ситуации с применением языка R. Итак. В клинике ретроспективно проанализировали результаты планового хирургического вмешательства: 60 пациентов в первой группе получали новый протокол ранней активизации, 60 пациентов во второй группе - стандартное послеоперационное ведение При оценке длительности госпитализации пациентов: средние значения составили, соответственно, 5,5 и 6,8. Разность средних составила -1,29 дня с 95% ДИ: -2,25 до -0,34, p = 0,008. Другими словами, различия групп были статистически значимы. Все бы хорошо, но наше исследование наблюдательное, то есть отбор в группы был неслучайным. Поэтому мы дополнительно провели сравнение групп по потенциальным конфаундерам. И получили, что возраст исследуемых имел заметные различия: в первой группе он составил 52,9 года, а во второй был почти на 10 лет старше - 62,4 года. Очевидно, что меньшие сроки госпитализации в первой группе могли быть обусловлены не только новым протоколом, но и более молодым возрастом пациентов. Поэтому для корректного вывода о связи проводимого лечения с длительностью госпитализации нам нужно устранить влияние конфаундера - возраста. И для этого мы можем воспользоваться методом регрессии. Продолжение следует🔽

В ближайшее время произойдет большое обновление StatTech, после которого мы сможем построить в этой программе новые графики: гистограммы распределения, pie chart, density plot, violin plot и другие. В том числе можно будет создавать интересные комбинации из разных типов диаграмм. Например, такую, как на этой картинке, кстати, полученной на тестовой версии StatTech. Эта комбинация столбчатой и скрипичной диаграмм, как мне кажется, получилась довольно интересной по форме. Даже захотелось придумать ей свое название. Попробуем? Предлагаю несколько вариантов. Выберите тот, который кажется Вам наиболее подходящим. А если есть свой вариант - напишите его в комментариях!

4️⃣ Продолжаем разбор ситуаций, где в зависимости от проверяемой нулевой гипотезы можно получить разные результаты анализа. Первый пример смотреть здесь Второй пример - здесь Третий пример - здесь Итак, перед нами график, на котором сопоставлены значения двух количественных показателей: X и Y. Мы видим, что с увеличением X (значения на горизонтальной оси) значения Y также увеличивается, причем со стремительно возрастающей скоростью. Такой рост показателя называется экспоненциальным. Есть ли у нас сомнения в наличии прямой корреляционной связи между X и Y? То есть такой, где увеличение X сопровождается увеличением Y? Конечно, нет. Коэффициент ранговой корреляции Спирмена ожидаемо демонстрирует очень высокое, близкое к 1 значение: 0.998, при p<0.001. Это понятно, ведь коэффициент Спирмена тестирует нулевую гипотезу об отсутствии монотонной связи между переменными. Монотонность в данном случае означает, что связь имеет неизменное направление. При этом неважно, насколько изменится одна переменная при увеличении другой. Главное, чтобы она все время либо увеличивалась (положительная / прямая связь), либо уменьшалась (отрицательная / обратная связь). А вот результаты оценки корреляции с помощью коэффициента Пирсона получились совсем другие: значение коэффициента составило всего 0.351, а p оказалось существенно выше 0.05, то есть связь - статистически незначима. Причина этого в том, что коэффициент корреляции Пирсона проверяет гипотезу об отсутствии линейной связи. Линейная связь - частный случай монотонной связи, для которой важно, что изменения Y при равномерном увеличении X происходят с одной и той же скоростью. Например, если X увеличится с 1 до 2 или с 2 до 3, то Y в обоих случаях должен увеличиться на одно и то же число. Получается, что перед нами - монотонная положительная связь, однако при этом она нелинейная. Выбор метода оценки корреляционной связи зависит от исследовательского вопроса: 📍Если нам достаточно вывода о том, что при увеличении одного показателя другой показатель все время либо увеличивается, либо уменьшается, причем неважно на сколько, тогда нам следует использовать коэффициент корреляции Спирмена. 📍А если мы хотим понять, является ли связь линейной, то есть при увеличении X на одно и то же число Y будет все время либо увеличиваться, либо уменьшаться на одно и то же число, тогда нам следует использовать коэффициент корреляции Пирсона. Конечно, это может быть отражено в тексте описания результатов. Например, в статье M.Gargett и соавт.(2019), указано, что:

A monotonically increasing correlation (Spearman’s rho 0.771, p = 0.002) between the degree of PTV size reduction and motion vector magnitude was observed.

А в статье Stijn Denissen и соавт. (2022), где использовался коэффициент корреляции Пирсона, представлен такой комментарий к диаграмме, иллюстрирующей связь:

Figure displays the relationship between PC1 and brain age, revealing a strong

linear relationship

(

r

 = 0.93, 

p

 < 0.001).

Перед следующим примером, иллюстрирующим важность исследовательской задачи, предлагаю всем ответить на вопрос! Перед вами график, на котором сопоставлены значения двух количественных показателей: X и Y. Мы видим ярко выраженный, экспоненциальный рост Y при увеличении X. Коэффициент ранговой корреляции Спирмена показал наличие прямой корреляционной связи высокой тесноты: значение коэффициента почти равно максимальному значению +1, конечно, связь статистически значима - p<0.001. А какой результат мы бы получили для этой связи, если бы использовали параметрический коэффициент корреляции Пирсона? Отметьте, пожалуйста, свой вариант ответа в опросе ниже.

В этом видео учимся находить моду😄

3️⃣ Рассмотрим очередной пример нестандартного применения статистических методов. Первый пример смотреть здесь Второй пример - здесь Итак, ситуация: вновь две группы, вновь сравниваем количественный признак. Вот только распределение у него в группах разное: в группе А - бимодальное распределение (то есть две моды: чаще других встречаются низкие значения и высокие значения), в группе В - симметричное, близкое к нормальному. Средние значения и медианы в обеих группах одинаковы и равны 4. Вероятность более высоких значений, как и более низких в группах одинакова. Поэтому и t-тест Стьюдента, и тест Манна-Уитни не показывают наличие различий: p=1.0 в обоих случаях. Готовы ли мы признать, что различий между группами нет? Не готовы. Это важно с точки зрения клиники. Предположим, что средний уровень 4 - условная норма показателя. Тогда в группе А часто встречаются значения ниже и выше нормы, а в группе В - у большинства пациентов значения нормальные или близкие к норме. Что же разное у этих групп? Форма распределения. Есть ли критерии, которые проверяют гипотезу о равенстве формы распределения? Есть. Один из них - двухвыборочный критерий Колмогорова-Смирнова. Его нулевая гипотеза состоит в том, что обе выборки исходят из одной генеральной совокупности, то есть функции распределения равны. Сравнив наши группы с помощью критерия Колмогорова-Смирнова, мы получили p=0.012. Это означает, что между распределениями групп А и B наблюдаются статистически значимые различия. Конечно, далее следует изучить, чем обусловлены эти различия. В случае бимодального распределения в первую очередь следует предположить влияние бинарного фактора (например, пола: у женщин показатель рос, у мужчин снижался). В любом случае, мы не сделаем неверного вывода о сопоставимости групп и получим основания для дальнейшего поиска.

Отвлечемся на время от сложных статистических вопросов😊

Продолжаем разбирать примеры с результатами применения статистических методов, которые некоторым могут показаться противоречивыми. 2️⃣ Однажды ко мне обратились с вопросом: медианы показателя оказались равны, а критерий Манна-Уитни показал наличие статистически значимых различий. Научный руководитель требует пересчета. Может ли вообще такое быть? Ответ: конечно, может! Этот критерий в общем случае не сравнивает медианы (только в некоторых частных может быть рассмотрена такая гипотеза). Поэтому мы можем получить такую ситуацию, как на этом рисунке. Вновь перед нами диаграмма распределения признака в 2 группах. Мы видим, что группы, как и в первом примере, имеют разнонаправленную асимметрию: в группе А она левосторонняя, в группе В - правосторонняя. Группы заметно смещены друг относительно друга, однако их моды совпадают: чаще всего в обеих группах встречается значение 6. При таком асимметричном распределении, как на рисунке, медиана находится возле моды - самой высокой точки, пика линии распределения. И в этом примере обе медианы тоже равны 6. Будет ли статистически значимым результат сравнения при использовании t-теста и критерия Манна-Уитни? В этом случае оба критерия показали статистическую значимость различий. P<0.001 для t-теста и p=0.002 для критерия Манна-Уитни. Результаты для t-теста, сравнивающего средние значения, выглядят вполне логично. Средние действительно разные: 5 - в группе А, 7 - в группе В, разность составила 2. А вот для тех, кто считает, что критерий Манна-Уитни сравнивает медианы, результат будет выглядеть противоречивым. Как так - медианы равны между собой, а p<0.05? Но если вспомнить вопрос, на который отвечает этот критерий, статистически значимые различия нас не удивят. Все логично: вероятность более высоких значений в группе В наглядно выше, чем в группе А. А могут ли и средние значения, и медианы быть одинаковыми, но между группами все равно будет отмечаться разница? Могут, если поставить подходящий вопрос. И такую ситуацию рассмотрим в следующем посте.

1️⃣ Итак, первый пример. Известно, что t-тест Стьюдента довольно устойчив к асимметрии выборки, но только в случаях, когда в обеих группах асимметрия имеет одно и то же направление: правосторонняя (чаще встречаются значения ниже среднего значения) или левосторонняя (чаще встречаются значения выше среднего). А что произойдет, если асимметрия будет разнонаправленной? На рисунке вы видите пирамидальную диаграмму, которая состоит из 2 гистограмм, соответствующих распределению количественного признака в 2 группах. Диаграмма наглядно показывает, что признак имеет разную асимметрию: в 1-й группе правосторонняя (чаще встречаются низкие значения), во 2-й группе - левосторонняя (чаще встречаются высокие значения). При этом средние значения оказались практически одинаковыми: в первой группе 5.01, а во второй - 4.99. Разность средних составляет ничтожные 0.02. И если мы будем сравнивать средние значения с помощью t-критерия Стьюдента, то, конечно, различия будут статистически незначимыми: p=0.904. Однако медианы оказались друг от друга на достаточно большом расстоянии: в первой группе - 4, во второй - 6. Также наблюдаются отличия нижнего и верхнего квартилей: 2 и 7 в первой группе, а во второй группе выше на единицу: 3 и 8, соответственно. Используем тест Манна-Уитни для сравнения. И получаем статистически значимую разницу: p=0.045. То есть: различия средних значений признака являются статистически незначимыми, но: вероятность более высоких значений во второй группе статистически значимо выше, чем в первой группе (в каждой случайно выбранной паре). Второй вывод выглядит вполне логично, если интерпретировать асимметрию распределения как преобладание значений ниже среднего в первой группе и преобладание значений выше среднего во второй группе. Представим, что 5 - это условное референсное (нормальное) значение показателя. Тогда в первой группе чаще встречаются значения ниже нормы, во второй - выше нормы. Конечно, такой вывод может быть очень интересен для клиницистов! А если референсный диапазон значений был широким и включал все наблюдаемые значения? Тогда факт того, что в одной из групп чаще встречаются значения ниже 5, а в другой - выше 5, может не иметь существенного клинического значения. Все значения находятся в пределах нормы. И нас вполне может устроить вывод о том, что средний уровень показателя сопоставим. Главное, делая вывод о значимости/незначимости, хорошо где-то обозначить, о каких именно различиях идет речь. На какой вопрос получен этот ответ.

Почему важно понимать, на какой вопрос отвечает критерий? Если вы читали книгу или смотрели фильм «Автостопом по галактике», то, конечно, помните, какой универсальный ответ дал мегасуперкомпьютер Думатель на «основной вопрос о жизни, вселенной и вообще»: 42. Ответ-то есть. Но, к сожалению, без четко сформулированного вопроса он является бессмысленным, абстрактным. Мне кажется, этот сюжет отлично описывает ситуацию, когда исследователь, не задумываясь, применяет какой-то статистический метод к решению задачи. И получает универсальный ответ, например, различия статистически значимы. И этот ответ, хотя, конечно, существенно более земной и понятный, чем 42, но всё-таки требует конкретизации. Различия чего? Средних? Медиан? Дисперсий? К какому эффекту относится универсальное выражение p<0.05? Как звучит вопрос, на который мы получили этот ответ? Это была присказка. А мы продолжаем на удивление хайповую тему выбора статистических методов. Многое уже сказано, многое обсуждено. В серии постов я покажу еще несколько примеров, в которых разные критерии, применяемые к одним и тем же данным, ведут к противоположным результатам. Либо эти результаты могут выглядеть странными, неожиданными для читателя. И в таких случаях критически важно понимать, на какой вопрос мы ищем ответ, чтобы выбрать правильное решение и дать верную интерпретацию.

Выбираем статистический метод исходя из проверяемой гипотезы Данный подход состоит в том, что вначале исходя из решаемой задачи нужно определить проверяемую нулевую гипотезу. Нулевая гипотеза - это предположение об отсутствии эффекта (различий, связи, изменений и т.д.). В большинстве случаев мы желаем опровергнуть нулевую гипотезу с помощью p-значения. Если p окажется ниже уровня значимости (например, p<0.05), делаем вывод о наличии статистически значимого эффекта. ❗️Самое важное: каждый критерий проверяет совершенно определенную нулевую гипотезу. Например: 🔸t-тест Стьюдента проверяет, равны ли средние значения показателя в 2 независимых группах, 🔸тест Манна-Уитни (при соблюдении определенных условий) - равны ли в сравниваемых группах вероятности того, что случайно выбранное значение из одной популяции превышает случайно выбранное значение из другой популяции, 🔸коэффициент корреляции Пирсона проверяет гипотезу об отсутствии линейной связи… И так далее. Из этого следует несколько практических рекомендаций: 1️⃣ Критерии не являются взаимозаменяемыми при решении конкретной задачи. У каждого критерия - своя гипотеза. Например, если вы хотите доказать, что средний уровень показателя выше в одной группе, чем в другой - используйте t-тест Стьюдента. И пусть вас сильно не беспокоят выбросы или асимметрия данных. При проверке «своей» гипотезы критерии обычно устойчивы к особенностям распределения и дают предсказуемые результаты. «Чужие» гипотезы критерии иногда тоже переваривают, но ненадежно. Поэтому логично, что если мы будем проверять равенство средних значений с помощью теста Манна-Уитни - он с этой задачей будет справляться хуже, чем t-тест. В свою очередь, t-тест не подходит для проверки гипотезы, соответствующей тесту Манна-Уитни. 2️⃣ Замена одного критерия на другой означает замену проверяемой гипотезы, что противоречит современному подходу к выбору методов анализа клинических данных: 📌 сначала, на этапе планирования нужно сформулировать исследовательский вопрос и выбрать проверяемую гипотезу, 📌 только после этого выбираем критерий, подходящий для проверки этой гипотезы. Если в процессе анализа данных t-тест Стьюдента нам показался неподходящим, мы не можем просто так взять вместо него тест Манна-Уитни. Вначале следует изменить исследовательский вопрос, то есть по сути перепланировать исследование! 3️⃣ Такие допущения, как нормальность распределения или асимметрия, наличие выбросов - имеют значение! Но не на этапе анализа, а на этапе планирования исследования. Например, мы предполагаем, что наши данные будут включать слишком высокие или низкие значения - выбросы, которые, оказывают большое влияние на средний показатель. В таком случае мы можем сразу отказаться от сравнения средних. И запланировать сравнение вероятностей бОльших значений с помощью устойчивого к выбросам теста Манна-Уитни. А если выбросы важны для нас? Например, в обеих группах большинство пациентов имели нормальные значения уровня Hb, но в 1-й группе у нескольких пациентов отмечалась выраженная анемия, как побочное явление. Тогда тест Манна-Уитни может «не разглядеть» разницу, а вот t-тест сможет найти статистически значимое снижение среднего уровня Hb в 1-й группе. 4️⃣ Вывод о результатах применения критерия делается с учетом проверяемой им гипотезы. Например, вывод после сравнения уровня Hb с помощью t-теста Стьюдента может выглядеть так:

Средний уровень Hb в крови у пациентов основной группы был статистически значимо выше, чем в группе контроля.

Конечно, такой вывод будет некорректен, если использовался критерий Манна-Уитни, который не сравнивает средние значения. 5️⃣ В разделе «Материалы и методы» обосновываем выбор критериев проверяемой гипотезой или исследовательским вопросом, а не нормальностью или другими особенностями данных. Например, можно написать так:

Уровень Hb в крови был представлен средними значениями. Их различия оценивались с помощью t-теста Стьюдента.

Или:

Группы сравнивались по вероятности более высоких значений уровня Hb в одной из них, статистическая значимость различий оценивалась с помощью теста Бруннера-Мюнцеля.

😁

😁

Свершилось! На конференции «Белые ночи» в СПб встретились с коллегами, с которыми уже не первый год общаемся в наших статистических чатах в оффлайне! Было очень душевно, тепло и позитивно. И очень полезно! Обсудили множество разных вопросов, о чем-то подискутировали, о чем-то, как обычно, поспорили, но все очень по-доброму🤗 Конечно, нашей главной задачей было участие в секции, посвященной систематическим ошибкам. Один из вопросов, который сегодня обсуждался - насколько и в каком объеме нужны врачу знания о систематических ошибках в исследовании в частности и знания по статистике в целом. И это было не просто праздное обсуждение - ждите в обозримом будущем наши совместные активности для врачей, не занимающихся наукой, но желающих по-другому взглянуть на медицинские исследования. Всем коллегам большой привет, очень рад был нашей встрече, горжусь знакомством с вами!🤝

🎓 Для всех, кто хочет: 💡 разобраться с основными статистическими понятиями и алгоритмами, 💡 уверенно работать в статистической программе StatTech, 💡 самостоятельно обработать данные своего исследования и правильно интерпретировать полученные результаты, 💡 наконец-то дописать свою диссертацию или статью и быть готовым ответить на любые вопросы научрука и рецензентов, касающиеся статистики… …мы записали видеокурс по статистике и разместили его на платформе GetCourse! Программа курса включает 24 урока по следующим темам: 🔸 Правила оформления базы данных 🔸 Сбор данных с помощью опросов 🔸 Настройка и преобразование переменных в базе 🔸 Описательная статистика 🔸 Сравнение независимых групп 🔸 Сравнение связанных групп (анализ «до-после») 🔸 Корреляционный анализ 🔸 Парная линейная регрессия 🔸 Анализ выживаемости 🔸 Анализ временных рядов 🔸 Расчет объёма выборки Каждый урок состоит из видеозаписи длительностью примерно 10-20 минут. Одни уроки посвящены теоретическому разбору статистических понятий и методов, на других я демонстрирую, как выполнить тот или иной вид анализа в программе StatTech. В конце каждой темы можно выполнить тестовое задание. Всем успешно завершившим курс выдается именной сертификат (без баллов НМО). ❗️Важно: Этот курс можно проходить в своем режиме: доступ к курсу не ограничен по времени, а записи можно смотреть в любой последовательности. Ссылка на курс здесь, а также на главной странице программы Статтех. Желаем всем участникам приятного и полезного обучения!❤️

В качестве послесловия. Во-первых, если вы думаете, что я долго и с трудом искал все эти примеры, переработав невероятное число статей, то это не так. Наоборот, ошибки в описании материалов и методов, к сожалению, встречаются так часто, что взяв всего несколько статей из журнала не из первого квартиля, можно найти едва ли не все из них. Во-вторых, разные ошибки при описании материалов и методов часто «дружат» друг с другом, встречаясь одновременно в одной и той же статье. В-третьих, может показаться, что мы уделяем этим ошибкам избыточное внимание. В конце концов, это всего лишь «Материалы и методы»… Но если мы не можем понять, в какой программе авторы делали расчёты и насколько они владеют навыками статобработки, возникает недоверие ко всей научной работе в целом. Могу отметить, что практически во всех цитируемых работах мы также наблюдали грубые ошибки в главном разделе - результатах исследования. Так что это все связано и поэтому имеет большое значение. Если вам понравилась эта тема, оставьте реакцию или комментарий, мы будем благодарны! И позже сделаем ещё один пост - про ред флаги в разделе «Результаты».