Всегда ли следует доверять результатам исследований?

òî÷êà çðåíèÿ

ÓÄÊ 617.7-76

Âñåãäà ëè ñëåäóåò äîâåðÿòü ðåçóëüòàòàì èññëåäîâàíèé? Àííîòàöèÿ Íà ðûíêå ïîñòîÿííî ïîÿâëÿåòñÿ íîâàÿ ïðîäóêöèÿ è íîâûå ìåòîäû ëå÷åíèÿ. Ïîÿâëåíèå íîâèíîê ñîïðîâîæäàåòñÿ ðåêëàìíûìè êàìïàíèÿìè, öåëü êîòîðûõ – óáåäèòü âðà÷åé â òîì, ÷òî ïðåäëàãàåìûé ïðîäóêò èëè ìåòîä ïðåâîñõîäèò èìåþùèåñÿ.  êà÷åñòâå ïîäòâåðæäåíèÿ ïðèâîäÿòñÿ äàííûå êëèíè÷åñêèõ èññëåäîâàíèé.  ïðåäëàãàåìîì ìàòåðèàëå àâòîð ïîêàçûâàåò, êàê ñëåäóåò èíòåðïðåòèðîâàòü èõ ðåçóëüòàòû.

Перевод: В. А. Давыдов Статья опубликована в журнале Optician (10.07.2009). Перевод печатается с разрешения редакции

40

Ñ Î ÂÐÅ ÌÅ ÍÍÀß ÎÏ ÒÎÌÅÒÐÈß

К

аждую неделю журнал Optician, как и другие издания, печатает рекламу, исследования, сообщения, отчеты о клинических испытаниях и статьи для дополнительного образования, которые призваны помочь врачам- офтальмологам и оптометристам быть в курсе последних событий в индустрии и науке. Цель всех этих публикаций – помогать специалистам чувствовать уверенность в том, что они предлагают своим пациентам наилучшие средства, выпущенные разными компаниями. Доказательством того, что определенный продукт или метод лечения превосходит другие, часто служат статистические данные. Однако знаний, которые офтальмологи и оптометристы получают во время обучения, недостаточно для того, чтобы разбираться в статистике. В этой статье мы рассмотрим основные термины, применяемые в медицинских статистических сообщениях, с их помощью специалисты смогут критически проанализировать те графики и данные, которые призваны убедить их в том, что новая продукция или метод лечения лучше имеющихся. В качестве примера мы приведем вымышленные данные клинических испытаний двух контактных линз А и B. Согласно данным исследования выходит, что линза А превосходит линзу B по трем основным параметрам. Во- первых, линза А вызывает меньшее прокрашивание роговицы, чем линза В (рис. 1). Во- вторых, линза

¹ 10 (äåê à á ð ü) 2 009

10 8 6 4 2 0

À

Â

Ëèíçà

Рис. 1. Прокрашивание роговицы (р = 0,25)

Îòíîñèòåëüíûé êîìôîðò

оптометрист, Институт оптометрии (Лондон, Великобритания)

10 9 8 7 6 5

À

Â

Ëèíçà

Рис. 2. Относительный комфорт (р = 0,04)

Ïàïèëëÿðíûé êîíúþíêòèâèò

Дж. Тикнер,

Ïðîêðàøèâàíèå

Ê ë þ ÷ å â û å ñ ë î â à: àáñîëþòíîå è îòíîñèòåëüíîå ñîêðàùåíèå ðèñêà, äîâåðèòåëüíûé èíòåðâàë, êëèíè÷åñêîå èñïûòàíèå, êîìôîðòíîñòü, ïàïèëëÿðíûé êîíúþíêòèâèò, ïðîêðàøèâàíèå ðîãîâèöû, ñòàòèñòèêà, ñòàòèñòè÷åñêàÿ çíà÷èìîñòü

5 4 3 2 1 0

À

Â

Ëèíçà

Рис. 3. Возникновение папиллярного конъюнктивита, индуцированного ношением контактных линз (р = 0,01)

Çíà÷åíèå ð è çíà÷èìîñòü Значение р дает нам информацию, позволяющую оценить вероятность того, что полученный результат случаен. В нашем вымышленном примере линза А вызывает меньшее прокрашивание роговицы, нежели линза B, как показано на рис. 1, предоставленном компанией- производителем. Там приведено значение р, благодаря которому становится ясно, что хотя линза А действительно вызывает меньшее прокрашивание роговицы, вероятность этого равняется 0,25, то есть одному шансу из четырех. С той же вероятностью при двукратном подбрасывании монеты оба раза выпадет решка, поэтому вряд ли будет благоразумным считать, что в действительности эти две линзы будут вызывать прокрашивание роговицы разных степеней, полученный результат не имеет статистической значимости. Вполне возможно, что кажущееся различие по степени прокрашивания между двумя этими линзами получилось случайно. Если бы значение р равнялось 1, мы бы могли точно сказать, что разница случайна, а если бы оно составляло 0, то мы были бы уверены, что она не случайная. Изложим суть проблемы: значение р никогда не равняется 0 или 1, оно всегда находится между ними, давая нам возможность оценить, насколько случаен или нет полученный результат. На самом деле нам нужно определиться, при каком значении мы можем рассматривать результат как статистически значимый? Традиционно считается, что он является таковым, если значение р меньше или равно 0,05. Тогда вероятность случайности результата составляет 1 : 20, делая ее маловероятной. Однако в действительности один шанс из 20 вполне реалистичен в некоторых случаях. Например, вы знаете, что паркинг, где вы обычно оставляете автомобиль, может обрушиться с вероятностью 1 к 20; скорее всего, вы попытаетесь припарковаться в другом месте, если, конечно, такое есть поблизости. Поэтому нужно учитывать, что, даже если результат является статистически значимым при значении р, равном или меньшем, чем 0,05, нам нужно учитывать контекст и соответствующим образом интерпре-

тировать результат. Небольшое снижение степени прокрашивания роговицы не столь важно по сравнению с обрушением паркинга.

Äîâåðèòåëüíûå èíòåðâàëû Даже если у нас есть данные, которые демонстрируют статистически значимый результат, важно помнить следующее: это всего лишь оценка того, что происходит на самом деле. Какими окажутся результаты, если повторить исследование? А что если провести его 10, 20 или целых 100 раз? Будем ли мы получать одни и те же результаты по степени прокрашивания роговицы или комфортности ношения контактной линзы каждый раз? Это довольно маловероятно. Поэтому на самом деле нам нужно знать, насколько хороша указанная оценка. В нашем распоряжении есть данные исследования с ограниченным числом участников. Насколько хороша наша оценка действительных отличий между линзами А и В? Ответ на этот вопрос можно получить, рассчитав доверительный интервал. Он позволяет нам определить границы множества значений, к которому принадлежит истинное значение. Если мы повторим исследование 100 раз, в конце концов мы получим интервал значений из всех повторений исследования, который мы можем представить так, как на рис. 4. Теперь нас волнует вопрос: что есть истинное значение? Мы видим, что в 50 % исследований результат находится между значениями 7,0 и 8,0, в 25 % случаев он ниже 7,0 и выше 8,0. Традиционно мы учитываем доверительный интервал, который охватывает 95 % значений, в нашем случае данный параметр составляет 6,0–9,0. На самом деле мы пользуемся доверительным интервалом практически ежедневно в нашей работе, считая, что 95 % населения имеют внутриглазное давление, меньшее либо равное 21 мм рт. ст., это дает нам основания считать, что значения выше 21 мм рт. ст. не являются нормальными. Если мы посмотрим на данные, которые оценивают комфортность ношения линзы А по сравнению с линзой В, то увидим, что первая имеет средний рейтинг комфортности 8,2, а вторая – толь-

Äîëÿ ðåçóëüòàòîâ â îáùåì ìàññèâå äàííûõ, %

А более комфортна, чем линза B (рис. 2), и, в- третьих, первая реже вызывает развитие папиллярного конъюнктивита, чем вторая (рис. 3). Поэтому на первый взгляд линза А действительно превосходит линзу В, так как первая вызывает меньшее прокрашивание роговицы и более комфортна, при ее использовании реже развивается папиллярный конъюнктивит. Однако если рассмотреть данные статистики и теорию вероятности, то это утверждение окажется не совсем корректным. Поэтому всегда нужно внимательно изучать данные, чтобы понять и интерпретировать их правильным образом.

50

22,5

22,5

2,5

2,5 6

7

8 9 Ñòåïåíü êîìôîðòíîñòè

Рис. 4. Данные 100 исследований комфортности ¹ 10 ( ä å êàáð ü) 2 009

Ñ ÎÂÐ Å ÌÅ ÍÍÀß ÎÏÒ ÎÌ ÅÒ Ð È ß

41

Äîëÿ ðåçóëüòàòîâ â îáùåì ìàññèâå äàííûõ

Âñåãäà ëè ñëåäóåò äîâåðÿòü ðåçóëüòàòàì èññëåäîâàíèé?

1

5,6

6,7

2

7,2 7,7 8,2 9,1 Ñòåïåíü êîìôîðòíîñòè

Рис. 5. Рейтинги комфортности линз А и В, составленные на основании 100 исследований: 1 – линза B; 2 – линза A

ко 6,7 (рис. 5). Мы видим, что результат является статистически значимым, если значение р равно 0,04, и, соответственно, он вряд ли случаен. Случайно данный показатель был бы получен 4 раза из 100, однако он по-прежнему является лишь оценкой различия по комфортности между линзами A и B. В нашем примере 95 %-й доверительный интервал составляет 7,2–9,1 для линзы А и 5,6–7,7 для линзы В. Это означает, что из данного исследования мы вывели рейтинг комфортности для линз А и В как равный 8,2 и 6,7 соответственно, и в 95 % случаев повторения данного эксперимента мы получим рейтинг комфортности линзы А лежащим между 7,2 и 9,1, а рейтинг комфортности линзы В лежащим между значениями 5,6 и 7,7. Иногда данная информация подается как следующее утверждение: мы на 95 % уверены, что истинный результат находится между двумя этими значениями. Но это не совсем точно, поскольку доверительный интервал показывает, что мы на 100 % уверены, что в 95 случаях из 100 результат будет находиться между двумя указанными значениями, и это совсем не то же самое. Есть ли различие в том, насколько комфортны линзы А и В? С учетом полученных данных мы знаем, что в 95 % случаев рейтинг комфортности линзы А будет находиться между 7,2 и 9,1, а линзы В – между 5,6 и 7,7. Поскольку эти множества значений имеют пересечение в интервале между 7,2 и 7,7, нам придется признать, что мы не можем с уверенностью сказать, отличаются ли друг от друга эти линзы по комфортности ношения, опираясь на значение предела 95 %. Если повторить эксперимент 100 раз, в 95 % случаев рейтинг комфортности линзы А будет находиться между 7,2 и 9,1, а линзы В – между 5,6 и 7,7. Поскольку эти множества значений пересекаются в интервале между 7,2 и 7,7, нужно признать, что мы не установили различие между этими линзами по комфортности или по крайней мере наличие такового не подтверждается полученными данными.

Îòíîñèòåëüíûé è àáñîëþòíûé ðèñêè После того как установлено, что на самом деле различие между линзами А и B по степени прокрашивания роговицы и комфортности ношения 42

Ñ Î ÂÐÅ ÌÅ ÍÍÀß ÎÏ ÒÎÌÅÒÐÈß

¹ 10 (äåê à á ð ü) 2 009

очень незначительное, мы обратимся к вопросу безопасности этих линз. Ведь у нас есть данные, которые свидетельствуют о том, что линза А реже вызывает папиллярный конъюнктивит, нежели линза В. Папиллярный конъюнктивит развивается у 2,6 % пользователей, носящих линзу А, и у 3,9 % тех, кто применяет линзу В. Если внимательнее посмотреть на данные исследования, то мы увидим, что значение р равно 0,01, для линзы А 95 %- й доверительный интервал составляет 2,1–3,1, а для линзы В – 3,3–4,5. Случайно такой результат может получиться только один раз из ста, и доверительные интервалы не пересекаются между собой. Поэтому мы должны признать, что на самом деле папиллярный конъюнктивит встречается у пользователей линзы А реже, чем у тех, кто предпочитает линзу В. Если мы будем подбирать только линзу А, то увидим, что статистика папиллярного конъюнктивита снизилась с 3,9 до 2,6 %, произошло уменьшение на 1,3 % (абсолютное сокращение) или на одну треть (относительное сокращение). Снижение на одну треть называют относительным сокращением риска. Мы увидели, что первоначальный показатель 3,9 % потом снизился до 2,6 % благодаря применению линзы А. Абсолютное сокращение риска составило 1,3 %, а относительное сокращение риска – одну треть или 33,0 %. Нужно срочно начинать использовать линзу А, чтобы сократить на 33,0 % число случаев папиллярного конъюнктивита. Не так ли? Для ответа на этот вопрос нам нужно учитывать не относительное, а абсолютное сокращение риска. Судя по данным, если 100 человек носят линзы А, у 2,6 % из них разовьется папиллярный конъюнктивит, а если эти же 100 человек используют линзу B, то он возникнет у 3,9 % носителей. Если мы переведем последних на ношение линзы А, то предупредим развитие папиллярного конъюнктивита у 1,3 % пациентов, что выглядит не столь значимо, как 33,0 %. На самом деле нам нужно знать, сколько человек необходимо перевести на ношение линзы А, чтобы предотвратить один случай папиллярного конъюнктивита. Это число известно как количество больных, которых необходимо пролечить (Number Needed to Treat), оно рассчитывается как частное от деления единицы на значение абсолютного сокращения риска и в нашем случае составляет 76,9 (95 %- й доверительный интервал 41,66–500,00). Поэтому, несмотря на солидные 33,0 % относительного сокращения риска, для предотвращения одного случая развития папиллярного конъюнктивита нам нужно перевести на линзу А 76,9 пациентов, и это уверенность на 95 %. С уверенностью на 100 % мы можем сказать, что для предотвращения одного случая развития папиллярного конъюнктивита нам необходимо перевести на линзу А от 41,66 до 500,00 человек. Несомненно, пациент, у которого не развился папилляр-

Çàâèñèìîñòü ðåçóëüòàòîâ èññëåäîâàíèÿ îò ÷èñëà ó÷àñòíèêîâ Количество исследований

пациентов

Опытная группа

Контрольная группа

Относительный риск (95 %- й доверительный интервал)

Все

44

2,256

16,0

17,6

0,8 (0,9–1,4)

Более масштабное (свыше 40 чел. в группе)

11

1,190

19,5

17,8

1,1 (0,9–1,4)

Более скромное (менее 40 чел. в группе)

33

1,066

12,0

17,3

0,7 (0,53–0,94)

Исследование

Летальный исход, %

ный конъюнктивит, будет нам благодарен, однако остальные люди, а их окажется от 40,66 до 499,00 человек, вряд ли будут обрадованы тем, что их перевели на другие линзы ради помощи одному пользователю. Более того, проблема заключается в том, что имя того, кому мы помогли, нам никогда не станет известно. Как мы видим, на первый взгляд данные показывали превосходство линзы А над линзой В, а на самом деле оказывается совсем не так, поскольку их интерпретация требует определенных навыков и знаний. Погрешности могут быть уменьшены путем увеличения числа участников эксперимента, но они возможны даже в масштабных исследованиях. В 1994 году Каунселл (Counsell) и соавторы [1] опубликовали данные клинического исследования вымышленного нового «лекарства» для профилактики инсульта. На самом деле вся терапия заключалась в бросании игровых костей, в случае выпадения цифры 6 фиксировалась смерть пациента, в остальных случаях – выздоровление. Процедура повторялась в контрольной группе, численность участников в группах варьировала от 5 до 100 пациентов. Поскольку смерть фиксировалась при выпадении цифры 6, ожидаемый уровень смертности составлял 1/6 или 16,67 %, но, как показано в таблице, это справедливо только для масштабных исследований. В группах менее 40 пациентов были показаны действительная полезность данного нового метода лечения для профилактики смертности, относительное сокращение риска, равное 0,7 (95 %- й доверительный интервал 0,53–0,94), и число пациентов, которых нужно пролечить, – 19 (95 %-й доверительный

интервал 11,00–98,00). Бросить кости и не получить цифру 6 – это, оказывается, довольно хороший способ не умереть от инсульта, судя по экспериментам с численностью участников менее 40 человек. Для того чтобы офтальмолог и оптометрист смогли понять истинные значения тех или иных показателей, полученные опытным путем, необходимо узнать и проанализировать значения р, доверительные интервалы и с осторожностью интерпретировать относительные и абсолютные риски. Нужно учитывать и число участников исследования. В хороших исследованиях обычно описан расчет числа участников, необходимого для сокращения величины погрешности. В частности, с осторожностью нужно относиться к данным экспериментов, в которых приняли участие менее 40 человек, не указаны значение р, доверительные интервалы и сообщается о больших относительных сокращениях риска. Истинные значения всегда несколько скромнее, чем заявляемые и рекламируемые.

Ñïèñîê ëèòåðàòóðû 1. Carl E Counsell, et al. The miracle of DICE therapy for acute stroke: fact or fictional product of subgroup analysis? BMJ, Dec 1994; 309: 1677–1681. Дополнительная литература для чтения M Harris and G Taylor Martin Dunitz. Medical statistics made easy, 2004.

Andrew Moore and Henry McQuay. Bandolier’s little book of making sense of the medical evidence Oxford University Press 2006 http://www.medicine.ox.ac.uk/bandolier.

Ben Goldacre. Bad Science. Harper Collins 2009 http://www. badscience.net.

Can we trust it? An optometrist’s guide to interpreting data The purpose of this article is to explain some of the common terms used in medical statistics to enable practitioners to begin to critically appraise the evidence that is put before them, so that they are better able to decide whether a new product or treatment really is better than the old treatment or not. Äæîí Òèêíåð (John Tickner), îïòîìåòðèñò, Èíñòèòóò îïòîìåòðèè (Ëîíäîí, Âåëèêîáðèòàíèÿ) Howie & Tickner Optometrists Highcliffe 6 Highcliffe Corner, Lymington Road, Highcliffe, Christchurch Dorset BH23 5EL Tel.: +44 (0) 1425 272382 E- mail: enquiries@howieandtickner.co.uk

¹ 10 ( ä å êàáð ü) 2 009

Ñ ÎÂÐ Å ÌÅ ÍÍÀß ÎÏÒ ÎÌ ÅÒ Ð È ß

43