صورت مسئله
مسئله چندگانگی زمانی پدید می‌آید که از یک مجموعه داده برای مجموعه‌ای از آزمون‌های مرتبط تصمیم‌های استنباطی می‌گیریم. اگر هر آزمون بدون توجه به خانواده آزمونها تفسیر شود، تعداد فرصت‌های خطای مثبت کاذب بالا می‌رود. اما تمام آزمون‌های یک پایاننامه الزاماً یک «خانواده» واحد نیستند؛ خانواده باید با پرسش، پیامدهای اصلی و نوع ادعایی که قرار است از نتایج ساخته شود تعریف شود.
1. اول خانواده فرضیه‌ها را تعریف کن
مشخص کن کدام آزمونها به یک ادعای مشترک پاسخ می‌دهند. برای مثال چند پیامد اصلی یک مداخله ممکن است یک خانواده باشند، در حالی که یک تحلیل تشخیصی یا اکتشافی هدف متفاوتی دارد. تعریف خانواده پس از دیدن نتایج خطر انتخاب‌گری را بالا می‌برد؛ بهتر است منطق آن در طرح تحلیل نوشته شود.
2. بدان می‌خواهی کدام نوع خطا را کنترل کنی
کنترل FWER بر احتمال وقوع دست‌کم یک رد کاذب در خانواده تمرکز دارد و برای موقعیت‌هایی که حتی یک مثبت کاذب هزینه بالایی دارد محافظه‌کارانه‌تر است. FDR بر سهم مورد انتظار کشفیات کاذب میان فرضیه‌های ردشده تمرکز می‌کند و در مجموعه‌های بزرگ اکتشافی معمولاً توان بیشتری حفظ می‌کند.
3. Bonferroni را به‌عنوان قاعده ساده، نه نسخه همیشگی ببین
Bonferroni آستانه تصمیم را بر تعداد آزمون‌های خانواده تقسیم می‌کند و به وابستگی پیچیده میان آزمونها حساسیت کمتری از نظر اعتبار کنترل FWER دارد، اما میتواند توان را کاهش دهد. روشهای مرحله‌ای مانند Holm اغلب با همان هدف FWER کاراترند. انتخاب روش باید پیش از نتیجه و متناسب با هزینه خطا باشد.
4. برای FDR، روش Benjamini–Hochberg را درست تفسیر کن
روش Benjamini–Hochberg آزمونها را بر اساس p-value مرتب می‌کند و برای کنترل FDR طراحی شده است. مقاله اصلی کنترل را تحت استقلال نشان می‌دهد و ادبیات بعدی شرایط وابستگی را گسترش داده است. بنابراین صرف اجرای یک گزینه نرمافزار بدون بررسی فرض‌ها و ساختار وابستگی کافی نیست.
5. اثر و عدم‌قطعیت را کنار p-value گزارش کن
تصحیح چندگانگی نمی‌گوید اثر مهم یا بزرگ است. برای هر نتیجه اصلی، اندازه اثر و فاصله اطمینان متناسب را گزارش کن و تفاوت میان p-value خام و مقدار تعدیلشده را روشن نگه دار. از عبارت «غیرمعنادار پس یعنی هیچ اثری وجود ندارد» نیز پرهیز کن.
6. تحلیل تأییدی و اکتشافی را از هم جدا کن
اگر تعداد زیادی آزمون برای کشف الگو انجام می‌دهی، برچسب اکتشافی و کنترل FDR میتواند متناسب باشد. برای فرضیه‌های اصلی از پیش مشخص‌شده ممکن است FWER یا راهبرد سلسله‌مراتبی مناسبتر باشد. مسئله اصلی این است که خواننده بداند کدام تصمیم از قبل تعریف شده و کدام پس از مشاهده داده شکل گرفته است.
چرا تعداد آزمونها بهتنهایی تعیین‌کننده نیست؟
دو پژوهش هر دو ممکن است ۲۰ آزمون داشته باشند، اما ساختار تصمیم آن‌ها متفاوت باشد. در یکی فقط یک پیامد اصلی و ۱۹ تحلیل حساسیت وجود دارد؛ در دیگری ۲۰ پیامد هم‌رتبه برای یک ادعای واحد. تصحیح باید ساختار ادعاها را دنبال کند، نه صرفاً شمارش خروجی نرمافزار.
تعریف خانواده را مستند کن: چه آزمون‌هایی داخل آن‌اند، چرا، و کدام‌ها جداگانه اکتشافی یا ثانویه‌اند. این شفافیت از «تصحیح گزینشی» بعد از دیدن نتیجه جلوگیری می‌کند.
FDR یعنی چند درصد نتایج من حتماً غلط‌اند؟
خیر. FDR یک معیار بلندمدت/امیدریاضی برای نسبت کشفیات کاذب میان ردها تحت رویه مشخص است؛ عدد حاصل تضمین نمیکند در یک مجموعه خاص دقیقاً همان درصد نتایج غلط باشد.
به همین دلیل در گزارش عمومی بهتر است به‌جای تعبیر احتمالاتی درباره درست‌بودن هر فرضیه، بگویی رویه برای کنترل FDR در سطح تعیین‌شده استفاده شده و سپس اندازه اثر و عدم‌قطعیت هر نتیجه را جداگانه نشان بدهی.
p-value تعدیلشده جای استدلال علمی را نمی‌گیرد
حتی با کنترل چندگانگی، نتیجه میتواند از طراحی ضعیف، اندازه‌گیری نامعتبر، انتخاب نمونه یا مدل نامناسب آسیب ببیند. تصحیح چندگانگی فقط یک بخش از زنجیره اعتبار است.
گزارش خوب شامل سؤال، خانواده آزمونها، روش کنترل خطا، تعداد آزمونها، نتایج خام و تعدیلشده در صورت نیاز، اندازه اثر و محدودیت‌های تحلیل است.
نقشه اجرایی
- فرضیه‌های اصلی، ثانویه و اکتشافی را پیش از تحلیل دسته‌بندی کن.
- برای هر خانواده آزمون، هزینه مثبت کاذب و هدف استنباطی را مشخص کن.
- در تحلیل تأییدی تصمیم بگیر FWER، FDR یا راهبرد سلسله‌مراتبی مناسبتر است.
- روش تعدیل و سطح هدف را در طرح تحلیل ثبت کن.
- p-value خام، مقدار تعدیلشده و اندازه اثر را با برچسب روشن نگه دار.
- تفسیر را بر اندازه اثر، عدم‌قطعیت و طراحی پژوهش بنا کن؛ نه فقط عبور از آستانه.
خطاهای رایج
- تصحیح تمام خروجی‌های پایاننامه به‌عنوان یک خانواده واحد بدون منطق علمی
- تعریف خانواده پس از مشاهده نتایج
- استفاده از Bonferroni صرفاً چون در نرمافزار آشناست
- تعبیر FDR به‌عنوان احتمال غلط‌بودن هر نتیجه منفرد
- گزارش فقط p-value تعدیلشده بدون اندازه اثر و فاصله اطمینان
- پنهان‌کردن تعداد آزمون‌های انجام‌شده یا تحلیلهای اکتشافی
چک‌لیست
پرسش‌های متداول
Bonferroni همیشه امنترین انتخاب است؟
برای کنترل FWER ساده و محافظهکارانه است، اما ممکن است توان را کم کند و همیشه با هدف پژوهش همخوان نباشد. روشهای دیگری مانند Holm یا رویکرد FDR بسته به هدف میتوانند مناسبتر باشند.
FDR برای پایاننامه ممنوع یا ضعیفتر است؟
خیر. FDR معیار خطای متفاوتی است و در تحلیلهای با تعداد زیاد فرضیه، بهویژه اکتشافی، میتواند انتخاب اصولی باشد. باید علت انتخاب و شرایط روش روشن گزارش شود.
اگر فقط سه فرضیه اصلی دارم باید حتماً تصحیح کنم؟
پاسخ به ساختار ادعا، وابستگی آزمونها و برنامه تحلیل بستگی دارد. تعداد کم بهتنهایی مسئله را حل نمیکند؛ منطق خانواده و هزینه خطای مثبت کاذب را توضیح بده.
آیا p-value تعدیلشده همان q-value است؟
نه همیشه. بعضی نرمافزارها p-value تعدیلشده روش Benjamini–Hochberg را برمیگردانند، اما q-value مفهوم و برآورد مشخص خود را دارد. نام خروجی نرمافزار را دقیق گزارش کن.
منابع
- Benjamini Y, Hochberg Y. Controlling the False Discovery Rate: A Practical and Powerful Approach to Multiple Testing. Journal of the Royal Statistical Society: Series B (Methodological). 1995;57(1):289–300. doi:10.1111/j.2517-6161.1995.tb02031.x.
- Wasserstein RL, Lazar NA. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129–133. doi:10.1080/00031305.2016.1154108.