صورت مسئله
تقریباً هر تحلیل واقعی شامل چند تصمیم معقول است: معیار حذف، تبدیل متغیر، نحوه کدگذاری، مجموعه covariateها، شکل تابعی، روش برخورد با داده گمشده و نوع estimator. اگر فقط یک مسیر گزارش شود، خواننده نمی‌داند نتیجه تحت گزینههای معقول دیگر چه تغییری می‌کند. تحلیل multiverse و specification curve چارچوب‌هایی برای نمایش سیستماتیک این فضای انتخاب‌اند؛ اما robustness check نباید به جست‌وجوی مدلی تبدیل شود که نتیجه دلخواه را حفظ کند.
1. مدل اصلی را قبل از robustness مشخص کن
یک تحلیل حساسیت خوب مکمل تحلیل اصلی است، نه جایگزین آن. سؤال، estimand، مدل یا رویه اصلی و دلیل انتخاب آن را مشخص کن. اگر همه مدل‌ها پس از دیدن داده هم‌رتبه شوند، مرز تحلیل تأییدی و اکتشافی کمرنگ می‌شود.
2. تصمیم‌های واقعاً قابل دفاع را فهرست کن
برای هر مرحله بنویس چه گزینههایی از نظر علمی معقول‌اند: تعریف متغیر، حذف observation، transformation، نوع مدل، covariateها، missing-data strategy و معیار خطای استاندارد. گزینه‌ای را فقط چون نتیجه مطلوب می‌دهد وارد فضای حساسیت نکن و گزینه نامطلوب اما معقول را حذف نکن.
3. فضای مشخصات را قبل از نتیجه محدود کن
همه ترکیب‌ها لزوماً معنی‌دار نیستند. بعضی تصمیم‌ها با هم ناسازگارند یا estimand متفاوتی می‌سازند. قواعد ترکیب را بنویس تا مجموعه تحلیل‌ها به فضای «معقول برای همان سؤال» محدود بماند. این مرحله جلوی تولید هزاران مدل بیمعنا را می‌گیرد.
4. به توزیع اندازه اثر نگاه کن، نه شمارش ستاره‌ها
نمایش اثر برآوردی، فاصله اطمینان، جهت و بزرگی نتیجه در مشخصات مختلف اطلاعات بیشتری از شمارش درصد p-valueهای زیر 0.05 می‌دهد. اگر علامت یا اندازه اثر با تصمیم‌های کوچک تغییر می‌کند، این شکنندگی باید بخشی از نتیجه باشد.
5. تصمیم‌های اثرگذار را شناسایی کن
اگر نتیجه فقط با یک تعریف متغیر، یک قاعده حذف یا یک مجموعه covariate تغییر می‌کند، همان تصمیم یک نقطه حساس علمی است. در متن توضیح بده چرا این گزینه‌ها اختلاف ایجاد میکنند و برای پژوهش بعدی چه اندازه‌گیری یا طراحی بهتری می‌تواند ابهام را کم کند.
6. robustness را به‌صورت درجه‌ای گزارش کن
به‌جای برچسب ساده «robust/غیرrobust»، دامنه تغییر اثر، جهت، عدم‌قطعیت و مشخصات مسئول تفاوت را گزارش کن. پایداری آماری در چند مدل نیز ضعف طراحی مشترک همه مدل‌ها را برطرف نمی‌کند؛ اگر همه بر یک متغیر بداندازه‌گیری‌شده تکیه دارند، نتیجه همچنان محدود است.
Multiverse analysis چیست؟
Steegen و همکاران multiverse analysis را برای اجرای تحلیل در مجموعه گزینههای معقول آماده‌سازی داده مطرح کردند تا حساسیت نتیجه به انتخاب‌های دل‌بخواهی آشکار شود. ایده اصلی این نیست که هر مدل ممکن را اجرا کنیم؛ بلکه انتخاب‌های واقعاً قابل دفاع را شفاف کنیم.
این رویکرد به‌ویژه زمانی ارزش دارد که چند روش معقول برای حذف، تبدیل یا کدگذاری داده وجود دارد و هیچ‌کدام به‌وضوح برتر نیست.
Specification curve چه چیزی اضافه می‌کند؟
Specification curve نتیجه مشخصات متعدد را به‌صورت منظم نمایش می‌دهد و مشخص می‌کند هر برآورد از چه ترکیب تصمیم‌هایی آمده است. این نمایش می‌تواند وابستگی ادعا به یک گوشه کوچک از فضای مشخصات را آشکار کند.
با این حال، اعتبار آن به تعریف صادقانه فضای مشخصات بستگی دارد. اگر فقط گزینههای مطلوب وارد شوند، نمودار پیچیده هم انتخابگری را درمان نمی‌کند.
robustness با replication یکی نیست
پایداری در برابر چند مدل روی همان داده نشان می‌دهد نتیجه نسبت به بعضی تصمیم‌های تحلیلی حساس نیست؛ اما خطای نمونه‌گیری، سوگیری انتخاب و مشکلات اندازه‌گیری مشترک باقی می‌مانند.
تکرار در نمونه یا مطالعه مستقل سؤال دیگری را پاسخ می‌دهد. بهترین شواهد زمانی شکل می‌گیرد که تحلیل اصلی شفاف، حساسیت‌ها منظم و replication مستقل نیز در صورت امکان وجود داشته باشد.
نقشه اجرایی
- تحلیل اصلی و estimand را پیش از robustness مشخص کن.
- فهرست تصمیم‌های تحلیلی معقول و گزینههای هرکدام را بنویس.
- ترکیبهای نامعتبر یا تغییر‌دهنده سؤال را حذف و دلیل آن را ثبت کن.
- تحلیل‌ها را خودکار اجرا و اثر، عدم‌قطعیت و ویژگی مشخصات را ذخیره کن.
- نمودار یا جدول پایداری بساز که اندازه اثر و تصمیم‌های کلیدی را نشان دهد.
- مشخصات مسئول تغییر نتیجه را جداگانه بررسی و تفسیر کن.
- نتیجه را به‌صورت درجه‌ای و همراه محدودیت‌های مشترک همه مدل‌ها گزارش کن.
خطاهای رایج
- اجرای چند مدل تا زمانی که یکی معنادار شود
- نامیدن انتخاب گزینشی مدل مطلوب به‌عنوان robustness check
- واردکردن مشخصات علمی نامعقول فقط برای زیادکردن تعداد مدل‌ها
- گزارش درصد p-valueهای معنادار بدون اندازه اثر و عدم‌قطعیت
- مخلوط‌کردن تحلیل‌هایی که estimand متفاوت دارند
- فرض اینکه پایداری روی یک dataset جای replication مستقل را می‌گیرد
چک‌لیست
پرسش‌های متداول
چند مدل برای robustness کافی است؟
عدد ثابت وجود ندارد. باید گزینههای معقول و اثرگذار برای همان سؤال را پوشش دهی. ده مدل بیمعنا بهتر از سه گزینه علمی مهم نیست.
اگر بعضی مشخصات معنادار و بعضی نامعنا باشند یعنی نتیجه رد شده؟
نه به این سادگی. دامنه اندازه اثر، جهت، فاصله اطمینان و اینکه اختلاف از کدام تصمیم ناشی می‌شود را بررسی کن. تغییر وضعیت p-value به‌تنهایی معیار پایداری کافی نیست.
آیا multiverse باید همه ترکیبهای ممکن را اجرا کند؟
فقط ترکیبهای علمی و سازگار با سؤال. گزینههایی که estimand را عوض میکنند یا از نظر منطقی ناسازگارند باید جدا شوند یا حذفشان مستند شود.
robustness check را میتوان بعد از نتیجه طراحی کرد؟
میتوان تحلیل حساسیت پسینی انجام داد، اما باید پسینیبودن آن را شفاف گفت. برای جلوگیری از انتخابگری، بهتر است بخشهای اصلی حساسیت از قبل برنامهریزی شوند.
منابع
- Steegen S, Tuerlinckx F, Gelman A, Vanpaemel W. Increasing Transparency Through a Multiverse Analysis. Perspectives on Psychological Science. 2016;11(5):702–712. doi:10.1177/1745691616658637.
- Simonsohn U, Simmons JP, Nelson LD. Specification curve analysis. Nature Human Behaviour. 2020;4:1208–1214. doi:10.1038/s41562-020-0912-z.