صورت مسئله
در بسیاری از فصل‌های چهارم، نتیجه به دو برچسب «معنادار» و «غیرمعنادار» تقلیل پیدا میکند. این کار اطلاعات اصلی را پنهان میکند: اثر چقدر بزرگ است، برآورد چقدر دقیق است و آیا دامنهای از اندازه‌های علمی مهم هنوز با داده سازگار است؟ بیانیه انجمن آمار آمریکا در ۲۰۱۶ تأکید میکند تصمیم علمی نباید فقط به عبور p-value از یک آستانه وابسته باشد و p-value اندازه اثر یا اهمیت نتیجه را اندازه نمی‌گیرد.
1. پارامتر علمی موردنظر را قبل از آزمون مشخص کن
بپرس چه چیزی را می‌خواهی برآورد کنی: تفاوت میانگین، نسبت خطر، ضریب رگرسیون، همبستگی یا شاخص دیگر؟ اندازه اثر باید با سؤال و مقیاس داده متناسب باشد. اگر واحد اصلی معنای عملی روشنی دارد، اندازه اثر خام اغلب مستقیم‌تر از شاخص استانداردشده تفسیر می‌شود.
2. برآورد نقطه‌ای را همراه عدمقطعیت گزارش کن
یک عدد منفرد درباره دقت خودش چیزی نمی‌گوید. فاصله اطمینان یا روش مناسب دیگر برای نمایش عدمقطعیت کمک میکند دامنه مقادیر سازگارتر با داده و مدل را ببینی. در تفسیر فراوانی‌گرا، فاصله اطمینان ۹۵ درصد به معنی «۹۵ درصد احتمال دارد پارامتر ثابت داخل همین فاصله باشد» نیست.
3. p-value را احتمال درست‌بودن فرض صفر ترجمه نکن
p-value تحت یک مدل مشخص، ناسازگاری آماره مشاهده‌شده با آن مدل را خلاصه میکند. این عدد احتمال درست یا غلط بودن فرضیه پژوهش و نیز احتمال اینکه نتیجه صرفاً تصادفی باشد نیست. تفسیر باید مفروضات آزمون، طراحی، کیفیت اندازه‌گیری و تحلیل‌های انجام‌شده را در نظر بگیرد.
4. معناداری آماری را از اهمیت علمی جدا کن
با نمونه بزرگ، اثر کوچک می‌تواند p-value کوچکی ایجاد کند؛ با نمونه کوچک یا داده پرنوسان، اثر بالقوه مهم ممکن است عدمقطعیت زیادی داشته باشد. توضیح بده چه اندازه‌هایی در حوزه پژوهش مهم‌اند و نتیجه را با آن معیارها مقایسه کن، نه فقط با آستانه ۰٫۰۵.
5. اندازه اثر استانداردشده را بدون زمینه تفسیر نکن
شاخص‌هایی مثل Cohen's d یا همبستگی برای مقایسه و متاآنالیز مفیدند، اما برچسب‌های کلی کوچک، متوسط و بزرگ جای دانش حوزه را نمی‌گیرند. مقدار استانداردشده به پراکندگی نمونه و طراحی نیز وابسته است. اگر ممکن است اندازه خام را نیز گزارش کن.
6. نتیجه را به صورت برآورد، عدمقطعیت و زمینه بنویس
به‌جای «فرضیه تأیید شد چون p<0.05»، بنویس چه مقدار برآورد شد، فاصله اطمینان چه دامنهای دارد، p-value در صورت نیاز چیست و این اندازه در زمینه سؤال چه معنایی دارد. اگر فاصله هم اثرهای مهم و هم اثرهای ناچیز را پوشش میدهد، عدمقطعیت را صریح نگه دار.
فاصله اطمینان چه چیزی به گزارش اضافه میکند؟
دو مطالعه می‌توانند برآورد نقطه‌ای مشابه ولی دقت بسیار متفاوت داشته باشند. فاصله باریک‌تر معمولاً تحت مدل و طراحی مشخص نشان‌دهنده دقت بیشتر است و فاصله گسترده‌تر نشان میدهد داده هنوز با دامنه بزرگ‌تری از اندازه‌های اثر سازگار است.
فقط به این نگاه نکن که فاصله صفر را شامل می‌شود یا نه؛ این کار همان منطق دوگانه معناداری را با شکل دیگری بازتولید میکند. دامنه کامل فاصله را نسبت به مقادیر علمی مهم بررسی کن.
اندازه اثر خام و استانداردشده چه زمانی مفیدند؟
اگر اختلاف پنج واحد در مقیاس اصلی برای متخصص حوزه معنی دارد، همین اختلاف با فاصله اطمینان معمولاً تفسیر مستقیم‌تری دارد. استانداردسازی زمانی مفید است که واحدها متفاوت‌اند یا مقایسه میان مطالعات مطرح است.
استانداردسازی هزینه تفسیری دارد. تغییر پراکندگی نمونه می‌تواند شاخص استانداردشده را تغییر دهد حتی اگر اختلاف خام ثابت باشد. بنابراین برآورد خام و استانداردشده را بر اساس هدف علمی انتخاب کن.
نتیجه غیرمعنادار را چگونه بنویسیم؟
p-value بزرگ اثبات نمی‌کند هیچ اثری وجود ندارد. ممکن است داده با طیفی از اثرهای مثبت، صفر یا منفی سازگار باشد. برآورد و فاصله اطمینان نشان می‌دهند چه اندازه‌هایی هنوز محتمل‌تر با داده سازگارند.
اگر سؤال واقعاً درباره هم‌ارزی یا بی‌اهمیتی عملی است، طراحی و روش تحلیل باید برای همان سؤال مناسب باشد. آزمون معمول فرض صفر بهتنهایی ابزار اثبات هم‌ارزی نیست.
نقشه اجرایی
- برای هر سؤال کمی پارامتر اصلی و واحد تفسیر را بنویس.
- برآورد نقطه‌ای و فاصله اطمینان را کنار p-value نگه دار.
- معیار اهمیت علمی را از ادبیات یا منطق حوزه مشخص کن.
- در صورت استفاده از اثر استانداردشده، اندازه خام را نیز تا حد امکان حفظ کن.
- برای نتایج غیرمعنادار دامنه مقادیر سازگار با داده را بررسی کن.
- تحلیل‌ها را از نظر چندگانگی و انتخاب گزینشی نتایج بازبینی کن.
خطاهای رایج
- نوشتن اینکه p-value احتمال درست‌بودن فرض صفر است
- معادل‌گرفتن p<0.05 با اثر مهم
- گزارش اندازه اثر بدون شاخص عدمقطعیت
- استفاده مکانیکی از برچسب‌های کوچک/متوسط/بزرگ
- تفسیر نادرست فاصله اطمینان فراوانی‌گرا به‌عنوان احتمال مستقیم پارامتر
- انتخاب فقط تحلیل‌هایی که نتیجه مطلوب دارند
چک‌لیست
پرسش‌های متداول
اگر p<0.001 باشد یعنی اثر خیلی بزرگ است؟
خیر. p-value با حجم نمونه، دقت و اندازه اثر تغییر میکند و بهتنهایی بزرگی اثر را نشان نمیدهد. اندازه اثر و عدمقطعیت آن را گزارش کن.
آیا فاصله اطمینان جای p-value را میگیرد؟
فاصله اطمینان اطلاعات مهمی درباره برآورد و دقت میدهد، اما آن هم به مدل و مفروضات وابسته است. بهتر است استنباط را به یک شاخص واحد تقلیل ندهیم.
کدام اندازه اثر را گزارش کنم؟
به طراحی، نوع متغیر و سؤال بستگی دارد. تفاوت میانگین، نسبتها، ضرایب رگرسیون، همبستگی و شاخصهای استانداردشده هرکدام کاربرد خاص دارند.
برای نتیجه غیرمعنادار چه بنویسم؟
برآورد و فاصله اطمینان را گزارش کن و توضیح بده داده با چه دامنهای از اثرها سازگار است؛ از تبدیل شواهد ناکافی به اثبات نبود اثر پرهیز کن.
منابع
- Wasserstein RL, Lazar NA. The ASA Statement on p-Values: Context, Process, and Purpose. The American Statistician. 2016;70(2):129–133. doi:10.1080/00031305.2016.1154108.
- Greenland S, Senn SJ, Rothman KJ, et al. Statistical tests, P values, confidence intervals, and power: a guide to misinterpretations. European Journal of Epidemiology. 2016;31:337–350. doi:10.1007/s10654-016-0149-3.
- Cumming G. The New Statistics: Why and How. Psychological Science. 2014;25(1):7–29. doi:10.1177/0956797613504966.