صورت مسئله
وقتی پیش‌بین و پیامد با یک پرسشنامه، از یک پاسخ‌دهنده و در یک زمان سنجیده می‌شوند، بخشی از رابطه ممکن است از روش اندازهگیری مشترک بیاید؛ یک آزمون تک‌عاملی به‌تنهایی این مسئله را حل نمی‌کند. در عمل، خطای رایج این است که پژوهشگر یک قاعده یا خروجی نرمافزار را به‌جای منطق طراحی می‌نشاند. این میان‌بُر ممکن است عدد یا جدول مرتب تولید کند، اما اگر مفروضات، ترتیب تصمیم‌ها و مرز تعمیم روشن نباشد، نتیجه در جلسه دفاع یا داوری آسیب‌پذیر می‌شود. برای موضوع «سوگیری روش مشترک پرسشنامه» بهتر است از سؤال پژوهش شروع شود، سپس انتخاب روش به‌صورت قابل ردیابی مستند و در پایان اثر تصمیم‌های حساس بررسی شود.
1. مشخص کن کدام سازه‌ها از یک منبع، زمان و قالب پاسخ مشترک سنجیده می‌شوند
مشخص کن کدام سازه‌ها از یک منبع، زمان و قالب پاسخ مشترک سنجیده می‌شوند. این تصمیم را پیش از تفسیر نتیجه ثبت کن تا مرز تحلیل از پیش تعیین‌شده و تحلیل پسینی روشن بماند.
2. گام 2: تصمیم روش‌شناختی را روشن کن
تا حد ممکن جداسازی زمانی/روانی، ناشناس‌بودن و طراحی روشن آیتم‌ها را در خود پژوهش اعمال کن. در گزارش نهایی دلیل انتخاب، داده یا شواهد پشتیبان و اثر این تصمیم بر تفسیر نتیجه را کوتاه و صریح بنویس.
3. آیتم‌های مبهم، دوپهلو و قضاوت‌برانگیز را با پیش‌آزمون کاهش بده
آیتم‌های مبهم، دوپهلو و قضاوت‌برانگیز را با پیش‌آزمون کاهش بده. اگر چند گزینه علمی معقول وجود دارد، گزینه اصلی را مشخص و گزینه‌های جایگزین را در تحلیل حساسیت یا بخش محدودیت‌ها بررسی کن.
4. گام 4: تصمیم روش‌شناختی را روشن کن
Harman test را فقط بررسی اولیه بدان و نبود یک عامل غالب را اثبات نبود CMB معرفی نکن. خروجی نرمافزار جای منطق روش‌شناختی را نمی‌گیرد؛ هر انتخاب باید با سؤال پژوهش و طراحی مطالعه سازگار باشد.
5. گام 5: تصمیم روش‌شناختی را روشن کن
در صورت تناسب مدل، marker variable یا latent method factor را با فرض‌ها و محدودیت‌هایش بررسی کن. هدف این است که خواننده بتواند مسیر تصمیم را بازسازی کند و بداند نتیجه دقیقاً تحت چه مفروضاتی به دست آمده است.
چطور این تصمیم را در پایان‌نامه یا مقاله گزارش کنیم؟
در بخش روش، فقط نام تکنیک مربوط به «سوگیری روش مشترک پرسشنامه» را ننویس. داده ورودی، پیش‌فرض‌های مهم، معیار تصمیم و نسخه یا رویه تحلیل را به‌اندازه‌ای توضیح بده که پژوهشگر دیگری بتواند منطق کار را بازسازی کند.
در بخش نتایج، برآورد اصلی را همراه با عدم‌قطعیت و شاخص‌های تشخیصی مرتبط گزارش کن. در بحث نیز مشخص کن کدام نتیجه پایدار است و کدام بخش به فرض یا تصمیم تحلیلی خاص وابسته مانده است.
تحلیل حساسیت و کنترل کیفیت چه کمکی می‌کند؟
وقتی بیش از یک انتخاب علمی معقول وجود دارد، اجرای سناریوی جایگزین می‌تواند نشان دهد نتیجه تا چه حد به یک تصمیم خاص وابسته است. تحلیل حساسیت نباید به جست‌وجوی نتیجه مطلوب تبدیل شود؛ گزینه‌ها باید پیش از دیدن نتیجه یا با توجیه علمی روشن تعریف شوند.
یک جدول کوتاه از تصمیم اصلی، گزینه جایگزین و اثر آن بر نتیجه، اغلب برای دفاع بسیار ارزشمند است. اگر نتیجه تغییر جدی می‌کند، این شکنندگی را پنهان نکن و دامنه ادعا را متناسب با آن محدود کن.
نقشه اجرایی
- مشخص کن کدام سازه‌ها از یک منبع، زمان و قالب پاسخ مشترک سنجیده می‌شوند.
- تا حد ممکن جداسازی زمانی/روانی، ناشناس‌بودن و طراحی روشن آیتم‌ها را در خود پژوهش اعمال کن.
- آیتم‌های مبهم، دوپهلو و قضاوت‌برانگیز را با پیش‌آزمون کاهش بده.
- Harman test را فقط بررسی اولیه بدان و نبود یک عامل غالب را اثبات نبود CMB معرفی نکن.
- در صورت تناسب مدل، marker variable یا latent method factor را با فرض‌ها و محدودیت‌هایش بررسی کن.
خطاهای رایج
- استفاده از یک آستانه یا قاعده سرانگشتی بدون توضیح زمینه و مفروضات
- تغییر روش پس از دیدن نتیجه بدون ثبت اینکه تحلیل پسینی بوده است
- گزارش فقط p-value یا یک شاخص منفرد و حذف اندازه اثر، عدم‌قطعیت یا شواهد تشخیصی
- کپی‌کردن رویه پایان‌نامه یا مقاله دیگر بدون بررسی سازگاری طراحی و داده
- پنهان‌کردن مواردی که نتیجه نسبت به تصمیم تحلیلی حساس است
چک‌لیست
پرسش‌های متداول
آیا میتوان برای این موضوع یک آستانه ثابت و عمومی تعیین کرد؟
معمولاً نه. قواعد سرانگشتی میتوانند نقطه شروع باشند، اما طراحی، اندازه نمونه، نوع داده و هدف استنباط تعیین میکنند که یک مقدار در مطالعه شما چه معنایی دارد.
اگر نرمافزار خروجی قابل قبول داد، آیا روش من تأیید شده است؟
خیر. نرمافزار محاسبه را انجام میدهد؛ تناسب روش با سؤال، کیفیت اندازهگیری، مفروضات و منطق تفسیر همچنان باید توسط پژوهشگر بررسی شود.
اگر نتیجه با یک انتخاب جایگزین تغییر کرد چه کنم؟
آن را بهعنوان حساسیت نتیجه گزارش کن، دلیل تفاوت را بررسی کن و ادعا را به بخشی محدود کن که در سناریوهای علمی معقول پایدار مانده است.
در جلسه دفاع چه چیزی بیش از عدد نهایی اهمیت دارد؟
اینکه بتوانی زنجیره تصمیم را توضیح بدهی: چرا این روش را انتخاب کردی، چه مفروضاتی دارد، چه کنترل‌هایی انجام دادی و نتیجه تحت چه شرایطی معتبر است.