چرا بیشتر رتبه‌بندی‌های اسلات گمراه‌کننده‌اند
پنج نشانه‌ای که یک فهرست «بهترین سایت‌ها» را بی‌اعتبار می‌کنند، و پرسش‌هایی که پیش از اعتماد به هر رتبهبندی باید بپرسی.
نشانه‌ی اول: وزنها منتشر نشده‌اند
هر رتبهبندی یک مجموعه وزن پنهان دارد؛ کسی تصمیم گرفته چه چیزی چقدر مهم است. اگر آن وزنها منتشر نشده باشند، خواننده نمی‌تواند بفهمد رتبهی یک بر چه اساسی رتبهی یک شده است. در این نشریه وزنها در روش رتبهبندی و در فایل داده‌ی عمومی منتشر شده‌اند.
نشانه‌ی دوم: همهی خانه‌ها پر شده‌اند
یک جدول مقایسه که هیچ خانه‌ی خالی ندارد، معمولاً یعنی بعضی خانه‌ها با تخمین پر شده‌اند. مبلغ بونوس، شرایط شرط‌بندی و تعداد بازی‌ها اطلاعاتی هستند که راستی‌آزمایی‌شان کار ساده‌ای نیست؛ اگر جدولی همه‌شان را دارد، منبعش را بپرس. در جدول مقایسه‌ی ما این خانه‌ها عمداً خالی مانده‌اند.
نشانه‌ی سوم: اختلاف امتیازها بزرگ است
وقتی رتبهی اول ۹٫۸ و رتبهی دهم ۶٫۱ می‌گیرد، معمولاً یعنی امتیازها برای ساختن روایت تنظیم شده‌اند نه برای توصیف تفاوت. در فهرست ما فاصلهی امتیاز کل رتبهی اول تا آخر حدود ۱.۶ واحد است، چون تفاوت واقعی تجربه‌ی کاربری میان این سایت‌ها هم بیشتر از این نیست.
نشانه‌ی چهارم: ادعاهای اثبات‌ناپذیر
«صدها ساعت تست»، «تیم ۲۰ نفره‌ی کارشناسان»، «بیش از ۵۰ هزار کاربر راضی» — هیچ‌کدام از این‌ها قابل بررسی نیستند و وجودشان معمولاً نشانه‌ی این است که فهرست برای فروش اعتماد ساخته شده، نه برای انتقال اطلاعات. این نشریه هیچ عددی درباره‌ی خودش منتشر نمی‌کند که نتواند پشتش بایستد.
نشانه‌ی پنجم: رتبهبندی بدون تاریخ بازبینی
یک فهرست «بهترین سایت‌ها» که تاریخ ندارد، عملاً ادعا می‌کند که هیچ‌وقت کهنه نمی‌شود. در حالی که همهی چیزهایی که این فهرست‌ها می‌سنجند — رابط، پشتیبانی، ساختار پیشنهادها — در طول ماه‌ها عوض می‌شوند. نبود تاریخ یعنی خواننده نمی‌تواند بفهمد دارد نتیجه‌ی یک بازبینی تازه را می‌خواند یا متنی را که دو سال پیش نوشته شده و از آن زمان فقط عنوانش به‌روز شده است.
دو حالت بدتر هم هست. اول، تاریخی که خودکار با تاریخ امروز نمایش داده می‌شود: هر روز تازه به‌نظر می‌رسد بدون آنکه چیزی بازبینی شده باشد. دوم، یک تاریخ واحد برای کل سایت، که نمی‌گوید کدام پرونده بازبینی شده است. در این نشریه هر پرونده تاریخ خودش را دارد — بالای صفحه و به‌عنوان lastmod همان نشانی — و این تاریخ‌ها با هم یکی نیستند، چون بازبینی‌ها هم‌زمان نبوده‌اند.
چک‌لیست پنج‌مرحله‌ای برای خواننده
این پنج گام را روی هر فهرستی — از جمله همین یکی — می‌توانی در چند دقیقه اجرا کنی:
- وزنها را پیدا کن. اگر صفحه‌ای به‌نام روش رتبهبندی وجود ندارد یا وزنها در آن عدد ندارند، بقیه‌ی گام‌ها را لازم نیست بروی.
- فاصلهی امتیاز اول و آخر را حساب کن. اگر این فاصله بزرگ است، بپرس چه چیزی در عمل این‌قدر تفاوت ایجاد کرده. در فهرست ما این فاصله حدود ۱.۶ واحد است.
- یک خانه‌ی خالی پیدا کن. جدولی که هیچ خانه‌ی تأییدنشده‌ای ندارد، یا همه‌چیز را می‌داند یا بعضی خانه‌ها را حدس زده است. حالت دوم بسیار محتمل‌تر است.
- تاریخ بازبینی را چک کن. وجود دارد؟ مخصوص همان صفحه است یا برای کل سایت؟ چیزی در صفحه به آن ارجاع می‌دهد؟
- رابطه‌ی تبلیغاتی را بگرد. اگر اعلام نشده، فرض کن وجود دارد. اگر اعلام شده، ببین آیا ادعای «بی‌اثر بودن» آن قابل بررسی است یا فقط یک جمله است.
پنج پرسش پیش از اعتماد به هر رتبهبندی
- وزن هر معیار کجا نوشته شده؟
- کدام داده‌ها اندازه‌گیری‌اند و کدام‌ها نظر؟
- کدام خانه‌ها تأیید نشده‌اند و چطور مشخص شده‌اند؟
- رابطه‌ی تبلیغاتی اعلام شده؟ کجا؟
- اگر امتیازها را خودم بازچینی کنم، نتیجه چقدر عوض می‌شود؟
یک هشدار صادقانه درباره‌ی همین متن: این مقاله هم از جایی نوشته می‌شود که لینک‌های تبلیغاتی دارد. تفاوتی که ادعا میکنیم این نیست که منفعتی در کار نیست؛ این است که وزنها، فایل داده و خانه‌های خالی منتشر شده‌اند تا بتوانی خودت بسنجی. برای دیدن همان چیزی که نقدش میکنیم، روش رتبهبندی ما و جدول کامل در دسترس‌اند.
پرسش‌های خوانندگان
پس چرا خودتان رتبهبندی میکنید؟
چون یک فهرست مرتبشده مفید است — بهشرط اینکه روشش آشکار باشد. کاری که میکنیم انتشار وزنها، انتشار فایل داده و علامتگذاری صریح چیزهایی است که نمیدانیم. روش کامل.
چطور بفهمم امتیازی «تنظیمشده» است؟
به توزیع نگاه کن. اگر امتیازها بهطور مشکوکی روی اعداد گرد یا با فاصلههای یکسان نشستهاند، یا اگر رتبهی یک در همهی معیارها اول است، احتمالاً امتیاز از رتبه ساخته شده نه رتبه از امتیاز.
آیا رتبهی اول همیشه بهترین انتخاب است؟
نه. با فاصلهی امتیاز کم، معیاری که برای تو تعیینکننده است اهمیت بیشتری از رتبهی کلی دارد. جدول تفکیکشده برای همین منتشر شده.