چرا بیشتر رتبهبندیهای اسلات گمراهکنندهاند
چهار نشانهای که یک فهرست «بهترین سایتها» را بیاعتبار میکنند، و پرسشهایی که پیش از اعتماد به هر رتبهبندی باید بپرسی.
نشانهی اول: وزنها منتشر نشدهاند
هر رتبهبندی یک مجموعه وزن پنهان دارد؛ کسی تصمیم گرفته چه چیزی چقدر مهم است. اگر آن وزنها منتشر نشده باشند، خواننده نمیتواند بفهمد رتبهی یک بر چه اساسی رتبهی یک شده است. در این نشریه وزنها در روش رتبهبندی و در فایل دادهی عمومی منتشر شدهاند.
نشانهی دوم: همهی خانهها پر شدهاند
یک جدول مقایسه که هیچ خانهی خالی ندارد، معمولاً یعنی بعضی خانهها با تخمین پر شدهاند. مبلغ بونوس، شرایط شرطبندی و تعداد بازیها اطلاعاتی هستند که راستیآزماییشان کار سادهای نیست؛ اگر جدولی همهشان را دارد، منبعش را بپرس. در جدول مقایسهی ما این خانهها عمداً خالی ماندهاند.
نشانهی سوم: اختلاف امتیازها بزرگ است
وقتی رتبهی اول ۹٫۸ و رتبهی دهم ۶٫۱ میگیرد، معمولاً یعنی امتیازها برای ساختن روایت تنظیم شدهاند نه برای توصیف تفاوت. در فهرست ما فاصلهی امتیاز کل رتبهی اول تا آخر حدود ۱.۶ واحد است، چون تفاوت واقعی تجربهی کاربری میان این سایتها هم بیشتر از این نیست.
نشانهی چهارم: ادعاهای اثباتناپذیر
«صدها ساعت تست»، «تیم ۲۰ نفرهی کارشناسان»، «بیش از ۵۰ هزار کاربر راضی» — هیچکدام از اینها قابل بررسی نیستند و وجودشان معمولاً نشانهی این است که فهرست برای فروش اعتماد ساخته شده، نه برای انتقال اطلاعات. این نشریه هیچ عددی دربارهی خودش منتشر نمیکند که نتواند پشتش بایستد.
پنج پرسش پیش از اعتماد به هر رتبهبندی
- وزن هر معیار کجا نوشته شده؟
- کدام دادهها اندازهگیریاند و کدامها نظر؟
- کدام خانهها تأیید نشدهاند و چطور مشخص شدهاند؟
- رابطهی تبلیغاتی اعلام شده؟ کجا؟
- اگر امتیازها را خودم بازچینی کنم، نتیجه چقدر عوض میشود؟
پرسشهای خوانندگان
پس چرا خودتان رتبهبندی میکنید؟
چون یک فهرست مرتبشده مفید است — بهشرط اینکه روشش آشکار باشد. کاری که میکنیم انتشار وزنها، انتشار فایل داده و علامتگذاری صریح چیزهایی است که نمیدانیم. روش کامل.
چطور بفهمم امتیازی «تنظیمشده» است؟
به توزیع نگاه کن. اگر امتیازها بهطور مشکوکی روی اعداد گرد یا با فاصلههای یکسان نشستهاند، یا اگر رتبهی یک در همهی معیارها اول است، احتمالاً امتیاز از رتبه ساخته شده نه رتبه از امتیاز.
آیا رتبهی اول همیشه بهترین انتخاب است؟
نه. با فاصلهی امتیاز کم، معیاری که برای تو تعیینکننده است اهمیت بیشتری از رتبهی کلی دارد. جدول تفکیکشده برای همین منتشر شده.