Nie ufajcie rankingom

18 kwietnia 2005

Jeszcze w czasach gdy prowadziliśmy wydawnictwo drukowane, nasza redakcja przez wiele lat była pod presją. Spora cześć czytelników chciała abyśmy wprowadzili system rankingowy. Grupa ta oczekiwała, że przyznamy jednoznaczne rekomendacje i damy wyrażone liczbowo oceny. Był nawet taki moment gdy rozważaliśmy jakiś rodzaj formalnej rekomendacji, ale w ostateczności (i na szczęście!) pozostaliśmy wierni pierwotnej polityce - czyli żadnych rankingów.

Przez lata widziałem wiele rankingów. Część rankingów opiera się na systemie słabszych lub silniejszych rekomendacji. Inna metoda to podział testowanych urządzeń na klasy jakościowe. Bodaj najpopularniejsze są systemy wyrażania ocen przy pomocy punktów, gwiazdek czy innych "jednostek" wymyślonych po to by uzyskać jakiś atrakcyjny graficznie "wskaźnik jakości". Niezależnie od tego na jaki ranking natraficie moja rada jest prosta: zignorujcie go całkowicie. Powtórzę jeszcze raz: zignorujcie całkowicie.

Jak już wspomniałem czytelnicy wywierają na wydawców bardzo duży nacisk aby publikować rankingi. Jest co najmniej kilka przyczyn tego stanu rzeczy. Cześć klientów w istocie jest mało wyczulona na jakość sprzętu. Ludzie ci nie za bardzo dostrzegają subtelniejsze różnice, nie mają też ochoty poświęcić czasu na samodzielne przeczytanie recenzji czy na osobisty odsłuch. Chcą natomiast uzyskać wewnętrzne przekonanie, że zrobili tzw. dobry zakup i cudza ocena jest im potrzebna aby to przekonanie uzyskać. Inni z kolei cierpią na chroniczny brak samodzielności myślenia. Nie czują się pewni swych ocen. Mają psychiczną potrzebę by podeprzeć się "fachową oceną". Jest też coś takiego jak zwykłe lenistwo. A ludziom leniwym trudno odeprzeć pokusę jaką stanowią rankingi.

Ale przecież samo zapotrzebowanie rynku nie jest jeszcze dowodem przydatności rankingów. Nie o to przecież chodzi czy czytelnicy chcą rankingów, ale o to czy rankingi są wewnętrznie spójne, czy dostarczają wiarygodnej oceny, itd. itp. A mówiąc precyzyjnie chodzi o to czy rankingi dobrze służą odbiorcom.

Nie ma sposobu by wyrazić jakość sprzętu hi-fi przy pomocy jednej liczby. Kryteria oceny są bardzo liczne, co powoduje, że nie da się ustalić uniwersalnego systemu punktowania. Nikt nie jest w stanie powiedzieć, które kryteria są mniej, a które bardziej ważne. Każdy z nas sam ustala swoje kryteria. Jest bardzo mało prawdopodobne aby kryteria konkretnego użytkownika były takie same jak kryteria czasopisma, które opublikowało ranking. Jaki jest sens korzystania z ocen, które ignorują Wasze prywatne preferencje? Odpowiedź jest jasna - takie oceny są dla Was bezużyteczne.

Sytuacja jest jednak gorsza. Weźcie kilka rankingów i spróbujcie dowiedzieć się jakie kryteria służyły do ich opracowania. Nie dowiecie się zbyt wiele. Wygląda na to, że głównym kryterium przy konstrukcji rankingów są osobiste preferencje autorów. Można więc powiedzieć, iż nie do końca jasne jest czemu jedno urządzenia zostało dobrze ocenione a inne nie. Gdyby według tej metody oceniano Wasze prace egzaminacyjne w szkole bylibyście z pewnością zdegustowani taką procedurą.

Jako że recenzowaliśmy sporo sprzętu, mieliśmy okazję osobiście zapoznać się z wieloma urządzeniami. Dysponując tą wiedzą przestudiowałem szereg rankingów i stwierdziłem, że wszystkie one cierpią na brak spójności. Zawsze znajdą się podobnie ocenione modele, które w istocie wyraźnie różnią się poziomem jakościowym. Dotyczyło to każdego rankingu, który sprawdzałem.

Nikt nie jest w stanie zapoznać się z całą ofertą sprzętu na rynku. Nawet nie z połową i nawet nie z jedną czwartą oferty przemysłu hi-fi. Myślę, że recenzent jest w stanie zapoznać się z kilkudziesięcioma produktami rocznie. Oznacza to, że może być wiele dobrych modeli, które nie zostały zrecenzowane. Niewykluczone jest, że wśród pominiętych urządzeń są lepsze od czołówki rankingu. Natomiast ranking daje fałszywe wrażenie, że prezentuje to, co jest najlepsze na rynku.

Kiedy czasopismo publikuje ranking samo utrudnia sobie zachowanie niezależności. Proste stwierdzenia oznajmiające, że recenzent lubił lub nie lubił danego urządzenia są doskonale zrozumiałe i jednoznacznie określają preferencje. Jeśli jednak tego typu stwierdzenia zostaną uzupełnione przez formalną ocenę, to ich znaczenie marketingowe wzrasta. Nic dziwnego, że w tej sytuacji niektóre firmy wywierają dodatkową presję na czasopisma publikujące rankingi. Natomiast czasopisma powstrzymujące się od publikacji rankingów nie tracą niczego ze swej wartości informacyjnej, a przy tym nie podlegają tak dużej presji zewnętrznej.

Zarzuty wobec rankingów generalnie odnoszą się też do wszelakich nagród i wyróżnień, przyznawanych zazwyczaj raz do roku, czy to przez poszczególne tytuły prasowe czy przez większe grona.

Wiem jak trudno jest się oprzeć pokusie. Kiedy interesowałem się sprzętem amatorsko potrzebowałem kilku lat by nauczyć się, że rankingi są mylące. Ale musiałem to zrobić sam, opierając się na własnych doświadczeniach. Państwo możecie jednak oszczędzić sobie tak znacznego nakładu pracy. Wystarczy po prostu zastosować w praktyce wnioski z niniejszego felietonu bez prowadzenia własnych, długotrwałych doświadczeń. Powtórzę więc raz jeszcze - ignorujcie rankingi. (GS)