Megapanel PBI/Gemius: dwojaki pomiar czasu

STRESZCZENIE: poniższy tekst traktuje o dwóch sposobach pomiaru czasu spędzanego na witrynach używanych w badaniu Megapanel PBI/Gemius, z których jeden dostarcza kilkukrotnie zaniżonych wyników dla witryn pewnego rodzaju i stanowi jawną dyskryminację tych witryn, które nie korzystają z pomiaru typu site-centric (czyt. nieklientów firmy Gemius S.A.).

W badaniu Megapanel PBI/Gemius, którego celem jest cyt. "określenie profilu użytkowników Internetu, intensywności korzystania z sieci globalnej, oraz określenie oglądalności i sposobu korzystania z witryn i aplikacji internetowych" jednym ze wskaźników jest czas spędzany przez użytkowników na określonych witrynach.

Z korespondencji przeprowadzonej z firmą Gemius wynika, że podobnie jak inne wskaźniki, takie jak liczba odwiedzających (określanych "użytkownikami", a dokładniej "real users"), liczba odsłon itp., wyniki czasu spędzanego na witrynach pochodzą albo z badania typu site-centric (gemiusTraffic) dla witryn, które w nim uczestniczą, albo z badania panelowego (programu monitorującego zainstalowanego na komputerach pewnej grupy użytkowników) dla witryn, które nie korzystają z usług Gemius S.A.

W badaniu panelowym czas spędzany na witrynie jest liczony jako suma czasów pomiędzy kolejnymi odsłonami stron wykonywanymi przez użytkownika na danej witrynie, o ile odstęp między nimi nie jest dłuższy niż 30 min. (w przypadku tylko jednej odsłony czas wynosi 0 min.). Przykładowo, jeśli użytkownik otworzy jedną stronę witryny, spędzi na niej 10 min., przejdzie na inną stronę witryny i też poświęci jej 10 min., ale zakończy na niej swoją wizytę (nie wykona kolejnej odsłony), to czas wizyty będzie wynosił 10 min. (jako czas pomiędzy pierwszą a drugą odsłoną).

W badaniu typu site-centric czas spędzany na witrynach jest również mierzony na podstawie kolejnych odsłon i definiowany jak w badaniu panelowym (inaczej mielibyśmy absurd), ale z małym wyjątkiem: dla stron zawierających aplikacje internetowe (typu czaty, gry, mapy itp. we Flashu czy Javie), gdzie użytkownik wykonuje jedną odsłonę, a dalej korzysta z aplikacji nie wykonując kolejnych odsłon, klienci badań typu site-centric oferowanych przez firmę Gemius mają możliwość zainstalowania na swoich stronach tzw. dwuskryptu, który dokonuje dokładniejszego pomiaru czasu poprzez wykonywanie "technicznych odsłon" w jednominutowych odstępach czasu.

I tak, jeśli użytkownik wykonuje na witrynie objętej badaniem typu site-centric pierwszą odsłonę, a za 10 min. drugą, ale na stronie zawierającej np. czat, i spędza w nim 60 min., to czas spędzony na witrynie dla tej wizyty będzie wynosił albo 70 min., jeśli witryna zawiera na stronie z czatem dwuskrypt, albo 10 min., jeśli go nie zawiera. W przypadku witryn niekorzystających z badań typu site-centric taka wizyta będzie ZAWSZE traktowana jako 10 minutowa, ponieważ badanie panelowe mierzy czas wyłącznie na podstawie kolejnych odsłon -- czas spędzany w aplikacjach zawartych na stronach nie jest w ogóle uwzględniany, jeśli użytkownik nie wykonuje w tym samym czasie kolejnych odsłon.

Jak bardzo mogą się różnić wyniki czasu dla witryn typu czaty, gry online itp. ze względu na ten dwojaki pomiar? Okazuje się, że... nawet kilkukrotnie (!)

Od ponad roku na stronach serwisu z grami online Kurnik.pl zainstalowane były standardowe skrypty, które mierzyły czas wyłącznie na podstawie odsłon stron, jak w badaniu panelowym.

Na początku listopada postanowiłem zainstalować dwuskrypty zliczające czas spędzany także w grach, ponieważ zauważyłem że informacje o czasie spędzanym na witrynach są wykorzystywane w różnego rodzaju porównaniach, np. przez Wirtulną Polskę, która na jednej ze swoich stron porównywała czas spędzany na stronach i w grach swojego serwisu gier online z czasem spędzanym tylko na stronach Kurnika, co jest jak porównywanie gruszek z jabłkami (dwukrotna prośba o zamieszczenie sprostowania w tej sprawie spotkała się z brakiem jakiejkolwiek reakcji, ani nawet odpowiedzi, co wygląda już na zupełnie typowe dla polskich portali).

Po zainstalowaniu dwuskryptów średni czas spędzany dziennie przez użytkowników na Kurniku pokazywany w statystykach gemiusTraffic zmienił się z około 27 min. do około 100 min., czyli mniej więcej 3,5-KROTNIE. Innymi słowy 3,5-krotnie wzrósł sumaryczny czas spędzany przez wszystkich użytkowników, czyli taka sama 3,5-krotna zmiana wystąpi w skali miesiąca, jak i w przeliczeniu na tzw. "real users", stosowanych w wynikach Megapanel PBI/Gemius.

Pomijając już to, że różnie to bywa z obecnością wspomnianego dwuskryptu na stronach klientów badania gemiusTraffic (na jednych jest, na innych go nie ma; ja osobiście go nie miałem, ponieważ nie udała mi się pierwsza próba jego instalacji około rok temu i nie chciałem tracić czasu na dochodzenie, gdzie leży przyczyna problemu w czymś, co powinno być banalnie proste; przy ponownej instalacji na początku tego miesiąca okazało, się że dwuskrypt, który ja otrzymałem mailem, bo nie ma go nigdzie wśród innych skryptów, miał błednie złamaną jedną linię kodu, jednej zupełnie brakowało, a w pewnym miejscu przez "adres hitcollectora" rozumiano nie adres serwera, który zbiera statystyki, ale adres serwer plus znak podkreślenia), stosowanie dwojakiego pomiaru czasu jest skrajną niedorzecznością z co najmniej dwóch powodów:

1. Jawnie dyskryminuje się witryny, które nie są klientami badań site-centric oferowanych przez Gemius S.A., zwłaszcza witryny zagraniczne (np. miniclip.com, serwis z grami online, który ma podobną liczbę użytkowników, co Kurnik, ale w wynikach będzie miał teraz zdecydowanie gorsze wyniki czasu spędzanego na witrynie, ponieważ jest objęty tylko badaniem panelowym, które nie mierzy go w grach);

2. Przedstawia się zupełnie zniekształcony obraz rynku, jeśli porównać witryny według spędzanego na nich czasu. Przykład z grudnia 2004 ze strony Onetu porównującej serwisy rozrywkowe. Pierwsza piątką według czasu wygląda tam następująco:

1. WP - 2,085 mln. godzin spędzonych na witrynach rozrywkowych;
2. Onet.pl - 1,804 mln.
3. Kurnik.pl - 1,265 mln.
4. epuls.pl - 0,942 mln.
5. miniclip.com - 0,905 mln.

Jeśli założyć, że Kurnik i miniclip.com miały 3,5-krotnie zaniżony czas, tak jak Kurnik ostatnio, to normalne wyniki wyglądałyby następująco:

1. Kurnik.pl - 4,427 mln. godzin
2. miniclip.com - 3,167 mln.
3. WP - 2,085 mln.
4. Onet.pl - 1,804 mln.
5. epuls.pl - 0,942 mln.

Podobnie jak w przypadku ciągłego publikowania niekompletnych statystyk dla aplikacji internetowych (uwzględnione tylko trzy komunikatory objęte badaniem site-centric z pominięciem np. programów typu p2p czy komunikatora Skype, który według ostatnich informacji producenta posiada w Polsce 3,5 mln. użytkowników) oraz faworyzowania statystyk ukazujących własnych klientów w lepszym świetle, realizator badania, Gemius S.A., po raz kolejny wykazuje się rażącą niedbałością i niespotykanym brakiem profesjonalizmu.

2005-11-25 07:34:00 | linkuj