Megapanel PBI/Gemius: Cudowne rozmnożenie internautów

Gdyby poważnie traktować wyniki Megapanel PBI/Gemius, we wrześniu mieliśmy do czynienia z prawdziwym cudem w postaci niezwykłego rozmnożenia polskich użytkowników internetu.

Według informacji podanych przez realizatora badania, firmę Gemius S.A., od września w wynikach Megapanelu dla witryn, które korzystają z audytu site-centric (skryptów instalowanych na badanych stronach), nie są uwzględniane odsłony i użytkownicy łączący się spoza granic Polski. Jak pisano, ta zmiana miała związek z nagłym wzrostem liczby użytkowników z Chin, którzy upodobali sobie darmowy hosting w portalu Interia. W artykule IS możemy znaleźć następujące wyjaśnienie:

Przeprowadzone analizy wskazują, że ruch z komputerów z numerami IP spoza Polski stale i szybko wzrasta. Ponieważ rozróżnienie pomiędzy ruchem generowanym przez polskich użytkowników internetu (a realizowanym za pomocą komputerów z niepolskimi numerami IP), a szybko przybierającym na wielkości ruchem generowanym przez zagranicznych użytkowników (korzystających coraz chętniej chociażby z polskich darmowych hostingów) jest praktycznie niemożliwe, w trosce o wiarygodność Badania Megapanel PBI/Gemius, podjęto decyzję o nieuwzględnieniu takiego ruchu w wynikach audytu site-centric.

Według statystyk publikowanych na stronach ranking.pl zagraniczni użytkownicy stanowią około 20% wszystkich użytkowników odwiedzających polskie witryny. Nieuwzględnianie ruchu aż 20% dotychczasowych użytkowników do wyników Megapanelu, nawet mimo tego, że był to wrzesień, czyli okres powakacyjny, kiedy rośnie ruch w sieci, mogło się wiązać tylko z jednym -- spadkiem zarówno liczby odsłon jak i liczby użytkowników.

Spadek odsłon w wynikach faktycznie nastąpił -- zanotowały go prawie wszystkie witryny z czołówki: np. Onet.pl -70 mln. odsłon, WP.pl -33 mln., Interia.pl -32 mln., Gazeta.pl -29 mln. (prawie 10% spadek). Jednocześnie nie nastąpił jednak spadek liczby użytkowników (rozumianych jako real users, nie cookies), a wręcz przeciwnie -- nastąpił niebywały ich wzrost, dla niektórych nawet rekordowy w całym roku! Dla Gazeta.pl, na przykład, wykluczenie zagranicznych użytkowników spowodowało 10% spadek liczby odsłon, co jest zrozumiałe, ale liczba użytkowników wzrosła jednocześnie o prawie 20%!

Na wykresach wygląda to następująco. Mały spadek liczby odsłon:

Niezwykły wzrost liczby użytkowników mimo wykluczenia 20%:

(ilustracje kiepskiej jakości ze względu na brak dostępu do "normalnego" programu graficznego).

Wbrew pozorom we wrześniu nie mieliśmy jednak cudu, bowiem istnieje bardzo proste, ale niezwykle kompromitujące wytłumaczenie tej anomalii.

W artykule Metodologia badania Megapanel PBI/Gemius w pytaniach i odpowiedziach, możemy przeczytać: wykorzystując dane o liczbie wszystkich polskich internautów (z badania zewnętrznego SMG/KRC), Gemius estymuje ile cookies odpowiada jednemu internaucie i ostatecznie podaje wyniki estymacji liczby użytkowników (real users) dla każdej witryny internetowej.

Do obliczania, ile cookies odpowiada jednemu internaucie (osobie), uwzględnianie cookies wszystkich użytkowników (z Polski i zagranicy), które miało miejsce do września 2005, było błędne, jeśli badanie SMG/KRC dostarcza informacji jedynie o liczbie internautów z Polski.

Z prostego rachunku wynika tym samym, że od samego początku aż do września 2005 liczba użytkowników (real users) w wynikach badania Megapanel była zaniżona o około 20% dla każdej witryny, dla której do szacowania liczby "real users" wykorzystywano liczbę cookies dane z audytu site-centric (czyli dla prawie wszystkich polskich witryn).

W tym miejscu warto teraz zwrócić uwagę na kilka rzeczy:

• Bardzo dobrym potwierdzeniem występowania nieprawidłowości w badaniu Megapanel PBI/Gemius mogą być też wrześniowe wyniki dla serwisu sciaga.pl: liczba real users dla chyba wszystkich witryn jest w każdym miesiącu zdecydowanie mniejsza niż liczba cookies, co jest naturalne i tłumaczy się zjawiskiem kasowania cookies; we wrześniowych wynikach sciaga.pl zanotowała natomiast zdecydowanie więcej użytkowników real users w badaniu Megapanel niż cookies w badaniu gemiusTraffic (ponad 1,7 mln. real users przy około 1,5 mln. cookies), chociaż do tej pory było zawsze na odwrót! Wykluczenie zagranicznych użytkowników nie miało większego znaczenia dla wyników sciaga.pl, bo ponad 97% ruchu stanowili we wrześniu 2005 użytkownicy z Polski;
• Ani firma Gemius, ani PBI przy wprowadzeniu wrześniowych zmian (wykluczenie ruchu zagraniczonych użytkowników) nie poinformowały ani słowem, że obliczanie liczby użytkowników od samego początku do września 2005 było błędne;
• Błąd, z jakim mieliśmy do czynienia, pozostawał przez wiele miesięcy niezauważony w dużym stopniu z powodu braku precyzyjnych informacji o metodologii badania (metodyki?), jej zamkniętego charakteru i braku surowych danych, którymi można byłoby weryfikować publikowane wyniki, chociaż dla własnej witryny; mimo licznych wpadek i jawnym faworyzowaniu swoich klientów w publikacji wyników na ranking.pl realizator badania nie jest też w żaden sposób audytowany przez zewnętrzne, niezależne podmioty;
• O nieprecyzyjności metodologii badania może świadczyć dzisiejsza zmiana czasu publikacji wyników. Do tej pory z bardzo ogólnych informacji o metodologii zawartych np. we wcześniej wspomnianym artykule mogliśmy się dowiedzieć, skąd było konieczne ponad półtoramiesięczne opóźnienie w publikowaniu wyników:

  Dzięki sprawdzeniu, czy dane cookie pojawiło się w miesiącu poprzedzającym i następującym po miesiącu, dla którego wyniki są przygotowywane (właśnie stąd wynika miesięczne opóźnienie w publikowaniu wyników badania), możliwe jest określenie, które z tych cookies nie zostały w danym miesiącu skasowane.

  Tymczasem dzisiaj z październikowymi wynikami Gemius S.A. przesłał komunikat, w którym możemy przeczytać, że teraz wyniki będą publikowane o miesiąc wcześniej niż dotychczas, co do tej pory było niemożliwe, tak jakby nastąpiły jakieś zmiany w metodologii, o których jednak nic nie wiadomo:

  Pragniemy poinformować, że zgodnie z zapowiedziami, przyspieszeniu uległo opracowywanie wyników badania MegapanelPBI/Gemius. Począwszy od grudnia br., publikowane wyniki dotyczyły będą miesiąca (n-1), a nie jak było dotychczas miesiąca (n-2). Dziś prezentujemy wyniki za październik br., do końca roku planujemy przedstawić wyniki za listopad 2005 roku. W miesiącach kolejnych prezentacja wyników za miesiąc (n-1) odbywać się będzie do dnia 30 każdego miesiąca (n).

• Liczne głosy krytyki pod adresem firmy Gemius i prowadzonego przez nią badania są przez większość wydawnictw internetowych i prasowych, będących zwykle klientami tej firmy, zupełnie ignorowane i pozostają bez echa.

Zobacz także: Megapanel PBI/Gemius: dwojaki pomiar czasu (O kilkukrotnym zaniżaniu czasu spędzanego na niektórych witrynach w wynikach Megapanel PBI/Gemius), The day Gemius lost credibility (Jak Gemius faworyzuje swoich klientów w publikacji wyników na ranking.pl).

AKTUALIZACJA: Zobacz też Odpowiedź Gemiusa na zarzuty i Przyznanie się do błędu.

2005-12-22 23:55:00 | linkuj