Megapanel PBI/Gemius: Odpowiedź na zarzuty o błędnym obliczaniu zasięgów
Na stronach IDG/IS pojawił się artykuł Dlaczego opóźniają się wyniki Megapanelu? (który, co ciekawe, pierwotnie nosił tytuł "Dlaczego Gemius opóźnia publikacje wyników Megapanelu?", ale szybko uległ zmianie), w którym połączono opóźnienie publikacji listopadowych wyników badania z zarzutami występowania błędów w obliczeniach zasięgów witryn, mających miejsce do września 2005 i opisanych w tekście PBI/Gemius Megapanel: cudowne rozmnożenie internautów.
Gemius odniósł się w nich do tych zarzutów, próbując obalić moją tezę tym, że przyjęto fałszywe przesłanki, a jako wyjaśnienie wrześniowych wzrostów zasięgów mimo wykluczenia zagranicznych użytkowników i spadku odsłon podano "trywialną" odpowiedź, że... po prostu wzrosły tak fantastycznie zasięgi większości witryn.
Poniżej moje sprostowanie nieprawdziwych informacji zawartych w artykule i odpowiedź na wyjaśnienie Gemiusa, o publikację którego poprosiłem IDG. Pod nimi też kilka dodatkowych informacji.
Na wstępnie chciałbym zaprzeczyć, jakobym sugerował, że opóźnienie publikacji listopadowych wyników badania PBI/Gemius Megapanel wynika z odnalezienia poważnego błędu w metodologii badania.
Z niezrozumiałych dla mnie powodów opóźnienie w publikacji wyników połączono w artykule z moim doniesieniem o błędnym obliczaniu zasięgów witryn do września 2005.
W wyjaśnieniu przesłanym przez firmę Gemius tezę o błędnym obliczaniu liczby użytkowników (tzw. "real users") próbuje się obalić tym, że zostały dla niej przyjęte fałszywe przesłanki, a mianowicie, że do obliczeń liczby "real users" są wykorzystywane liczby cookies bezpośrednio z badania gemiusTraffic. Jeśli przyjmiemy takie założenie o przesłankach, pierwotna teza istotnie będzie nieprawdziwa.
Jeśli za "cookies", o których mowa w tezie, prawidłowo przyjmiemy szacunkową liczbę cookies, jaka byłaby zarejestrowana, gdyby ich nie kasowano, to teza pozostanie jednak prawdziwa.
O prawdziwości tezy świadczą nawet informacje zawarte w ramce uzupełniającej artykuł, wyjaśniające, jak Gemius estymuje liczbę "real users". Wystarczy dokładnie zwrócić uwagę na końcowy fragment:
Szacunkową liczbę cookies, jaka byłaby zarejestrowana, gdyby ich nie kasowano, a która do września 2005 uwzględniała ruch WSZYSTKICH użytkowników, tj. z Polski i zagranicy, "łączy się" tam z pochodzącą z badania SMG/KRC liczbą internautów TYLKO Z POLSKI.
Nie trzeba być geniuszem, żeby zrozumieć, dlaczego takie połączenie jest błędne, ale jeśli ktoś ma z tym problemy, to służę wyjaśnieniem: do obliczania, ile cookies odpowiada jednemu internaucie ta szacunkowa liczba cookies uwzględniająca ruch WSZYSTKICH użytkowników powinna była być łączona z liczbą WSZYSTKICH internautów, tj. łączących się z Polski PLUS zagranicy, a nie tylko tych z Polski, których liczbę podaje SMG/KRC.
Próba tłumaczenia rekordowych wrześniowych wzrostów zasięgów w "trywialny" sposób, że dla większości witryn po prostu tak fantastycznie wzrosły, nie jest zbyt przekonująca wobec faktu, że tym wzrostom zasięgów towarzyszyły nienaturalne spadki liczby odsłon, tym bardziej, że w wynikach z innych miesięcy wzrostom zasięgów REGULARNIE towarzyszyły wzrosty liczby odsłon, a spadkom zasięgów - spadki liczby odsłon.
Kilka dodatkowych słów komentarza.
Podawana przeze mnie pierwotnie wartość 20%, o jaką do września 2005 liczba użytkowników ("real users") mogła być zaniżona dla większości polskich witryn, wydaje się zdecydowanie za duża, zwłaszcza jeśli jest tak, jak podaje Gemius, że 20% udział zagranicznych gości w zwykłych cookies (z ranking.pl) w praktyce przekłada się na 3% udział w szacunkowej liczbie cookies, jaka byłaby zarejestrowana, gdyby ich nie kasowano (brzmi niewiarygodnie). Wycofałem się z tego 20% zaraz po publikacji tekstu, odpowiednio to w nim zaznaczając, ale Gemius nie omieszkał wykorzystać tego w przesłanym wyjaśnieniu do wzmocnienia swoich argumentów.
Faktem jest też, że w pierwotnym tekście o rozmnożeniu użytkowników znajdował się jeden błąd (do których potrafię się przyznawać, w przeciwieństwie do Gemiusa), który sugerował, jakoby do obliczania liczby użytkowników ("real users") były wykorzystywane cookies z badania gemiusTraffic. W tezie, która brzmiała:
Do obliczania, ile cookies odpowiada jednemu internaucie (osobie), uwzględnianie cookies wszystkich użytkowników (z Polski i zagranicy), które miało miejsce do września 2005, było błędne, jeśli badanie SMG/KRC dostarcza informacji jedynie o liczbie internautów z Polski.
...nie mogło jednak chodzić o zwykłe "cookies", bo w publikacjach i wypowiedziach pracowników Gemiusa stosuje się taki sam skrót myślowy w stosunku do szacunkowej liczby cookies, która byłaby zarejestrowana, gdyby ich nie kasowano. Zresztą teza występowała właśnie zaraz po cytacie z opisu metodologii, w którym używano "cookies" w takim sensie:
[...] wykorzystując dane o liczbie wszystkich polskich internautów (z badania zewnętrznego SMG/KRC), Gemius estymuje ile cookies odpowiada jednemu internaucie i ostatecznie podaje wyniki estymacji liczby użytkowników (real users) dla każdej witryny internetowej.
W zwrocie ile cookies odpowiada jednemu internaucie nie chodzi o zwykłe cookies, ale szacunkowe, gdyby nie występowało ich kasowanie.
Swoją drogą ciekawe, ile osób orientuje się w tych szczegółach metodologicznych. Ja do niedawna miałem problemy ze zrozumieniem, jak jest obliczana szacunkowa liczba cookies, gdyby nie występowało kasowanie (kiedyś to rozumieałem, później zapomniałem, a z opisów dostępnych na stronach nie jest łatwo to zrozumieć; dopiero niedawno zrozumiałem na nowo).
Summa summarum: Gemius po raz drugi pokazuje, że nie potrafi przyznawać się do swoich błędów, chociaż to ludzka rzecz się mylić, a zamiast tego próbuje sprzedawać tanią "ściemę" (nie chcę wracać do tego, kiedy był pierwszy raz, bo to już zamknięta sprawa, ale panowie z Gemiusa będą wiedzieli, o co chodzi... przy okazji: zamknijcie www.megapanel.pl, bo zawiera nieaktualne informacje i wprowadza ludzi w błąd).
AKTUALIZACJA: Gemius przyznaje: zasiegi były zaniżane
2006-01-16 23:05:00 | linkuj