Cum umflă boții cifrele de trafic: de la logul brut la audiența reală
de Claudiu Hulea · IT Management Consultant
Un site pe care îl urmărim a avut, într-o zi, de aproape două ori mai mulți „vizitatori” decât în zilele vecine. Reflexul e să te bucuri și să cauți ce articol a „prins”. Când ne-am uitat de aproape, aproape nimic din acel vârf nu era om. E o lecție bună despre cât de ușor te mint cifrele de trafic, dacă nu întrebi de unde vin.
De ce „IP-uri unice plus User-Agent” supraestimează
Cea mai comună metodă de a număra vizitatori din logurile serverului e: adună IP-urile unice, exclude-le pe cele cu un User-Agent de bot. Problema e că metoda asta a fost bună acum zece ani. Boții de azi trimit un User-Agent de Chrome sau Safari perfect valid, exact ca un browser real. Filtrul care se uită la User-Agent nu îi mai vede, așa că fiecare scaner, proxy sau sondă ajunge numărat ca „om”.
Rezultatul e o cifră care arată bine pe grafic și care nu înseamnă nimic.
Ce era, de fapt, „vârful”
Când am desfăcut ziua pe surse, iată ce găsisem în locul audienței:
- Health-check-urile propriei infrastructuri. Un echilibrator de sarcină sau o sondă care verifică dacă site-ul răspunde, lovind pagina principală la câteva secunde, apărea numărat ca vizitator. Infrastructura nu citește bloguri.
- Scanere din cloud care mint User-Agent-ul. IP-uri din centre de date, cu un User-Agent de browser, care cereau de fapt
/admin.php, fișiere WordPress și panouri de configurare. Recon automat, toate cu răspuns 404 pe un site care nu are așa ceva. - Un roi de IP-uri care băteau pagina principală o dată și plecau, fără să se uite la nimic altceva.
- Peste 80% „direct”, adică fără niciun referrer. Un public real vine, în bună parte, din căutare și din rețele sociale, cu referrer. Traficul masiv fără proveniență e un semnal, nu un succes.
Niciun articol nu „prinsese”. Nimeni nu citea nimic. Doar internetul care îți bate la ușă.
Cum arată un cititor real
Diferența dintre un om și un bot nu e în User-Agent, ci în comportament:
- un cititor real are proveniență: vine dintr-o căutare, dintr-un link de LinkedIn, dintr-un newsletter;
- se plimbă: deschide articolul, apoi încă o pagină, poate contactul; lasă un traseu;
- revine uneori, la alt moment, de pe alt dispozitiv.
Un bot, de regulă, apare de nicăieri, atinge o singură pagină și dispare. Când „vârful” tău e făcut din mii de vizite de o pagină, fără referrer, concentrate pe pagina principală, nu te uiți la audiență, ci la zgomot.
Cum numeri mai onest
Nu poți curăța totul, dar poți scoate ce e clar că nu e om:
- exclude infrastructura internă din numărători (health-check-uri, sonde, adrese interne);
- reclasifică drept bot scanerele care generează multe 404, indiferent ce User-Agent trimit;
- taie flood-ul de la un singur IP care face zeci de cereri, fiindcă un cititor real nu se comportă așa.
Dar fii sincer cu limita: boții care imită un browser și ating paginile reale o singură dată nu se pot deosebi de un om fără să rupi și cititorii legitimi din spatele unui IP partajat. De aceea, pentru audiență, o sursă care recunoaște boții (de exemplu un CDN care îi filtrează la margine) e mai aproape de adevăr decât logul brut al serverului.
De ce contează, dincolo de orgoliu
O cifră umflată nu e doar o vanitate. Pe baza ei iei decizii greșite: crezi că un subiect a mers și îl repeți, deși nu l-a citit nimeni; estimezi o conversie care nu există; justifici un buget pornind de la un public fantomă. Iar pe partea de securitate, același zgomot care umflă „vizitatorii” ascunde și scanările reale: dacă nu separi boții, nu vezi nici cine te probează serios. Măsurarea onestă e, și aici, tot o chestiune de a putea arăta ce e real, nu doar ce arată bine, exact ideea din controlul care trece testul.
Ce reținem
Traficul „mare” care nu lasă nicio urmă de comportament uman nu e audiență. Înainte să sărbătorești un vârf, întreabă două lucruri: de unde a venit și ce a citit. Dacă răspunsul e „de nicăieri” și „nimic”, ai măsurat boți, nu oameni. Un număr fără proveniență e o metrică de vanitate.
Vrei să știi cât din traficul și din „evenimentele de securitate” pe care le vezi sunt reale și cât e zgomot automat? Scrie-ne și pornim de la o privire onestă peste cifre.
Întrebări frecvente
De ce supraestimează numărarea pe „IP-uri unice plus User-Agent”?
Fiindcă boții moderni imită perfect un browser: trimit un User-Agent de Chrome sau Safari real, deci filtrul care se bazează pe User-Agent nu îi vede. Fiecare IP cu un astfel de agent e numărat ca „om”, chiar dacă e un scaner, un proxy sau o sondă de monitorizare.
Cum deosebesc un cititor real de un bot?
Un cititor real vine de undeva (căutare, LinkedIn, un link) și se plimbă pe mai multe pagini, lasă un tipar. Un bot, de regulă, lovește o pagină, o dată, fără referrer, și pleacă. Traficul masiv „direct” (fără referrer), concentrat pe pagina principală, e aproape mereu automat.
Ce ar trebui exclus din „vizitatori”?
Infrastructura internă (health-check-urile, sondele de monitorizare, echilibratoarele de sarcină nu citesc bloguri), scanerele (care probează căi inexistente și generează 404) și flood-ul de la un singur IP. Restul boților care imită un browser și ating paginile reale o dată tot scapă, de aceea o sursă care filtrează boții e mai de încredere decât logul brut.