Hoe weet je dat botverkeer onschadelijk is voor je website?

Wie een website beheert, ziet in de statistieken vaak onverwachte bezoekers verschijnen. Soms lijkt het alsof een grote speler, zoals oracle.com, ineens tientallen keren naar jouw site verwijst. Andere keren zie je hits op verborgen links die je zelf nooit hebt aangemaakt, bijvoorbeeld een fontbestand of een admin-pagina. Op het eerste gezicht kan dat alarmerend zijn. Toch is het vaak niets om je zorgen over te maken.

Botverkeer hoort namelijk bij het dagelijks leven van een website. Zoekmachines sturen bots om je pagina’s te indexeren. Andere bots scannen willekeurig het web op zoek naar bekende zwakke plekken. Het resultaat is dat jouw statistieken een mengeling laten zien van echte bezoekers en automatische scripts. Waar echte bezoekers zich verdiepen in je homepage, een blogartikel of een dienstenpagina, slaan bots juist vreemde zijpaden in. Ze vragen een bestand op dat diep in een map staat, of proberen toegang te krijgen tot een loginpagina die je zelf nooit publiek hebt gemaakt.

Obscure link

Het herkennen van botverkeer zit hem in die patronen. Wanneer je ziet dat een obscure link, zoals een fontbestand of een xmlrpc-bestand, tientallen keren is bezocht, weet je dat dit niet het gedrag is van een nieuwsgierige lezer. Een mens klikt niet zomaar op zulke technische paden. Bots daarentegen doen dat wel. Hun doel is meestal niet meer dan rondneuzen. Ze kijken of je site iets prijsgeeft of verouderde software gebruikt.

Dat klinkt vervelend, maar in de meeste gevallen is het onschuldig. Een website die actueel en veilig wordt onderhouden, laat zich niet zomaar in de luren leggen. De bots proberen wel, maar dringen niet door. Het enige nadeel voor jou als eigenaar is dat je statistieken vervuild raken. Je ziet verwijzingen die geen echte bezoekers opleveren, en daardoor lijkt het soms alsof er meer belangstelling voor je site is dan in werkelijkheid.

Maatregelen

Toch is het goed alert te blijven. Botverkeer is pas een probleem wanneer het buitensporig wordt. Denk aan honderden verzoeken per minuut die je server traag maken, of aan een bot die heel gericht dezelfde pagina blijft aanvallen. Dan kan het zinvol zijn maatregelen te nemen, zoals blokkades of filters. Maar zolang het verkeer verspreid blijft en zich beperkt tot losse scans, kun je het gerust laten voor wat het is.

De geruststellende gedachte is dat botverkeer universeel is. Iedere site, hoe klein ook, krijgt er dagelijks mee te maken. Het hoort bij de dynamiek van het internet. Waar je vooral naar moet kijken, zijn je echte bezoekers: de mensen die bewust je teksten lezen, je diensten bekijken en misschien contact met je opnemen. Zij zijn de werkelijke maatstaf voor hoe je website functioneert.

Zie je dus weer eens een verdwaalde verwijzing in je statistieken, of tientallen bezoeken aan een bestand dat je zelf niet eens kent, dan weet je: dit is geen mens, dit is een bot. En zolang jouw website goed onderhouden is, kan het weinig kwaad. Het enige wat deze bots doen, is het web afstruinen en af en toe je statistieken in de war brengen. Niets meer, niets minder.