Je website heeft er een tweede doelgroep bij: meer dan de helft van het webverkeer is niet menselijk

Wie een website bouwt, denkt normaal gesproken aan de persoon aan de andere kant van het scherm. Die moet snel kunnen vinden wat hij zoekt, een product kunnen bekijken, contact kunnen opnemen of een bestelling kunnen plaatsen.

Maar een steeds groter deel van de bezoekers heeft helemaal geen scherm nodig.

Cloudflare ziet inmiddels dat meer dan de helft van het verkeer richting websites op zijn netwerk geautomatiseerd is. Vooral AI-agents groeien hard: het aantal dagelijkse requests van deze agents nam volgens Cloudflare in één jaar met meer dan 1.700% toe.

Dat betekent niet dat de helft van je klanten ineens robots zijn. Het betekent wel dat websites steeds vaker worden gelezen en gebruikt door software die verschillende doelen kan hebben. En juist dat onderscheid wordt belangrijk.

Niet iedere bot doet hetzelfde

Bots op websites zijn niets nieuws. Google crawlt pagina's om ze op te nemen in de zoekresultaten en webshops hebben al jaren te maken met scrapers, monitoringdiensten en kwaadwillende scripts.

AI maakt die groep veel diverser.

Een crawler kan bijvoorbeeld pagina's verzamelen om een AI-model te trainen. Een zoekmachinebot komt langs omdat je gevonden wilt worden in Google. Een andere bot probeert prijzen te verzamelen of formulieren automatisch in te vullen.

Daarnaast ontstaat een categorie die interessanter is voor bedrijven: AI-agents die daadwerkelijk namens iemand handelen.

Stel dat iemand aan een AI-assistent vraagt om drie geschikte fysiotherapiepraktijken in de buurt te vergelijken. Of om een geluidsoplossing voor een kantoorruimte te zoeken. De software kan dan zelfstandig websites bezoeken, informatie verzamelen en uiteindelijk een selectie aan de gebruiker presenteren.

Zo'n geautomatiseerde bezoeker lijkt technisch gezien op een bot, maar vertegenwoordigt mogelijk gewoon een potentiële klant.

Cloudflare ziet juist dit agentverkeer momenteel als een van de snelst groeiende soorten geautomatiseerd verkeer.

Alles blokkeren wordt daardoor een stuk minder logisch

Tot voor kort was de afweging redelijk eenvoudig. Een nuttige zoekmachinecrawler mocht naar binnen en verdachte bots probeerde je zoveel mogelijk tegen te houden.

Dat onderscheid wordt minder zwart-wit.

Cloudflare maakte zijn eigen botinstellingen daarom eerder dit jaar specifieker. Website-eigenaren kunnen zoekbots, AI-agents en crawlers voor AI-training afzonderlijk behandelen. Volgens Cloudflare blokkeert minder dan één procent van de websites op zijn platform zoekcrawlers, terwijl ongeveer 17% crawlers voor AI-training blokkeert.

Dat verschil is logisch. Een zoekmachine kan bezoekers opleveren. Een trainingscrawler gebruikt vooral informatie van je website zonder dat daar direct verkeer tegenover staat.

Een agent zit ergens tussen die twee in. Hij leest misschien je website zonder ooit de homepage op een scherm te tonen, maar kan vervolgens wel jouw bedrijf aanbevelen of namens iemand een volgende stap uitvoeren.

Een algemene regel als 'alle AI-bots blokkeren' wordt daardoor steeds minder bruikbaar.

Je website moet ook door software begrepen kunnen worden

Deze ontwikkeling verandert ook iets aan hoe je naar een goede website kunt kijken.

Voor een menselijke bezoeker zijn vormgeving, hiërarchie en gebruiksgemak belangrijk. Een AI-agent heeft daar weinig aan. Die probeert vooral te achterhalen wat een bedrijf aanbiedt, wat iets kost, waar het beschikbaar is en welke voorwaarden gelden.

Dat maakt duidelijke en gestructureerde informatie belangrijker.

Een webshop waarbij productnamen, prijzen, voorraad en eigenschappen logisch in de pagina staan, is makkelijker automatisch te begrijpen dan een site waarop dezelfde informatie verspreid over afbeeldingen, scripts en losse interactieve elementen staat.

Voor lokale bedrijven geldt hetzelfde. Een AI-assistent moet bijvoorbeeld kunnen achterhalen waar een bedrijf gevestigd is, wat de openingstijden zijn, welke diensten worden aangeboden en voor welk werkgebied het bedrijf relevant is.

Dat ligt dicht tegen traditionele SEO aan, maar het gebruik verandert. De informatie wordt niet alleen verwerkt om tien blauwe links te rangschikken. Een systeem kan de gegevens direct gebruiken om een vraag te beantwoorden, bedrijven te vergelijken of een taak uit te voeren.

Cloudflare noemt die ontwikkeling het ontstaan van een tweede doelgroep voor het internet: software naast mensen.

Tegelijkertijd kost al dat automatische verkeer capaciteit

Er zit ook een minder aantrekkelijke kant aan de groei.

Iedere geautomatiseerde aanvraag gebruikt infrastructuur. Een crawler die duizenden pagina's bezoekt, zorgt voor requests richting servers, databases, API's en andere onderdelen van een website.

Dat wordt vooral vervelend wanneer bots continu dezelfde informatie ophalen.

Cloudflare stelt dat meer dan de helft van wat goedbedoelende bots ophalen sinds hun vorige bezoek niet eens veranderd is. Dat betekent een behoorlijke hoeveelheid verkeer waar een website nauwelijks iets voor terugkrijgt.

Voor een gemiddelde kleine bedrijfswebsite zal dat niet meteen de serverrekening verdubbelen. Bij grotere websites, webshops, platformen en websites met veel dynamische pagina's kan het verschil wel merkbaar worden.

Het maakt botverkeer daarmee niet alleen een SEO- of beveiligingsvraagstuk, maar ook steeds meer een infrastructuurvraagstuk.

Kijk verder dan alleen je bezoekersaantal

Ook webstatistieken worden hierdoor interessanter.

Een stijging in het totale aantal requests betekent niet automatisch dat meer mensen de website gebruiken. Een deel kan afkomstig zijn van zoekmachines, trainingscrawlers, agents of ongewenste bots.

Andersom kan een agent waarde opleveren zonder dat die netjes als traditionele bezoeker in een analyticsdashboard verschijnt.

Daarom wordt het zinvoller om menselijke bezoeken en geautomatiseerd verkeer waar mogelijk los van elkaar te bekijken. Zeker wanneer er plotseling grote veranderingen in traffic, serverbelasting of formuliergebruik zichtbaar zijn.

Voor bedrijven hoeft dat nog geen uitgebreid nieuw dashboard op te leveren. Weten welke soorten verkeer je website bereiken en controleren of opvallende pieken daadwerkelijk van gebruikers komen, is voorlopig al een goede basis.

Websites worden niet alleen meer bezocht, maar ook uitgelezen

De verschuiving die Cloudflare ziet, staat nog aan het begin. De interessante verandering zit daarom niet alleen in het percentage botverkeer, maar vooral in wat die software probeert te doen.

Een website was jarenlang vooral een bestemming. Iemand zocht iets op, klikte op een link en kwam vervolgens op de website terecht.

AI-assistenten veranderen dat proces. Soms bezoeken zij de website namens de gebruiker, halen de relevante informatie eruit en geven alleen het resultaat terug. In andere gevallen kunnen agents uiteindelijk ook acties uitvoeren.

Daarmee krijgt een website twee verschillende gebruikers. De mens moet prettig kunnen lezen, vergelijken en navigeren. Software moet tegelijkertijd kunnen begrijpen wat er wordt aangeboden en onder welke voorwaarden.

Voor ons betekent dat niet dat websites ineens voor robots gebouwd moeten worden. De menselijke bezoeker blijft degene die uiteindelijk de waarde bepaalt. Maar bij ontwikkeling, SEO, beveiliging en hosting moeten we wel steeds vaker rekening houden met de software die tussen die bezoeker en een website komt te staan.

De vraag wordt daardoor minder vaak: hoe houden we bots tegen?

Veel interessanter is: welke bots willen we tegenhouden, welke willen we toelaten en welke kunnen uiteindelijk juist een nieuwe klant naar binnen brengen?