Crawl budget

Wat is crawl budget?

Crawl budget is de hoeveelheid aandacht die bots van zoekmachines, zoals Googlebot, willen en kunnen besteden aan het crawlen van je website in een bepaalde periode. Het bepaalt hoeveel URL's gecrawld worden en hoe vaak ze opnieuw bezocht worden.

Voor groeiende B2B- en e-commercesites bepaalt je crawl budget rechtstreeks hoe snel nieuwe pagina's ontdekt worden en hoe betrouwbaar wijzigingen opgepikt worden. Verspil je het aan pagina's met weinig waarde of aan technische rommel, dan worden je belangrijke product-, categorie- of leadpagina's minder vaak of helemaal niet gecrawld.

Hoe crawl budget in de praktijk werkt

Crawl budget wordt vooral door twee zaken gestuurd. Ten eerste je crawlcapaciteit, oftewel hoeveel verzoeken een zoekmachine naar je server durft te sturen zonder ze te vertragen. Ten tweede de crawlvraag, oftewel hoe interessant je content oogt voor de zoekmachine op basis van populariteit, interne links en versheid.

Zijn beide hoog, dan crawlen zoekmachines een groter deel van je site vaker. Is je capaciteit beperkt of je vraag laag, dan krimpt je crawl budget en krijgen minder URL's regelmatige aandacht. Daarom werken technische SEO, crawlbaarheid en indexeerbaarheid allemaal samen met je crawl budget.

Waarom crawl budget ertoe doet voor je SEO-prestaties

Op een kleine brochuresite met een handvol pagina's blokkeert je crawl budget zelden je groei. Op grotere B2B-platformen, contenthubs of webshops met duizenden URL's wordt het een echte beperking. Zoekmachines kunnen hun budget verspillen aan gefilterde URL's, faceted navigation, trackingparameters of verouderde content.

Voor groeigerichte teams gaat crawl budget beheren over afstemmen wat gecrawld wordt op wat omzet oplevert. Je wil dat zoekmachines hun tijd aan pagina's met hoge intentie besteden, niet aan eindeloze filtercombinaties of dunne content.

Belangrijke manieren om je crawl budget te optimaliseren

Ruim overbodige URL's op met correcte doorverwijzingen, canonical tags en parameterregels, zodat bots je crawl budget niet verspillen.

Verbeter je interne links zodat belangrijke pagina's dichter bij je homepage staan en vaker gecrawld worden.

Los terugkerende 404's en serverfouten op die bots dwingen hun budget aan kapotte pagina's te besteden.

Verbeter je laadsnelheid en je stabiliteit, zodat zoekmachines je site agressiever durven crawlen.

Gebruik loganalyse of tools als de 6th Man SEO-extensie om verspilling en verweesde pagina's op te sporen.

Die ingrepen concentreren je crawl budget op de pagina's die er echt toe doen, wat je indexatie versnelt en je zichtbaarheid op je kernzoekwoorden versterkt.

Hoe je weet of je crawl budget een probleem is

De meeste teams merken problemen pas wanneer nieuwe pagina's weken nodig hebben om in de zoekresultaten te verschijnen, of wanneer oude URL's lang na hun verwijdering zichtbaar blijven. In Google Search Console zie je dan veel ontdekte URL's die niet regelmatig gecrawld worden, of veel crawlverzoeken naar pagina's met parameters en weinig waarde.

Schaal je je contentproductie op of draai je een grote webshop, dan hoort je crawl budget nakijken bij je bredere SEO-strategie. Een ervaren team kan je technische opzet auditeren, je interne links herstructureren en verspilling terugdringen, zodat zoekmachines zich op de URL's richten die leads en verkoop opleveren.