Is jouw organisatie bezig met het optimaliseren van organisch verkeer, maar merk je dat een aantal pagina’s niet in de zoekmachine verschijnen? Om dit probleem goed uit te zoeken, is het belangrijk om te weten wat een webcrawler is.

Een webcrawler, ook wel spider genoemd, is een stukje software die het internet afspeurt op zoek naar nieuwe pagina’s. De bekendste webcrawlers worden gebruikt door de zoekmachines, zoals de Google spider. Tijdens een bezoek probeert de webcrawler zoveel mogelijk pagina’s te bekijken. Hierbij wordt niet alleen gekeken naar pagina’s die nieuw zijn, maar ook naar wijzigingen op bestaande pagina’s. De hoeveelheid pagina’s die een webcrawler tijdens een bezoek bekijkt, wordt het crawl budget genoemd.

Een belangrijk onderdeel van SEO optimalisatie is ervoor zorgen dat de website zo toegankelijk mogelijk is voor de webcrawler. Zo is de vuistregel bijvoorbeeld dat belangrijke content nooit verder dan 3 klikken verwijderd mag zijn van de homepagina. Op deze manier krijgt op een zo efficiënt mogelijke manier een goed beeld van de pagina’s op de website. Dit heeft vervolgens een positief effect op de vindbaarheid van de website!