Werking zoekbot

De Google-bot (een script) zoekt het hele internet af op zoek naar nieuwe informatie. Eens in de zoveel tijd zal de bot ook jouw website bezoeken en deze doorlopen op de punten die verder in deze tutorial naar voren komen.

Een bot ondersteunt geen scripts, en ziet ook geen opmaak. Kleuren en dergelijke kennen ze niet, sommige HTML tags herkennen ze daarentegen wel en deze kunnen bijdragen aan het zo goed mogelijk optimaliseren.

Punt 1 waar je op moet letten is dat je een betrouwbare hosting zoekt die zo dicht mogelijk bij 100% online tijd zit. Wanneer de Google-bot op je website probeert te komen, en de website is offline onthoud die dat. Gebeurt het vaker dat de website offline is, zal die nooit zo hoog in de resultaten komen. Het enige wat je daar dan aan kan doen is de website verplaatsen naar een betere server en geduld hebben. Het heeft even tijd nodig om de Google-bot te laten merken dat de website nu wel goed bereikbaar is.

De domeinnaam op zichzelf is niet heel erg belangrijk, maar de gehele URL wordt wel meegewogen. Heb je op een website met als url: http://www.jenaam.nl en je wilt daarop een pagina over “broodbakmachines” laten draaien, zorg ervoor dat het onderwerp wel in de URL zit, zoals bijv.:
http://www.jenaam.nl/broodbakmachines/index.html

Wat er op de achtergrond gebeurt op de server (bijvoorbeeld met mod_rewrite naar http://www.jenaam.nl/index.php?pagina=3) maakt voor de zoekmachine niets uit. Die ziet de URL alleen zoals de bezoeker het ziet.


Ook niet onbelangrijk is dat je zelf kan aangeven welke bestanden en mappen de bot mag bekijken. Bestanden die beveiligd zijn doormiddel van een wachtwoord kunnen al niet worden bekeken, maar bijvoorbeeld een map met toe te voegen pagina’s (bijv. met de PHP include) mag de bot niet los bekijken, alleen in zijn geheel. Daarvoor maak je in de root van je website een bestandje aan die je opslaat als “robots.txt”. Er vanuit gaande dat je map waarin die bestanden staan “includes” heet, krijgt dat bestandje de volgende inhoud:

Code (php)

1
2

User-Agent: *
Disallow: /includes/

« Lees de omschrijving en reacties