Crawler

Een zogenaamde Crawler die ook wel spider of webrobot wordt genoemd is een automatisch werkend programma dat gebruikt wordt door ondermeer zoekmachines om het internet in kaart te brengen.

De crawler leest een website in en haalt daar de links naar andere programma's uit. Die links worden opgeslagen om later eveneens op hun beurt door de crawler bezocht en ge-analyseerd te worden.

Het vak van zoekmachineoptimalisatie is eigenlijk bedoeld om dit soort crawlers het leven zo simpel mogelijk te maken door alle relevante zaken over een webpagina zo duidelijk mogelijk en zo hapklaar mogelijk voor te leggen.

Het feit dat de technieken waarmee een plaats in de zoekresultaten berekend wordt, regelmatig wijzigt, maakt zoekmachineoptimalisatie tot een tijdrovende en daardoor dus ook kostbare geschiedenis,