Crawlen

Crawlen, wat is dat?

Crawlen of in het Engels Crawling is het proces waarbij zoekmachines zogenaamde Crawlers of Spiders op pad sturen om nieuwe internetpagina’s en vernieuwde pagina’s te vinden en te indexeren. De content wordt gevonden door links te volgen en op te slaan. Eerst worden er enkele webpagina’s opgezocht, vervolgens worden de koppelingen op deze pagina’s opgezocht en weer gevolgd. Zo zal de database van de zoekmachine steeds groter worden. Het is daarbij van belang dat deze zoektocht niet alleen volledig is, maar ook up-to-date. Omdat er webpagina’s zijn die veel of juist weinig bezocht worden is het mogelijk om als webmaster handmatig nieuwe of vernieuwde URL’s ter verificatie aan te bieden.

Hoe genereert Google webpagina’s?

Omdat Google veruit de meest populaire zoekmachine is, spreekt het voor zich om dit systeem als voorbeeld te nemen. De kenmerken en strategieën zullen voor een groot deel overeenkomen met andere zoekmachines. Dit zijn de twee basiselementen om zoekresultaten pagina’s te genereren.

1. Crawlen is de eerste stap om te bepalen welke pagina’s er bestaan op het internet. Er bestaat geen centraal register van webpagina’s, Google speurt 24/7 het internet af met als doel nieuwe pagina’s en content te vinden. De Spiders functioneren als internetgebruikers die niet beschikken over specifieke wachtwoorden of informatie. Wat achter een wachtwoord verstopt staat, of alleen met een betaald abonnement beschikbaar is zal niet geïndexeerd worden. Google zal nooit tegen betaling een website vaker Crawlen, ze zullen op basis van populariteit en nieuwswaarde zelf deze afweging maken.
2. Serving en Ranking is het proces waarbij alle informatie over websites gekoppeld wordt aan zoekopdrachten. Naast relevantie wordt ook rekening gehouden met zaken als pagina’s die Rich Media content zoals afbeeldingen en video bevatten, de laadsnelheid en optimalisatie voor mobiele toestellen.

Een handje helpen

Als iemand een webpagina heeft gemaakt of toegevoegd, dan kan de Spider een handje geholpen worden door een individuele URL door te geven aan Google. Een andere manier om meerdere pagina’s snel te updaten is het maken van een sitemap die Spiders kunnen lezen. Google ziet websites met minder dan duizend pagina’s als kleine websites, in dat geval kan de URL van de homepage worden doorgestuurd.

Niet alleen voor tekst

Bij het Crawlen wordt meer geïndexeerd dan het bestaan van de pagina of de aanwezige data. Er wordt steeds meer informatie opgeslagen, naast de tekst op de pagina worden ook afbeeldingen geïndexeerd evenals ingesloten content en doorverwijzingen. Niemand buiten Google weet precies welke ranking criteria er bestaan, al zijn de meeste ondertussen wel bekend. Daarbij wegen lang niet alle meetpunten even zwaar, SEO experts gaan bij voorkeur voor de verbeteringen die snel het meeste rendement opleveren.

De term ‘Crawlen’ sluit aan op het idee van internet als een Web, vandaar ook het gebruik van de term ‘Spiders’ die via links over het Wereldwijde Web ‘kruipen’.