7 elementen waar een zoek­machine naar kijkt

Deel 4 - Bereikbaarheid van je website

In dit vierde deel ga ik uitgebreid in op de bereikbaarheid van je website. Niet alleen voor bezoekers van je website, maar ook voor zoekmachines en SEO is het funest als hier iets mis gaat. In deze blog ligt de focus meer op de technische kant van SEO. Hoe voorkom je problemen met de bereikbaarheid van je website? Lees in deze blog meer over canonical tags, robots.txt en robots meta tags. 

 

Bereikbaarheid van je website 

Dat de bereikbaarheid van je website invloed heeft op je organische resultaten lijkt heel logisch. Toch wordt vaak onderschat hoeveel elementen invloed kunnen hebben op de bereikbaarheid. 

 

Zo kan er vanalles mis gaan. Een website kan om verschillende redenen offline zijn. Het opvragen van een pagina kan een 404 opleveren. Het kan ook zo zijn dat een bezoeker wél op je pagina kan komen, maar een zoekmachine niet. Of een pagina kan of mag niet geïndexeerd worden door zoekmachines. 
Dit kan verschillende oorzaken hebben. De drie meest voorkomende oorzaken zijn: 

  1. De canonical tag is verkeerd ingesteld.
  2. De robots.txt voorkomt dat een zoekmachine de pagina of website mag indexeren.
  3. Er wordt gebruik gemaakt van iframes.

 

“Dat de bereikbaarheid van je website invloed heeft op je organische resultaten lijkt heel logisch. Toch wordt vaak onderschat hoeveel elementen invloed kunnen hebben op de bereikbaarheid.”

 

De canonical tag is verkeerd ingesteld

De canonical tag voorkomt dubbele content op je website waardoor er op meerdere locaties dezelfde informatie wordt gegeven. Gebruik maken van een canonical tag is handig als je bijvoorbeeld een blog hebt waarbij één bericht onder meerdere categorieën  valt en daardoor op meerdere plekken bereikbaar is.

 

Door de pagina’s een canonical tag mee te geven weet de zoekmachine welke van de pagina’s geïndexeerd dient te worden en welke pagina’s buiten beschouwing mogen worden gelaten. 

 

Zo ziet een canonical tag er uit in de code: 
<link rel=”canonical” href=”http://domein.nl/categorie/bericht” />

 

De canonical tag is een erg handige metatag, mits hij goed wordt gebruikt. Het probleem ontstaat als een canonical tag een verkeerde verwijzing heeft. 

 

Voorbeeld:
Stel: je hebt een blog over honden en hondenvoer. Je schrijft een bericht over welk type hondenvoer het beste is voor welk hondenras. Omdat je verschillende categorieën hebt voor verschillende hondenrassen zal dit bericht op meerdere locaties terugkomen. Om te voorkomen dat het blogbericht meerdere keren wordt geïndexeerd en een zoekmachine daarmee denkt dat je website dubbele content bezit, voeg je een canonical tag toe aan de pagina. Omdat je nog niet zeker weet welke pagina het beste is om te laten indexeren, vul je alvast <link rel=”canonical” href=”http://domein.nl/” /> in. Vervolgens plaats je het bericht, maar vergeet je de canonical tag aan te passen. Ai! Een zoekmachine zal je bericht nu herkennen als http:/domein.nl en de waardevolle content over hondenvoer niet indexeren.

 

In bovenstaand voorbeeld kunnen bezoekers de pagina gewoon bereiken. Helaas zal een zoekmachine de pagina niet meenemen in zijn indexatie en om die reden ook geen resultaat kunnen meegeven in de organische zoekresultaten. Hij denkt dat de pagina http:/domein.nl is in plaats van de daadwerkelijke locatie. 

 

“De canonical tag is een erg handige metatag, mits hij goed wordt gebruikt. Het probleem ontstaat als een canonical tag een verkeerde verwijzing heeft. “

 

Een gemiste kans om op de zoektermen in dit bericht goede posities te behalen. Daarnaast is het vervelend dat als een zoekmachine de pagina eenmaal heeft gecategoriseerd als een niet te indexeren pagina, het zeer lang duurt voordat hij weer in de zoekresultaten verschijnt. Mocht je de gevolgen van een verkeerd ingestelde canonical tag willen herstellen, dan raad ik sterk aan om de pagina te hernoemen en in zijn geheel opnieuw te laten indexeren. Dit werkt vaak sneller dan de canonical tag aanpassen.

 

Helaas kun je niet automatisch controleren of je canonicals juist zijn ingesteld als je ze handmatig hebt toegevoegd. Er zijn wel een paar punten die er op wijzen dat dit misschien het geval is:

  1. De pagina komt lange tijd niet voor in de zoekresultaten, terwijl je dit al wel had verwacht.
  2. Via Google Analytics wordt duidelijk dat er geen organisch verkeer binnen komt op de pagina. 

 

De robots.txt voorkomt dat een zoekmachine de pagina of website mag indexeren

Een robots.txt document zorgt ervoor dat bepaalde locaties van je website niet geïndexeerd worden. Vaak worden elementen als de admin of login hierin opgenomen. Ook kunnen css- en javascript bestanden worden uitgesloten om er voor te zorgen dat zoekmachines zo efficiënt mogelijk je website indexeren. Het is niet per definitie verkeerd om een robots.txt aan je website toe te voegen. In sommige gevallen is het zelfs aan te raden. 

 

Maar in veel gevallen gaat het ook mis. Bijvoorbeeld als iemand teveel uitsluit in het robots.txt bestand. Ook het uitsluiten van afbeeldingen in robots.txt kan voor problemen zorgen. Met het uitsluiten van afbeeldingen in de robots.txt worden deze niet meer opgenomen in de zoekresultaten. Maar afbeeldingen zijn wel vaak een bron om informatie in te winnen en daarmee dus een goede mogelijkheid om bezoekers te genereren voor je website.

 

Ook gaat het wel eens mis bij het uitsluiten van een bepaalde extensie,  zoals .php of .html. Stel,  de meeste pagina’s binnen de website hebben een nette URL structuur en de extensie is daarom verwijderd van de URL. De URL wordt dan bijvoorbeeld http://domein.nl/hondenvoer/ in plaatst van http://domein.nl/hondenvoer.php. Mocht je later alsnog een pagina aan de website toevoegen met de uitgesloten extensie, dan zal deze niet worden opgenomen in de zoekresultaten.

 

In het meest extreme geval wordt per ongeluk de hele website uitgesloten van de zoekresultaten. Deze fout komt vaak voor bij een nieuwe website. Omdat je niet wilt dat de testversie opgenomen wordt in de zoekresultaten wordt de website in de robots.txt compleet uitgesloten. Vervolgens wordt bij livegang van de nieuwe website vergeten het stukje code aan te passen dat de gehele website uitsluit voor zoekresultaten. Hierdoor zeg je tegen een zoekmachine dat je website niet geïndexeerd mag worden en blijft een positie in de organische zoekresultaten geheel uit.

 

“In het meest extreme geval wordt per ongeluk de hele website uitgesloten van de zoekresultaten.”


Controleer te allen tijde bij het live gaan van een nieuwe website of de volgende regel nog in je robots.txt staat:
User-agent: *
Disallow: /


Als deze deze er nog staat, dan dien je hem te verwijderen om door zoekmachines geïndexeerd te kunnen worden.. Je kunt de robots.txt inzien door aan je URL het volgende stukje toe te voegen: /robots.txt (http://domein.nl/robots.txt). Mocht je nu een 404 krijgen, dan is er geen robots.txt aanwezig.

 

Om problemen met de robots.txt te voorkomen kun je gebruik maken van de robots.txt-tester van Google. Hiervoor dien je wel Search Console geïmplementeerd te hebben. Als Google Search Console problemen verwacht binnen het robots.txt bestand, dan maakt hij dat inzichtelijk.

 

Je maakt gebruik van een robots meta tag die pagina’s uitsluit.

Een andere methode om zoekmachines aan te geven dat ze een pagina wel of niet mogen indexeren is door gebruik te maken van een robots meta tag: <meta name=”robots” content=”index, follow” />. Ook deze tag kun je voor verschillende doeleinden gewoon gebruiken. Met een robots meta tag kun je:

  • Bepalen of een zoekmachine je website mag indexeren of niet.
  • Bepalen of een zoekmachine de links op je pagina mag volgen of niet.
  • Bepalen of een zoekmachine de content op de pagina mag cache of niet.
  • Bepalen of zoekmachines afbeeldingen op de pagina mag indexeren of niet.

 

De volgende elementen kun je opnemen in je meta tag:

  • Index/noindex: of pagina’s worden opgenomen in de zoekresultaten.
  • Follow/nofollow: of links op de pagina worden gevolgd.
  • Archive/noarchive: of de content wordt gearchiveert in de zoekresultaten.
  • Imageindex/noimageindex: of afbeeldingen op de pagina getoond mogen worden.

Je kunt de verschillende bepalingen ook combineren. Zo kun je kan bijvoorbeeld zeggen:
<meta name=”robots” content=”noarchive, index, follow” />. Deze regel geeft dus aan dat de pagina mag worden geïndexeerd (index), dat de links op de pagina’s mogen worden gevolgd (follow) en dat de content op de pagina niet wordt getoond in de zoekresultaten van de zoekmachines (noarchive).

 

De meta regel hierboven is een goed voorbeeld voor een website die gekoppeld is aan een beurs. Hierbij kan het zijn dat de getallen op de pagina elke vijf minuten worden aangepast. Het kan dan verwarrend zijn als prijzen in de zoekresultaten niet overeenkomen met de prijzen op je website. 

 

“Als er op een pagina noindex en nofollow staat, dan zal een zoekmachine deze pagina niet indexeren en de links op de niet pagina volgen.”

 

In zo’n geval kan het gebruik van een robots meta tag dus nodig zijn. Helaas gaat het ook hier soms mis. Als er op een pagina noindex en nofollow staat, dan zal een zoekmachine deze pagina niet indexeren en de links op de niet pagina volgen. Dit kan gevolgen hebben voor de indexatie van alle verbonden pagina’s. Zeker als de robots meta tag op de indexpagina staat zullen veel onderliggende pagina’s ook niet worden opgenomen in de zoekresultaten.

 

Om te controleren of alles goed gaat, kun je handmatig nagaan of er een robots meta tag op je website staat. Als dit zo is, dan vind je deze bijna altijd terug in de head van de code van je website.  Ook kun je gebruik maken van Google Search Console om fouten op te sporen.

 

Naast de dingen die mis kunnen gaan met je canonical tags en je robots.txt kan het ook voorkomen dat een zoekmachine op andere punten vastloopt, zo kan het zijn dat de code van je menu niet te indexeren is, of dat je website is opgebouwd in flash of frames. Afbeeldingen zonder benaming kunnen voor problemen zorgen. Maar ook beveiligingsfouten, malware of virussen zorgen ervoor dat zoekmachines niet op je website willen komen en bezoekers hier zelfs ook voor waarschuwen. 

 

Tools en controle

Het is  slim om Google Analytics en Google Search Console te implementeren in je website. Hiermee hou je in de gaten of er ergens in je website fouten optreden. Met het analyseren van je data zie je ook of bepaalde verwachtingen worden waargemaakt. Mocht dit niet het geval zijn (je ziet bijvoorbeeld dat er geen organisch verkeer binnenkomt op je pagina’s) dan kun je vervolgens handmatig nagaan wat er mis gaat binnen je website.

 

Dit artikel laat zien dat een kleine fout grote gevolgen heeft voor de bereikbaarheid van je website. Volgende week zal ik de laatste uit een reeks van vijf berichten plaatsen over “7 elementen waar een zoekmachine naar kijkt”. Houd onze blog in de gaten of meld je aan voor de nieuwsbrief als je op de hoogte wil blijven van het laatste nieuws.

 

Op zoek naar meer?

SEO
Whitepaper

10 punten voor een
SEO check van je website.

 

Downloaden