Google Webmaster Tools handleiding: aanmelden en problemen oplossen

Google Webmaster Tools is een verzameling gratis tools waarmee je problemen met je website oplost en je website beter vindbaar maakt voor Google. Je krijgt als gebruiker geen voorkeurspositie, maar wel inzicht in hoe Google jouw website ziet. Zijn er fouten? Kan Google alle pagina’s vinden? Op welke zoekwoorden word je gevonden? Welke pagina’s zijn populair? Google Webmaster Tools (GWT) helpt je daarbij. Waarom doet Google dat? Omdat Google gebaat is bij zoveel mogelijk goedwerkende websites. In dit blog leg ik alle verschillende onderdelen uit als een soort ultieme Google Webmaster Tools handleiding… maar eerst een korte introductievideo.
Ga naar https://www.google.com/webmasters/tools/home?hl=nl. Hiervoor heb je een standaard Google account voor nodig. Met de rode knop rechtsbovenin Site toevoegen voeg je je site toe.
De volgende stap kan lastig zijn: het verifiëren van de website. De aanbevolen methode van site verifiëren is via Google Analytics, en daarnaast biedt Google vier alternatieve methoden aan:
Veel manieren dus, waarvan via Google Analytics gewoon het meest gemakkelijkste werkt.
Ik maak zelf gebruik van Bloeise.nl. Tik je www.Bloeise.nl in, dan springt de browser naar Bloeise.nl. Je kan beide domeinnamen toevoegen, (verifiëren gaat bij beiden hetzelfde en het heeft verder geen effect), maar ik raad aan om juist je preferred domain in te stellen. Je geeft dan bij Google aan dat MET of ZONDER “WWW” je voorkeur heeft. Doe je dit niet en werken beide sites even goed, dan denkt Google dat je 2 gelijke sites hebt draaien. Iedere pagina ziet Google dan dubbel, en Google weet niet welk domein wanneer getoond moet worden. Alle pagerank verspreidt zich dan, en dat is slecht voor je vindbaarheid. Google noemt dit duplicate content.
Ga rechtsbovenin naar het tandwiel, en klik op Site-instellingen.
Wanneer je je preferred domain instelt, dan zal Google:
Het Dashboard bestaat uit:
Nu hebben we een site toegevoegd en geverifieerd. Google Webmaster Tools is voor twee zaken:
Ik ga eerst in op het oplossen van problemen, door het behandelen van siteberichten, crawlfouten, crawlstatistieken, Robots.txt-tester, sitemaps, URL-parameters en beveiligingsproblemen. Niet de meest interessante materie, maar wel belangrijk om je site foutloos te laten draaien. Een andere manier is om zelf door GWT heen te klikken, ieder menu-item te bekijken, en als je wat opvalt, Google’s uitleg verder te lezen. Toch kan het geen kwaad om op de hoogte te zijn van alles wat mis kan gaan… voordat het zover is en je site niet meer gevonden wordt.
Siteberichten moet je altijd lezen. Na het verifiëren van een website krijg je voor ieder sitebericht ook een mail togestuurd. Het zijn vaak alleen mededelingen (“preffered domain gewijzigd” bijvoorbeeld), maar Google informeert je zo ook als er echt iets goed mis is met je website, denk aan: malware, Google penalty, “Googlebot heeft geen toegang tot uw site” (dus je site wordt niet getoond in Google), “toename van het aantal serverfouten”, toename van het aantal 404 meldingen etcetera. Alle siteberichten kun je achteraf nalezen als een logboek.
Krijgt Google geen toegang tot je site? Loop dan de volgende tips na:
Verder kan de server er tijdelijk uitliggen (van je domeinprovider of hostingprovider) of kan Google zelf een klein foutje maken.
Google bezoekt en indexeert je website met een klein programma: Googlebot. Ieder probleem dat Googlebot ziet, rapporteert Google Webmaster Tools als Sitefouten en URL-fouten. Sitefouten zijn crawlerrors waarbij Googlebot het gehele domein niet kon bezoeken: de hele web site geeft dan een error. Die zijn dus belangrijk om direct op te lossen. URL-fouten zijn specifiek voor een bepaalde URL. Google verwacht dat een link van de ene site naar de andere site, resulteert in een goed werkende webpagina. Iedere keer dat een link eindigt op een niet bestaande pagina, geeft een foutcode (Google noemt het een reactiecode). Iedere foutcode staat voor een ander probleem. Heb je veel foutcodes? Dan denk Google dat je site slecht is. En dus het regelmatig indexeren niet waard is.
De volgende crawlfouten zijn mogelijk:
Belangrijk om te weten is dat een 404 ook al kan komen, wanneer een andere pagina verwijst naar een niet bestaande pagina, bijvoorbeeld door een spelfout. Wanneer je dan klikt op http:/www.bloeise.nl/dezepaginabestaatniet , levert dat bij mij een 404 melding op. Wanneer je echter een pagina hernoemt, bijvoorbeeld van http://www.bloeise.nl/facebookmarketing naar http://www.bloeise.nl/facebook-marketing, dan zal iedere deeplink naar de eerste versie een 404 melding genereren. Tenzij je de oude URL doorlinkt naar de nieuwe URL met een 301 verwijzing. Een 301 verwijzing doet de websitebeheerder op de server, en is alleen maar de instelling: http://www.bloeise.nl/facebookmarketing = http://www.bloeise.nl/facebook-marketing. Ook wanneer je een pagina verwijderd en er wordt nog naar verwezen, dan levert dat een 404 melding op die je met een 301 verwijzing oplost. Wordt je website vernieuwd? Dring er dan op aan dat AL je oude links worden doorgelinkt naar nieuwe links. Op die manier blijf je goed vindbaar in Google.
De server zegt dat de pagina wel bestaat, maar voor de gebruiker is het duidelijk dat de pagina niet bestaat. In dat geval wordt het ook voor de Googlebot duidelijk: die pagina is er niet. Soft 404 meldingen kunnen problemen geven met indexeren (verkeerde pagina wordt geindexeerd). Op te lossen door de server een 404 melding te laten geven. Zie verdere toelichting Zachte 404 meldingen.
Googlebot kan niet verder. Dat kan komen door Flash of Javascript. Dit zijn programmeertalen waarmee je hele bijzondere dingen kan doen (actieve content), maar wat Googlebot niet zo goed kan lezen. Een andere reden kan zijn dat een redirect verkeerd geplaatst is: http://www.bloeise.nl/facebookmarketing verwijst naar http://www.bloeise.nl/facebook-marketing, die weer verwijst naar http://www.bloeise.nl/facebookmarketing. Zie toelichting van Google op De fout ‘URL’s niet gevolgd’ verhelpen.
De URL bestaat wel, maar wordt niet gezien door Googlebot. Bijvoorbeeld wanneer een pagina alleen bekeken kan worden na het inloggen. Er zijn een aantal oplossingen: maak de pagina gewoon vrij toegankelijk, geef Googlebot als gebruiker toegang (nogal een dingetje om op te zetten) of informeer Googlebot dat deze pagina niet bekeken hoeft te worden. Geef die URL dan op in robots.txt als disallow. Ook dan komt een toegang geweigerd melding, maar die heb je zelf ingesteld. Andere reden kan zijn dat de hosting provider de toegang heeft geblokkeerd.
Crawlstatistieken staan net zoals crawlfouten onder het menu-item Crawlen. Hier zie je de Googlebot activiteit op je website de afgelopen 90 dagen:
Er zitten vaak pieken en dalen in. Maar is er echt sprake van een trend, zoals een sterke daling, dan kan er wat aan de hand zijn. Bijvoorbeeld dat er duplicate content is ontdekt op je site of een groei in foutmeldingen. Het kan ook het gevolg zijn van een Google Panda update: de kwaliteit van je site is als onvoldoende gekwalificeerd. De Googlebot werkt met een ‘crawl budget‘: een beperkte hoeveelheid tijd, bandbreedte en serverruimte. Een site met veel problemen en lage kwaliteit krijgt minder crawlbudget. Ook hoe vaak er nieuwe content verschijnt heeft impact op het crawl budget.
Ik noemde het probleem dat “disallow:/” kan geven: Googlebot indexeert dan je hele website niet. Een ander probleem kan zijn dat al je afbeeldingen niet worden geïndexeerd (al eens bij Joomla websites gezien) terwijl mensen ook juist zoeken op afbeeldingen. Dat soort zoekacties zijn heel specifiek, en kunnen dus ook voor specifieke producten zijn. Maar nog even terug: wat doet Robots.txt? Het is een instructie voor Googlebot en andere zoekmachinecrawlers, hoe ze jouw website moeten lezen. Een kaart: bezoek deze pagina’s of directories wel (allow) of niet. (disallow) Het kan nog steeds voorkomen dat een externe site wel verwijst naar een pagina die geblokkeerd staat in Robots.txt en daarom wel via Google vindbaar is. Verplaats die pagina dan even, of maak de content alleen toegankelijk met een wachtwoord, of voeg een noindex metatag toe in de head-sectie van de pagina.
Robots.txt-tester laat je je eigen Robots.txt bestand zien en bewerken. Typisch staan CMS directories op disallow. Het is gebruikelijk om met Robots.txt ook te verwijzen naar je sitemap.
Een sitemap vertelt de Googlebot wat er allemaal op je website staat: een soort van menukaart. Zo wijs je Google op een gestructureerde manier op je content. Klinkt belangrijk? Is het ook. Google komt sneller langs, vindt content sneller en vollediger. Voor afbeeldingen en video is ook een aparte sitemap mogelijk. Onder het gedeelte sitemaps in GWT zie je hoeveel webpagina’s en afbeeldingen erin je sitemap staan, en hoeveel er zijn geïndexeerd. De indexatie kan iets achterlopen. Rechtsbovenin voeg je een nieuwe sitemap toe en kun je deze ook eerst testen:
Dus hoe kom je aan een sitemap.xml bestand? Typisch een taak voor de websitebouwer, als onderdeel van het opleveren van je website. De sitemap moet wel automatisch worden bijgehouden. Voor WordPress gebruikers bestaat hier een handige gratis plugin voor, WordPress SEO by Yoast (inderdaad van een Nederlander genaamd Joost).
Let op: de XML Sitemap moet volgens een bepaalde opmaak worden aangemaakt: de Sitemap Protocol. Er zijn legio validators voor Validome.org. Heb je een hele grote website met veel webpagina’s? Dan kun je in één Sitemapindexbestand verwijzen naar meerdere sitemaps.
Voor de volledigheid: URL-parameters. Zie je onderstaande tekst: “Googlebot ondervindt momenteel geen problemen met de dekking van uw site..” ? Doorlopen, hier is niks te zien.
Waarom zeg ik dat? URL-parameters is alleen voor als je echt weet wat je doet. Denk je dat je hier echt wat mee doen, dan raad ik aan om meerdere bronnen en specialisten te raadplegen, bijvoorbeeld Idesthost, voordat je actie onderneemt. Ik heb er zelf nog niet mee te maken gehad. Met URL parameters leg je aan Googlebot uit dat meerdere URL’s eigenlijk bij elkaar horen als één URL. Wanneer is dat nodig? Bij een session-id, of wanneer een sortering resulteert in een nieuwe URL, terwijl de informatie echt hetzelfde is. Bijvoorbeeld een webshop fietsen, met dezelfde informatie op de pagina rode fietsen en zwarte fietsen. Alleen de foto verschilt. Dat zou dan duplicate content opleveren, wat onwenselijk is voor je Google vindbaarheid. Gebruik je URL-parameters verkeerd, dan verlies je zichtbaarheid in Google op pagina’s waar niks mee aan de hand was. Niet voor niets dus dat Google je er met bovenstaande melding expliciet op wijst.
Beveiligingsproblemen krijg je van Google te horen via Siteberichten. Een probleem kan zijn dat je website gehacked is en schadelijke software (malware) verspreid. Nee dat is niet best. Zit alles goed, dan krijg je de volgende melding:
Wordt je gewezen op een beveiligingsprobleem, dan betekent dat Google gebruikers een waarschuwing zien bij jouw URLS wanneer die in Google worden getoond. Niemand klikt er dan meer op. De volgende stappen zijn raadzaam:
Het volgende gedeelte, Google Webmaster Tools: beter vindbaar in Google, zet ik op een volgende pagina.
Praktische opsomming van bronnen om GWT beter mee te leren gebruiken:
Google Webmaster Tools Google+ pagina
Hier vind je een opsomming van andere ondersteunende diensten van Google:
Hulpprogramma voor het testen van gestructureerde gegevens | Gebruik het Hulpprogramma voor het testen van gestructureerde gegevens om te controleren of Google uw gestructureerde gegevensopmaak correct kan verwerken en kan weergeven in de zoekresultaten. |
Helper voor gestructureerde gegevensopmaak | Weet u niet zeker hoe u aan de slag moet gaan met het toevoegen van gestructureerde gegevensopmaak aan uw HTML? Probeer dit gebruiksvriendelijke hulpprogramma. |
Tester voor e-mailmarkeringen | Valideer de gestructureerde gegevensinhoud van een HTML-e-mail met de tester voor e-mailmarkeringen. |
Google Places | Uit onderzoek blijkt dat 97% van de consumenten op internet naar lokale bedrijven zoekt. Zorg daarom dat uw bedrijf makkelijk vindbaar is met Google Places: een gratis lokaal platform van Google. |
Google Merchant Center | De plaats waar u uw productgegevens kunt uploaden naar Google en deze beschikbaar kunt stellen voor Google Shopping en andere Google-services. |
PageSpeed Insights | Gebruik PageSpeed Insights om na te gaan hoe u uw webpagina’s snel kunt maken op alle apparaten. |
Aangepast zoeken | Gebruik de kracht van Google om een aangepaste zoekervaring te maken voor uw eigen website. |
Dit is het tweede blog van een serie blogs over de Basiskennis van Online Marketing
Geef je reactie: