Google Webmaster Tools is voor iedereen met een website

Google Webmaster Tools is een verzameling gratis tools waarmee je problemen met je website oplost en je website beter vindbaar maakt voor Google. Je krijgt als gebruiker geen voorkeurspositie, maar wel inzicht in hoe Google jouw website ziet. Zijn er fouten? Kan Google alle pagina’s vinden? Op welke zoekwoorden word je gevonden? Welke pagina’s zijn populair? Google Webmaster Tools (GWT) helpt je daarbij.  Waarom doet Google dat? Omdat Google gebaat is bij zoveel mogelijk goedwerkende websites. In dit blog leg ik alle verschillende onderdelen uit als een soort ultieme Google Webmaster Tools handleiding… maar eerst een korte introductievideo.

Aanmelden bij Google Webmaster Tools

Ga naar https://www.google.com/webmasters/tools/home?hl=nl. Hiervoor heb je een standaard Google account voor nodig. Met de rode knop rechtsbovenin Site toevoegen voeg je je site toe.

Site verifiëren bij Google Webmaster Tools

De volgende stap kan lastig zijn: het verifiëren van de website. De aanbevolen methode van site verifiëren is via Google Analytics, en daarnaast biedt Google vier alternatieve methoden aan:

1. Google Analytics (AANBEVOLEN): let op dat je ingelogd bent met hetzelfde Google account als waarmee je inlogt bij Google Analytics. Klik direct op verifiëren. De volgende instellingen zijn ook van belang, maar zijn typisch al goed ingevuld: gebruik de asynchrone trackingscode, zet deze in hetgedeelte van de de pagina en je hebt bewerkingsrechten nodig in Google Analytics. Lukt het niet? Kijk op het
   GWT forum bij verifiëren

   .

2. HTML bestand uploaden: eerst download je een HTML bestand, die je vervolgens zelf moet uploaden naar je website, in de standaard directory, dus bijvoorbeeld www.mijnsite.nl/htmlbestand.html. Klik daarna op verifiëren. Het bestand moet je laten staan.
3. HTML-tag: deze methode werkt zoals het HTML bestand uploaden.  Kopieer een gegeven metatag en plak die in degedeelte van de  startpagina van je site, vóór het eerste-gedeelte.
4. Domeinprovider: eerst moet je je aanmelden bij je domeinprovider. Dat is de hostingpartij van je website. Google geeft je vervolgens de stappen om je website te verifiëren met een unieke beveiligingscode.
5. Google Tag Manager: Dit is een redelijke nieuwe tool waarmee je tags toevoegt aan je site. Zo kan Google je site gemakkelijker indexeren. Zie http://www.google.com/tagmanager/.  Gebruik je GTM? Dan kun je net zoals met Google Analytics direct verifiëren.

Veel manieren dus, waarvan via Google Analytics gewoon het meest gemakkelijkste werkt.

Preferred domain instellen

Ik maak zelf gebruik van Bloeise.nl. Tik je www.Bloeise.nl in, dan springt de browser naar Bloeise.nl. Je kan beide domeinnamen toevoegen, (verifiëren gaat bij beiden hetzelfde en het heeft verder geen effect), maar ik raad aan om juist je preferred domain in te stellen. Je geeft dan bij Google aan dat MET of ZONDER “WWW” je voorkeur heeft. Doe je dit niet en werken beide sites even goed, dan denkt Google dat je 2 gelijke sites hebt draaien. Iedere pagina ziet Google dan dubbel, en Google weet niet welk domein wanneer getoond moet worden. Alle pagerank verspreidt zich dan, en dat is slecht voor je vindbaarheid. Google noemt dit duplicate content.

Ga rechtsbovenin naar het tandwiel, en klik op Site-instellingen.

Wanneer je je preferred domain instelt, dan zal Google:

• De links naar https://bloeise.nl/voorbeeld en http://www.bloeise.nl/voorbeeld als gelijke links beschouwen.
• Daarna zal Google doorlinken naar het voorkeursdomein.

Google Webmaster Tools Dashboard

Het Dashboard bestaat uit:

• Nieuw en Belangrijk (siteberichten)
• Huidige status (Crawlfouten, zoekopdrachten, sitemaps)
• Menu (links)

Nu hebben we een site toegevoegd en geverifieerd.  Google Webmaster Tools is voor twee zaken:

1. Fouten en problemen met je site voorkomen en oplossen: log met enige regelmaat in op Google Webmaster Tools om te verifiëren of er geen fouten zijn om op te lossen, afhankelijk van het belang van je website iedere maand of week.
2. Zoekmachineoptimalisatie om beter vindbaar in Google te zijn: een site is een middel dat geld kost en daarom geld moet opleveren. Zoekoptimalisatie is belangrijk om meer uit je website te halen.

Ik ga eerst in op het oplossen van problemen, door het behandelen van siteberichten, crawlfouten, crawlstatistieken, Robots.txt-tester, sitemaps, URL-parameters en beveiligingsproblemen. Niet de meest interessante materie, maar wel belangrijk om je site foutloos te laten draaien. Een andere manier is om zelf door GWT heen te klikken, ieder menu-item te bekijken, en als je wat opvalt, Google’s uitleg verder te lezen. Toch kan het geen kwaad om op de hoogte te zijn van alles wat mis kan gaan… voordat het zover is en je site niet meer gevonden wordt.

Siteberichten

Siteberichten moet je altijd lezen. Na het verifiëren van een website krijg je voor ieder sitebericht ook een mail togestuurd. Het zijn vaak alleen mededelingen (“preffered domain gewijzigd” bijvoorbeeld), maar Google informeert je zo ook als er echt iets goed mis is met je website, denk aan: malware, Google penalty, “Googlebot heeft geen toegang tot uw site” (dus je site wordt niet getoond in Google), “toename van het aantal serverfouten”, toename van het aantal 404 meldingen etcetera. Alle siteberichten kun je achteraf nalezen als een logboek.

Krijgt Google geen toegang tot je site? Loop dan de volgende tips na:

• Bekijk robots.txt. Staat hier “disallow:/”, dan leest Google dit als: de hele website niet indexeren. Oops. Dit probleem kun je ook verifiëren door te googelen op je website url. Google geeft dan als omschrijving: “Er is geen beschrijving beschikbaar voor dit resultaat vanwege robots.txt – meer informatie.”
• Maak je gebruik van WordPress? Loop dan de instellingen na in WordPress onder Instellingen > Lezen en zorg dat er geen vinkje staat bij ‘Blokkeer zoekmachines deze site te indexeren‘
• Maak je zelf je site? Bel iemand op om naar je site op te zoeken. Het kan zijn dat het programma waarmee je je site maakt, verwijst naar je pc en niet naar de bestanden op de server. Bijvoorbeeld: C:UsersGebruikerBloeiseindex.html in plaats van https://bloeise.nl/index.html. Jij ziet dan wel je site, omdat jouw programma wel die bestanden ziet, maar op een andere pc ziet iemand dat niet.

Verder kan de server er tijdelijk uitliggen (van je domeinprovider of hostingprovider) of kan Google zelf een klein foutje maken.

Crawlfouten

Google bezoekt en indexeert je website met een klein programma: Googlebot. Ieder probleem dat Googlebot ziet, rapporteert Google Webmaster Tools als Sitefouten en URL-fouten. Sitefouten zijn crawlerrors waarbij Googlebot het gehele domein niet kon bezoeken: de hele web site geeft dan een error. Die zijn dus belangrijk om direct op te lossen. URL-fouten zijn specifiek voor een bepaalde URL. Google verwacht dat een link van de ene site naar de andere site, resulteert in een goed werkende webpagina. Iedere keer dat een link eindigt op een niet bestaande pagina, geeft een foutcode (Google noemt het een reactiecode). Iedere foutcode staat voor een ander probleem. Heb je veel foutcodes? Dan denk Google dat je site slecht is. En dus het regelmatig indexeren niet waard is.

De volgende crawlfouten zijn mogelijk:

• Niet gevonden. URL’s die een 404 error geven.
• Soft 404. URL’s die technisch wel op de server bestaan (200 okay code geven) maar zoals Google het begrijpt uit de web pagina zouden ze eigenlijk een 404 moeten geven.
• Niet gevolgd. Een URL die niet te volgen is. De inhoud is moeilijk leesbaar voor de Googlebot, of de pagina blijft doorverwijzen naar zichzelf.
• Toegang geweigerd. Googlebot heeft geen toegang tot een bepaalde URL.

404 meldingen oplossen

Belangrijk om te weten is dat een 404 ook al kan komen, wanneer een andere pagina verwijst naar een niet bestaande pagina, bijvoorbeeld door een spelfout. Wanneer je dan klikt op http:/www.bloeise.nl/dezepaginabestaatniet , levert dat bij mij een 404 melding op. Wanneer je echter een pagina hernoemt, bijvoorbeeld van http://www.bloeise.nl/facebookmarketing naar http://www.bloeise.nl/facebook-marketing, dan zal iedere deeplink naar de eerste versie een 404 melding genereren. Tenzij je de oude URL doorlinkt naar de nieuwe URL met een 301 verwijzing. Een 301 verwijzing doet de websitebeheerder op de server, en is alleen maar de instelling: http://www.bloeise.nl/facebookmarketing = http://www.bloeise.nl/facebook-marketing. Ook wanneer je een pagina verwijderd en er wordt nog naar verwezen, dan levert dat een 404 melding op die je met een 301 verwijzing oplost. Wordt je website vernieuwd? Dring er dan op aan dat AL je oude links worden doorgelinkt naar nieuwe links. Op die manier blijf je goed vindbaar in Google.

Soft 404 meldingen oplossen

De server zegt dat de pagina wel bestaat, maar voor de gebruiker is het duidelijk dat de pagina niet bestaat. In dat geval wordt het ook voor de Googlebot duidelijk: die pagina is er niet. Soft 404 meldingen kunnen problemen geven met indexeren (verkeerde pagina wordt geindexeerd). Op te lossen door de server een 404 melding te laten geven.  Zie verdere toelichting Zachte 404 meldingen.

Niet gevolgd meldingen oplossen

Googlebot kan niet verder. Dat kan komen door Flash of Javascript. Dit zijn programmeertalen waarmee je hele bijzondere dingen kan doen (actieve content), maar wat Googlebot niet zo goed kan lezen. Een andere reden kan zijn dat een redirect verkeerd geplaatst is: http://www.bloeise.nl/facebookmarketing verwijst naar http://www.bloeise.nl/facebook-marketing, die weer verwijst naar http://www.bloeise.nl/facebookmarketing.  Zie toelichting van Google op De fout ‘URL’s niet gevolgd’ verhelpen.

Toegang geweigerd meldingen oplossen

De URL bestaat wel, maar wordt niet gezien door Googlebot. Bijvoorbeeld wanneer een pagina alleen bekeken kan worden na het inloggen. Er zijn een aantal oplossingen: maak de pagina gewoon vrij toegankelijk, geef Googlebot als gebruiker toegang (nogal een dingetje om op te zetten) of informeer Googlebot dat deze pagina niet bekeken hoeft te worden. Geef die URL dan op in robots.txt als disallow. Ook dan komt een toegang geweigerd melding, maar die heb je zelf ingesteld. Andere reden kan zijn dat de hosting provider de toegang heeft geblokkeerd.

Crawlstatistieken

Crawlstatistieken staan net zoals crawlfouten onder het menu-item Crawlen. Hier zie je de Googlebot activiteit op je website de afgelopen 90 dagen:

• Per dag gecrawlde pagina’s
• Per dag gedownloade kilobytes
• Tijd voor het downloaden van een pagina (in milliseconden)

Er zitten vaak pieken en dalen in. Maar is er echt sprake van een trend, zoals een sterke daling, dan kan er wat aan de hand zijn.  Bijvoorbeeld dat er duplicate content is ontdekt op je site of een groei in foutmeldingen. Het kan ook het gevolg zijn van een Google Panda update: de kwaliteit van je site is als onvoldoende gekwalificeerd. De Googlebot werkt met een ‘crawl budget‘:  een beperkte hoeveelheid tijd, bandbreedte en serverruimte. Een site met veel problemen en lage kwaliteit krijgt minder crawlbudget. Ook hoe vaak er nieuwe content verschijnt heeft impact op het crawl budget.

Robots.txt-tester

Ik noemde het probleem dat “disallow:/” kan geven: Googlebot indexeert dan je hele website niet. Een ander probleem kan zijn dat al je afbeeldingen niet worden geïndexeerd (al eens bij Joomla websites gezien) terwijl mensen ook juist zoeken op afbeeldingen. Dat soort zoekacties zijn heel specifiek, en kunnen dus ook voor specifieke producten zijn. Maar nog even terug: wat doet Robots.txt? Het is een instructie voor Googlebot en andere zoekmachinecrawlers, hoe ze jouw website moeten lezen. Een kaart: bezoek deze pagina’s of directories wel (allow) of niet. (disallow) Het kan nog steeds voorkomen dat een externe site wel verwijst naar een pagina die geblokkeerd staat in Robots.txt en daarom wel via Google vindbaar is. Verplaats die pagina dan even, of maak de content alleen toegankelijk met een wachtwoord, of voeg een noindex metatag toe in de head-sectie van de pagina.

Robots.txt-tester laat je je eigen Robots.txt bestand zien en bewerken. Typisch staan CMS directories op disallow. Het is gebruikelijk om met Robots.txt ook te verwijzen naar je sitemap.

Sitemaps

Een sitemap vertelt de Googlebot wat er allemaal op je website staat: een soort van menukaart. Zo wijs je Google op een gestructureerde manier op je content. Klinkt belangrijk? Is het ook. Google komt sneller langs, vindt content sneller en vollediger. Voor afbeeldingen en video is ook een aparte sitemap mogelijk. Onder het gedeelte sitemaps in GWT zie je hoeveel webpagina’s en afbeeldingen erin je sitemap staan, en hoeveel er zijn geïndexeerd. De indexatie kan iets achterlopen. Rechtsbovenin voeg je een nieuwe sitemap toe en kun je deze ook eerst testen:

Dus hoe kom je aan een sitemap.xml bestand? Typisch een taak voor de websitebouwer, als onderdeel van het opleveren van je website. De sitemap moet wel automatisch worden bijgehouden. Voor WordPress gebruikers bestaat hier een handige gratis plugin voor, WordPress SEO by Yoast (inderdaad van een Nederlander genaamd Joost).

Let op: de XML Sitemap moet volgens een bepaalde opmaak worden aangemaakt: de Sitemap Protocol. Er zijn legio validators voor Validome.org. Heb je een hele grote website met veel webpagina’s? Dan kun je in één Sitemapindexbestand verwijzen naar meerdere sitemaps.

UR-Parameters

Voor de volledigheid: URL-parameters.  Zie je onderstaande tekst: “Googlebot ondervindt momenteel geen problemen met de dekking van uw site..” ? Doorlopen, hier is niks te zien.

Waarom zeg ik dat? URL-parameters is alleen voor als je echt weet wat je doet. Denk je dat je hier echt wat mee doen, dan raad ik aan om meerdere bronnen en specialisten te raadplegen, bijvoorbeeld Idesthost, voordat je actie onderneemt.  Ik heb er zelf nog niet mee te maken gehad. Met URL parameters leg je aan Googlebot uit dat meerdere URL’s eigenlijk bij elkaar horen als één URL. Wanneer is dat nodig? Bij een session-id, of wanneer een sortering resulteert in een nieuwe URL, terwijl de informatie echt hetzelfde is. Bijvoorbeeld een webshop fietsen, met dezelfde informatie op de pagina rode fietsen en zwarte fietsen. Alleen de foto verschilt. Dat zou dan duplicate content opleveren, wat onwenselijk is voor je Google vindbaarheid. Gebruik je URL-parameters verkeerd, dan verlies je zichtbaarheid in Google op pagina’s waar niks mee aan de hand was. Niet voor niets dus dat Google je er met bovenstaande melding expliciet op wijst.

Beveiligingsproblemen

Beveiligingsproblemen krijg je van Google te horen via Siteberichten. Een probleem kan zijn dat je website gehacked is en schadelijke software (malware) verspreid. Nee dat is niet best. Zit alles goed, dan krijg je de volgende melding:

Wordt je gewezen op een beveiligingsprobleem, dan betekent dat Google gebruikers een waarschuwing zien bij jouw URLS wanneer die in Google worden getoond. Niemand klikt er dan meer op. De volgende stappen zijn raadzaam:

• Niet panieken. Reserveer wel even tijd. Contacteer je hostingpartij of websitebouwer.
• Lees alvast de instructie van Google Hulp bij Gehackte site.
• Kijk welke URL’s het precies zijn: doorgaans zijn het er een paar en niet je hele site.
• Haal in overleg met de hostingpartij / websitebouwer  je website offline en laat de webserver een 503 foutcode genereren (“Service unavailable”).
• Los het probleem op. (dat kan een update van beveiligingssoftware op de webserver zijn, of juist het terugzetten van een update, het vernieuwen van wachtwoorden)
• Is het probleem opgelost? Echt? Doublecheck? Dan kun je via beveilingsproblemen een review aanvragen. Lees Google’s toelichting Request a review.

Bronnen Google Webmaster Tools

Praktische opsomming van bronnen om GWT beter mee te leren gebruiken:

Google Webmaster Tools

Webmaster Help Forum

Google Webmaster Central Blog

Google Webmaster Tools Google+ pagina

Google Webmaster richtlijnen

Google Webmaster API

Andere bronnen

Hier vind je een opsomming van andere ondersteunende diensten van Google:

Dit is het tweede blog van een serie blogs over de Basiskennis van Online Marketing