Geen Google verkeer verliezen? Pas Robots.txt aan voor JavaScript en CSS bestanden
De manier waarop Google jouw site bekijkt, is per maandag 27 oktober 2014 grondig veranderd. Doe je hier niets mee, dan loop je grote kans om je zoekposities in Google en dus bezoekers te verliezen. En daarmee ook omzet. Dus wat heeft Google veranderd en hoe fix je dat?
Hoe Google jouw website ziet
Google bekijkt elke website met Googlebot: volautomatische software die alle links aanklikt en de inhoud indexeert. Googlebot zag voorheen alleen teksten, links en tags zoals alt-image (Google herkent nóg geen afbeeldingen). Dat betekende dat Googlebot ook geen opmaak zag (CSS) en extra toepassingen (JavaScript).
Google kijkt nu zoals een gebruiker
Googlebot bekijkt nu jouw website zoals een menselijke gebruiker: inclusief CSS bestanden en Javascripts. Zie aankondiging van Google Webmaster Central. Het is een aanpassing in Google’s Technical Webmaster Guidelines.
Robots.txt voor Googlebot
Welk gedeelte van jouw website Googlebot nu wel en niet mag zien, staat in robots.txt. Dat is een instructiekaart voor Googlebot, en alle andere bots van andere zoekmachines. Hierin staat dus ook of Googlebot CSS en Javascript mag zien op jouw site.
Heb ik een Robots.txt?
Dat is een goede vraag. Dat zouden meer mensen moeten vragen! Hier de snelste manier:
Ga naar je website. Zoals www.bloeise.nl. Typ in adresbalk achter de URL: /robots.txt. Dan krijg je www.bloeise.nl/robots.txt Druk op enter.
JA, dit kun je voor iedere willekeurige website doen. Ook voor Google zelf: www.google.nl/robots.txt.
Check Google Webmaster Tools
Werkt bovenstaande niet? Geen paniek.
- Ga in Google Webmaster Tools naar je website toe. Heb je GWT nog niet ingesteld? Bekijk mijn Google Webmaster Tools handleiding.
- Ga in het menu links naar Crawlen en dan naar Fetch as Google.
- Laat het URL veld leeg en laat type op Desktop staan. Druk gewoon op Ophalen en Weergeven.
Ga nu even Facebook updaten, je mail checken of een kopje koffie halen.
- Google klaar? Je hebt de optie ‘indienen bij index’. Je klikt echter op / onder URL
Fetch as Google
Je krijgt vervolgens te zien hoe Googlebot jouw site ziet. Voorbeeld:
In de eerste kolom staat de URL, in de 2e kolom het type, in het derde de reden, daarna eventueel robots.txt-tester.
In dit voorbeeld worden dus Javascripts geblokkeerd door robots.txt. Dat is dus niet goed, want Google zegt zelf:
Disallowing crawling of Javascript or CSS files in your site’s robots.txt directly harms how well our algorithms render and index your content and can result in suboptimal rankings.
Robots.txt bekijken
Heb je nog niet je Robots.txt gezien? Klik op de link robots.txt tester of ga in Google Webmaster Tools naar het menu Crawlen en dan naar robots.txt tester. Je ziet nu direct hoe Google jouw robots.txt bestand leest.
Robots.txt aanpassen om JS en CSS toe te staan
De stappen om Google nu toegang te geven tot JS en CSS zijn als volgt:
- Gebruik Fetch as Google zoals hierboven beschreven.
- Ziet het voorbeeld er goed uit voor een gebruiker? Dan ziet Google het ook goed.
- Ziet het er niet goed uit? Loop dan de regels één voor één na door op de Robots.txt link erachter te klikken en Robots.txt aan te passen en op verzenden te klikken. Kijk na iedere regel of de aanpassing het voorbeeld leesbaar maakt.
Nu heb je het probleem gefixed voor Google. Vooralsnog kijken andere zoekmachines nog niet naar CSS of JS. Lees hier over alle mogelijkheden van robots.txt.
Kom je er niet uit? Stuur dit blog door naar je eigen webmaster / webbouwer met de Deelknoppen onder dit blog. Dit valt onder een servicecontract, maar als je eenmalig hebt betaald voor het maken van je website en daarna niet meer, mag je webbouwer de tijd rekenen die het aanpassen kost. Dat kan echt niet meer zijn dan een uur, afhankelijk van je website, cms en kennis van de webbouwer.
Even een waarschuwing!!!!! (5 uitroeptekens!!!!) Wanneer je Robots.txt aanpast, zorg er voor dat je bij disallow geen / laat staan. Dan zeg je namelijk tegen Googlebot: je mag de hele site niet bekijken. Je hele site wordt dan niet meer gecrawled door Googlebot en dus ook niet meer getoond in Google search.
Robots.txt voor WordPress: zet /wp-content/ op allow
In een eerdere versie van dit blog gaf ik een WordPress voorbeeld en raadde ik aan om de map /wp-includes/ van disallow op allow te zetten.
Daniël Mulder van OmniLeads was zo vriendelijk om mij erop te wijzen dat deze map weliswaar Javascript bevat, en daarom gemeld wordt bij Fetch as Google, maar dit is achtergrond Javascript wat de leesbaarheid nagenoeg niet beïnvloed. Het gaat erom om de disallow van de map /wp-content/ in robots.txt te verwijderen: hierin staan de javascripts en CSS bestanden die impact hebben op de weergave voor de gebruiker en dus voor Google. In een standaard WordPress installatie staat deze map al op allow. In sommige artikelen wordt expliciet gemeld om /wp-content/plugins/ op disallow te zetten. Daniël zegt hierover: “Alle content onder de folder /wp-content is bedoeld als openbare content of user content en plug-ins en themes vallen hieronder. De plug-ins dir zou ik niet op disallow zetten net als de theme folder. Deze bevatting namelijk juist content die van invloed op de rendering is.”
Blijf bij met je website
Een website moet je bij blijven houden. Net als een auto of een huis. Doe je dat niet, dan kan het zijn dat je website opeens niet meer rankt in Google, je verkeer terugloopt en dus ook je omzet. Bloeise helpt je met bijblijven.
Vragen? Opmerkingen? Geef je reactie: