Geen Google verkeer verliezen? Pas Robots.txt aan voor JavaScript en CSS bestanden

De manier waarop Google jouw site bekijkt, is per maandag 27 oktober 2014 grondig veranderd. Doe je hier niets mee, dan loop je grote kans om je zoekposities in Google en dus bezoekers te verliezen. En daarmee ook omzet. Dus wat heeft Google veranderd en hoe fix je dat?
Google bekijkt elke website met Googlebot: volautomatische software die alle links aanklikt en de inhoud indexeert. Googlebot zag voorheen alleen teksten, links en tags zoals alt-image (Google herkent nóg geen afbeeldingen). Dat betekende dat Googlebot ook geen opmaak zag (CSS) en extra toepassingen (JavaScript).
Googlebot bekijkt nu jouw website zoals een menselijke gebruiker: inclusief CSS bestanden en Javascripts. Zie aankondiging van Google Webmaster Central. Het is een aanpassing in Google’s Technical Webmaster Guidelines.
Welk gedeelte van jouw website Googlebot nu wel en niet mag zien, staat in robots.txt. Dat is een instructiekaart voor Googlebot, en alle andere bots van andere zoekmachines. Hierin staat dus ook of Googlebot CSS en Javascript mag zien op jouw site.
Dat is een goede vraag. Dat zouden meer mensen moeten vragen! Hier de snelste manier:
JA, dit kun je voor iedere willekeurige website doen. Ook voor Google zelf: www.google.nl/robots.txt.
Werkt bovenstaande niet? Geen paniek.
Ga nu even Facebook updaten, je mail checken of een kopje koffie halen.
Je krijgt vervolgens te zien hoe Googlebot jouw site ziet. Voorbeeld:
In de eerste kolom staat de URL, in de 2e kolom het type, in het derde de reden, daarna eventueel robots.txt-tester.
In dit voorbeeld worden dus Javascripts geblokkeerd door robots.txt. Dat is dus niet goed, want Google zegt zelf:
Heb je nog niet je Robots.txt gezien? Klik op de link robots.txt tester of ga in Google Webmaster Tools naar het menu Crawlen en dan naar robots.txt tester. Je ziet nu direct hoe Google jouw robots.txt bestand leest.
De stappen om Google nu toegang te geven tot JS en CSS zijn als volgt:
Nu heb je het probleem gefixed voor Google. Vooralsnog kijken andere zoekmachines nog niet naar CSS of JS. Lees hier over alle mogelijkheden van robots.txt.
Kom je er niet uit? Stuur dit blog door naar je eigen webmaster / webbouwer met de Deelknoppen onder dit blog. Dit valt onder een servicecontract, maar als je eenmalig hebt betaald voor het maken van je website en daarna niet meer, mag je webbouwer de tijd rekenen die het aanpassen kost. Dat kan echt niet meer zijn dan een uur, afhankelijk van je website, cms en kennis van de webbouwer.
In een eerdere versie van dit blog gaf ik een WordPress voorbeeld en raadde ik aan om de map /wp-includes/ van disallow op allow te zetten.
Een website moet je bij blijven houden. Net als een auto of een huis. Doe je dat niet, dan kan het zijn dat je website opeens niet meer rankt in Google, je verkeer terugloopt en dus ook je omzet. Bloeise helpt je met bijblijven.
Een vraag die ik geregeld krijg: hoe geef je iemand toegang tot Google Analytics? En…
Matt Cutts werkt als hoofd van het Google webspam team. Hij beantwoord regelmatig vragen van…
Iedere webmaster weet ondertussen wel dat linkbuilding van vitaal belang is voor het vindbaar maken van een…
Vragen? Opmerkingen? Geef je reactie: