Robots.txt

Robots.txt

Robots.txt är en textfil i vilken du kan ange för sökmotorerna hur de ska indexera din sajt. I denna kan du exempelvis blockera vissa sidor från att besökas och indexeras av sökmotorernas sökspindlar. Vanligt är att man i denna exempelvis blockerar inloggningssidor, kassan i en e-handel eller enskilda URL-variabler som man inte vill ska indexeras.

Bra att veta är att sökspindlar kan ignorera reglerna i din robots-fil, även om de större sökmotorernas spindlar oftast respekterar de regler du satt upp. Din robots-fil är dessutom öppen och kan besökas av vem som helst, så använd den inte till att skriva information som du inte vill att någon annan ska kunna ta del av.

Lägg robots-filen i rotmappen

Robots-filen ska ligga i din sajts rotmapp och kunna nås via dindomän.se/robots.txt.

Vilket innehåll och för vilka spindlar du väljer att blockera din sajt för skiljer sig från fall till fall. En robots-fil som tillåter alla sökspindlar att nå allt innehåll på en sajt ser ut på följande vis:

User-agent: *
Disallow:

En robots-fil som stänger ute sökspindlarna från allt innehåll ser ut på följande vis:

User-agent: *
Disallow: /

Vår egen robots-fil ser ut på följande vis och innebär att alla robotar kan nå allt innehåll förutom inloggningssidan och den mapp som innehåller viktiga filer för det publiceringsverktyg vi använder oss av:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.pineberry.com/sitemap_index.xml

Som ni ser är det även klokt att länka till ens XML-sitemap i Robots.txt-filen.