elffuss-code / robots.txt
KikoCis's picture
Sync with code.elffuss.com (fc5b0ba): LFM3 on our own engine, installable app, VS Code extensions, new look; README refreshed
4bd8362 verified
Raw History Blame Contribute Delete
479 Bytes
# Elffuss Code
#
# Todo el sitio es público y el blog es justo la superficie que interesa que se
# indexe, así que no se restringe nada. Esto existe para que el fichero no
# devuelva 404: un robots.txt ausente lo tratan como «todo permitido» igual,
# pero deja un 404 en el registro por cada rastreador y cada pasada.
#
# NO se declara `Sitemap:` a propósito: todavía no hay sitemap.xml, y apuntar a
# uno que devuelve 404 es peor que no declararlo.
User-agent: *
Allow: /