Follow

RFC 9309: Robots Exclusion Protocol

Quand vous gérez un serveur Internet prévu pour des humains, une bonne partie du trafic, voire la majorité, vient de robots. Ils ne sont pas forcément malvenus mais ils peuvent être agaçants. C'est pour cela qu'il existe une convention, le fichier robots.txt, pour dire aux robots gentils ce qu'ils peuvent faire. La spécification originale était très limitée. Ce nouveau documente le format actuel.

bortzmeyer.org/9309.html

· · Web · 1 · 5 · 4

@bortzmeyer

Marrant, dans le flux RSS du blog je lis :

« […] Ce nouveau RFC documente plus ou moins le format actuel »

Ce « plus ou moins », maintenant disparu, m'a fait sourire 🙂

@benoitb Le pouète n'est pas généré automatiquement, il est fait à la main, avec l'idée d'être court (l'article n'en a pas besoin).

Sign in to participate in the conversation
Mastodon - Gougère Network

The social network of the future: No ads, no corporate surveillance, ethical design, and decentralization! Own your data with Mastodon!