Robots (fichier) :
Le fichier d'exclusion des robots d'un site web est un fichier nommé robots.txt placé au plus haut niveau du site, et qui permet d'indiquer à certains ou à tous les moteurs de recherches ce qu'ils ne doivent pas indexer. Cependant, le fichier n'est pris en compte que par les robots, et n'a donc aucun effet sur les navigateurs web. Aussi, certains robots n'en tiennent pas compte et ne respectent pas le standard d'exclusion des robots.
