######################################################### # Fichier autorisant ou non la visite des robots de recherche Web ######################################################### # Pour connaitre les visites d'un robot, le serveur # doit supporter les User-agent # Rem: Pour limiter les robots au niveau des pages HTML, utiliser : # # # Nom des robots (* pour tous) et restrictions # ######################################################### User-agent: * Disallow: /cgi-private Allow: /