VrowBot
VrowBot est le robot de Vrow. Il ne visite un site que pour un client de Vrow qui suit ce site et a prouvé qu'il en est responsable. Exceptions : pendant cette preuve, à la demande du client, il lit la page d'accueil et un fichier de vérification (deux requêtes) ; et le test gratuit de vrow.fr, décrit plus bas. Pour un site vérifié, il fait deux choses.
Le contrôle de santé (chaque jour)
- il lit le fichier robots.txt, le fichier llms.txt et le plan du site, en s'annonçant
VrowBot; - il lit la page d'accueil et quatre autres pages au plus, comme un navigateur, pour voir ce qu'elles contiennent ;
- il demande la page d'accueil une fois avec l'identifiant de chacun des principaux robots d'IA (GPTBot, ClaudeBot…), pour vérifier qu'un pare-feu ne les bloque pas. Ces requêtes viennent des serveurs de Vrow, pas de ces entreprises.
L'exploration du site (chaque semaine)
- il parcourt les pages du site en suivant ses liens internes et son plan du site, comme un moteur de recherche, en s'annonçant
VrowBot; - il respecte les règles de robots.txt qui le concernent (groupe
VrowBot, sinon*) ; - il lit 500 pages au plus, quatre à la fois, et s'arrête au bout d'une minute.
Pour l'empêcher d'explorer tout ou partie du site :
User-agent: VrowBot
Disallow: /Il ne suit pas les liens vers d'autres sites, ne remplit aucun formulaire et n'enregistre que ce qui sert aux contrôles (codes de réponse, titres, balises, données structurées).
Une question, un abus à signaler, ou une demande pour que votre site ne soit plus contrôlé : contact@vrow.fr.
Le test gratuit de vrow.fr
Quand un visiteur de vrow.fr tape l'adresse d'un site et lance le test gratuit, Vrow fait, à ce moment-là et une seule fois, trois requêtes sur ce site : la page d'accueil, le fichier robots.txt et le fichier llms.txt. Elles s'annoncent VrowAudit/1.0 (+https://vrow.fr/robot). Elles suivent trois redirections au plus, s'arrêtent au bout de six secondes et ne lisent que le début des pages. Rien n'est conservé : ni l'adresse du site, ni le résultat, ni l'adresse IP du visiteur. Le nombre de tests par visiteur est limité.