Lire mon site

Notre robot : vIAbilityBot

vIAbilityBot lit des pages publiques pour vIAbility : la page qu’un visiteur nous demande de lire sur l’outil « votre site vu par les IA », et les pages d’un site qu’un client nous demande de lire (sa vue par les IA, le bilan d’accès des robots). Il respecte robots.txt et ne contourne aucune protection.

Comment le reconnaître

Il se présente sous cet agent :

vIAbilityBot/1.0 (+https://viability.fr/robot)

Ce qu’il fait

  • Il lit d’abord le robots.txt du site, et rien d’autre tant que ce fichier ne l’autorise pas.
  • Il lit la page demandée sans exécuter JavaScript. La capture d’écran, elle, est prise par notre collecteur, Firecrawl (agent FirecrawlAgent), qui affiche la page comme un navigateur.
  • Pour le bilan d’accès des robots d’IA, il demande aussi la page en se présentant sous le nom de chacun de ces robots, pour comparer les réponses du serveur. Ces requêtes le disent dans leur agent, par exemple :
Mozilla/5.0 (compatible; GPTBot/1.0; controle d'acces vIAbility)

Il ne remplit aucun formulaire et ne se connecte à aucun compte.

Comment le bloquer

Il lit une page seulement si votre robots.txt l’autorise pour trois noms : le sien, *, et FirecrawlAgent. Il suffit qu’un seul des trois soit interdit pour qu’il ne lise pas la page. Pour le bloquer :

User-agent: vIAbilityBot
Disallow: /

Trois autres lectures de vIAbility, la veille des concurrents, la vérification des sources citées et le suivi hebdomadaire des sources épinglées, passent directement par le collecteur : elles respectent robots.txt pour * et pour FirecrawlAgent, pas pour vIAbilityBot. Pour les arrêter aussi, interdisez FirecrawlAgent ; cela arrête aussi les autres clients de ce collecteur.

Si votre robots.txt ne répond pas (erreur serveur, trop de requêtes, site injoignable), il considère, par prudence, que tout est interdit, et ne lit rien. S’il répond par une erreur 4xx (fichier absent, accès refusé), tout est autorisé, comme le prévoit la norme des robots (RFC 9309).

Une question

Écrivez-nous : contact@viability.fr. Pour notre façon de mesurer, voir notre méthode.