Robots.txt Editor

La description

Robots.txt est un éditeur visuel pour les fichiers d'exclusion de robots et un logiciel d'analyse de journaux. Il permet à un utilisateur de créer rapidement et facilement les fichiers robots.txt nécessaires pour indiquer aux araignées des moteurs de recherche, qui font partie d'un site Web, qu'elles ne doivent pas être indexées et rendues consultables par le grand public sur le Web, puis d'identifier les araignées, qui ne respectez ces instructions. Le programme fournit à l'utilisateur un moyen de se connecter à son serveur FTP ou réseau local, puis de sélectionner les documents et répertoires qui ne doivent pas être rendus consultables. Grâce à ce programme, vous serez en mesure de générer visuellement des fichiers robots.txt standard de l'industrie ; identifier les araignées malveillantes et indésirables et les bannir de votre site ; diriger les robots des moteurs de recherche vers les pages appropriées pour les sites multilingues ; gardez les araignées hors des zones sensibles et privées de votre site Web ; suivre les visites d'araignées et plus encore. Mises à jour et mises à niveau gratuites du programme sans restriction dans le temps ; nombre illimité de sites Web avec lesquels travailler.