Vous avez passé des nuits blanches à tenter de référencer de manière optimale votre site et à présent vous voudriez l'enlever des outils de recherche. Pourquoi ? Dans certains cas, pour positionner efficacement un site internet, votre pire ennemi ne sera pas forcément un concurrent mais peut-être votre site lui-même.

En effet, un site composé de dizaines de pages statiques (sans asp, cgi ,etc.) sera indexable dans son intégralité par les moteurs de recherche si rien ne bloque leurs robots sur la page d'accueil. Il n'est pas nécessaire de donner plus d'une URL à un robot pour qu'il indexe un site de plusieurs milliers de pages, du moment qu'en parcourant l'arborescence il pourra accéder à chacune. Une page isolée ne sera pas automatiquement référencée par les moteurs de recherche si aucun autre page déjà connue du moteur n'a pas établi de lien vers elle.

Cela a pour effet de rendre toutes les pages du site potentiellement réactives sur des mots clés et vous risquez alors de voir des pages secondaires passer devant la page d'accueil lors du retour de requête des moteurs de recherche. Imagineriez-vous faire entrer vos invités par la salle de bain lorsque vous les accueillez à la maison ? Alors pourquoi leur permettre d'arriver sur votre site par la page " contactez-nous " ou bien sur une confirmation de formulaire alors que c'est par l'accueil ou bien une rubrique majeure qu'ils doivent passer ?

Il est donc nécessaire de correctement maîtriser ce que vous souhaitez voir oui ou non indexé au sein des moteurs afin de ne pas parasiter les pages par lesquelles les internautes doivent arriver en premier.
Avec les annuaires de recherche type Yahoo, vous n'aurez pas ce genre de problème car ils n'indexent généralement que la page d'accueil des sites.

Les techniques à notre disposition pour empêcher tout ou partie d'un site d'être référencé ?

• Si votre problème est essentiellement que les pages secondaires de votre site ne viennent pas parasiter les principales, le plus simple est de ne pas placer de balise meta keywords, description et de mettre dans la zone TITLE un titre du genre " page de présentation " pour que vous ne puissiez pas être réactif sur des mots clés importants. Ces pages seront référencées, présentes dans la base des moteurs de recherche, mais elles ne seront pas réactives. Vous réserverez l'optimisation TITLE/META pour la page d'accueil et les rubriques importantes.
• Vous pouvez aussi placer une balise NOINDEX dans l'en-tête de vos pages. Les moteurs repéreront cette commande comme étant une demande de non-indexation.
• Il est possible de créer un fichier robots.txt, à placer dans le répertoire principal de votre site (là où se trouve la page index), et de détailler par son contenu les zones à référencer et celles qui faudra ignorer. Ce fichier peut-être créé avec un simple éditeur de texte. La syntaxe est très simple : " user-agent : moteur " où 'moteur' sera le nom d'un moteur ou bien * pour désigner qu'il les concerne tous, " disallow : /chemin " où 'chemin' est le répertoire qui ne doit pas être indexé. L'intérêt de ce fichier est de pouvoir paramétrer en une seule fois l'indexation globale de votre site. Vous lirez avec intérêt une page de Webcrawler à ce propos.
• Si des pages étaient déjà référencées et que vous souhaitez les voir disparaître de l'index du moteur, le plus simple est encore de leur changer de nom, supprimer les anciennes et référencer ces dernières. En effet, le moteur ne trouvant plus les pages, il les supprimera.
• Si votre problème est surtout la confidentialité, le plus efficace reste encore de placer un système de login + mot de passe pour accéder aux pages concernées.
• Quant aux annuaires, seules les pages d'accueils seront référencées, très rarement certaines rubriques. Dans tous les cas, si vous ne faites pas vous-même la démarche d'une demande d'indexation, votre site à très peu de chances d'être spontanément référencé. Les choses deviennent par contre très difficiles lorsque vous souhaitez enlever un site de leur index ou bien dans modifier le titre, la description ou bien l'url. Souvent, vous devrez envoyer un e-mail au webmaster du site car ce cas est rarement pris en compte.

Anthony Alberti