Htaccess/robots.txt pour permettre aux robots de recherche d'explorer le domaine principal mais pas le répertoire sur un autre domaine

Question

Ok, je comprends que le titre n'a pas de sens donc ici, j'ai essayé de l'expliquer en détail. J'utilise un hébergement qui me donne de la place pour mon domaine et qui me permet d'ajouter d'autres domaines. Alors disons que j'ai un domaine A, et que j'ajoute un domaine B. Fondamentalement mon hébergement me donne un public_html où je peux mettre des choses qui se montrent quand quelqu'un visite le site web A. Mais, quand j'ajoute le domaine B, ça me permet de mettre le contenu de B, INSIDE de ce public_html afin que le site Web B.com peut également être visité en allant sur A.com/siteB ... Tout va bien, sauf que Google a commencé à indexer B.com ainsi que A.com/ siteB, je suis d'accord avec l'indexation de B.com, mais je veux en quelque sorte l'empêcher d'indexer A.com/siteB afin que lorsque les gens recherchent B, il ne finisse pas par montrer A.com/siteB.

Des idées? Faites-moi savoir si la question n'est toujours pas claire.

Answer 1

Il suffit de mettre un

User-agent: * 
Disallow: /siteB 

dans le robots.txt à la racine de votre domaine principal. Tous les bots qui ont des manières accepteront ceci, mais selon la fréquence qu'ils visitent votre site vous devrez attendre un peu avant que les moteurs de recherche mettent à jour leurs bases de données.

De plus, vous pouvez ajouter un .htaccess avec une règle de redirection/siteB/... qui redirige les requêtes qui ont été effectuées en utilisant le domaine SiteA à http://siteB/ ... Cela fera tout le monde utilise le domaine canonical même s'ils broutent au moins favorisé.