Soumettez un Sitemap à google. Utilisez Google Webmaster Tools pour ajouter votre site et générer automatiquement un sitemap.xml compressé. Cela indiquera à Google toutes les URL de votre site afin qu'il puisse les explorer. Vous pouvez également surveiller la fréquence d'exploration de votre site par Google et détecter toute erreur éventuelle.
EDIT: Si vous craignez que le sitemap soit trop volumineux, vous pouvez générer un sitemap avec une seule URL pointant vers une page d'index principal. Cette page d'index peut être générée une fois par jour ou une demande et peut être segmentée comme bon vous semble. Il agit simplement comme la source d'une exploration Google. Par exemple, il pourrait présenter une liste de caractères A, B, C, D, E, ..., Z qui sont des liens vers des pages qui contiennent une liste de toutes les pages commençant par ce caractère. Peu importe, cependant vous voulez le faire pour optimiser vos ressources de base de données. Ils ont pour clé d'obtenir un sitemap.xml dans le système de Google afin qu'ils sachent quand et à quelle fréquence vous explorer. Il y a toutes sortes de complexités pour générer un sitemap. L'approche ci-dessus avec une URL est brute, mais cela peut fonctionner. Idéalement, vous générez un sitemap avec toutes les URL de votre système triées par priorité, mais cela n'est pas nécessaire.
Examinez la spécification du sitemap pour plus d'informations. Si vous voulez juste semer Google, utilisez l'approche 1 URL pour y aller.
Est-ce ainsi que la plupart des sites le font? Il me semble que cela pourrait vraiment battre ma base de données. Je vais probablement avoir environ 2 millions d'articles dans la base de données, et il semble assez pénible de générer dynamiquement un nouveau sitemap. Ou quelque chose de plus fréquent que tous les jours ou plus. –
Si vous souhaitez réduire l'accès à la base de données, vous pouvez mettre en cache le sitemap et ne le mettre à jour que toutes les semaines. Fondamentalement, quand quelqu'un demande le plan du site, vérifiez si sa date de dernière modification a plus d'une semaine, et si c'est le cas, régénérez-le. Sinon, servez la version en cache. Avec les systèmes DB modernes, 2 millions d'articles peuvent être manipulés assez facilement. – robinjam