Le moyen le plus rapide de stocker/récupérer un dictionnaire - SQL, fichier texte ...?

Question

J'ai un fichier texte de mots et de fréquences de mots. C'est très grand - en théorie, nous parlons de millions de lignes.

Je veux juste récupérer les valeurs du fichier, et le faire aussi rapidement et efficacement que possible (pour une application Web, dans Django).

Ma question est: quelle est la meilleure façon de stocker et de récupérer les valeurs? Devrait les importer dans SQL? Ou garder le fichier et utiliser grep? Ou les mettre dans un dictionnaire JSON ...? Ou d'une autre manière?

Serait très reconnaissant pour des conseils!

Answer 1

les mettre dans un dictionnaire JSON serait une mauvaise idée, sauf si vous voulez charger la chose entière en mémoire lorsque vous effectuez une recherche à travers elle.

sql est essentiellement construit pour ce genre de chose, donc j'utiliser. Un fichier et un grep fonctionneraient aussi bien, mais vous n'obtiendriez aucun avantage de l'indexation que sql vous donnerait.