Comment puis-je mettre à l'échelle une webapp avec un temps de réponse long, qui utilise actuellement django

Question

J'écris une application web avec django sur le côté serveur. Il faut environ 4 secondes au serveur pour générer une réponse à l'utilisateur. Il utilise une api météo. Mon application doit faire ~ 50 requête à cette api pour chaque demande de l'utilisateur. Le côté serveur utilise urllib de python pour l'utilisation de l'api météo. J'ai utilisé le threading python pour accélérer le processus car urllib est synchrone. J'utilise wsgi avec apache. Le problème est que la pile wsgi est entièrement synchrone et lorsque de nombreux utilisateurs utilisent mon application, ils doivent attendre qu'une autre requête se termine. Puisque chaque requête prend ~ 4 secondes, ceci est inacceptable.

Je suis coincé, que puis-je faire?
Merci

Answer 1

Si vous utilisez mod_wsgi dans une configuration multithread, ou même une configuration multi-processus, une requête ne devrait pas empêcher une autre de faire quelque chose. Ils devraient pouvoir fonctionner simultanément. Si vous utilisez une configuration multithread, êtes-vous sûr de ne pas utiliser de mécanisme de verrouillage sur certaines ressources de votre propre application, ce qui exclut les demandes qui s'exécutent dans la même section de code? Une autre possibilité est que vous avez mal configuré le mode Apache MPM et/ou le mode démon mod_wsgi afin d'empêcher les requêtes simultanées. De toute façon, comme mentionné dans une autre réponse, vous feriez mieux d'examiner les stratégies de mise en cache pour éviter les recherches météo ou pour décharger le client.

Answer 2

50 requêtes à une ressource externe par requête est probablement un mauvais endroit pour être, et probablement pas nécessaire du tout.

La météo ne change pas si vite, et vous pouvez probablement en profiter énormément en mettant en cache les résultats pendant un certain temps. Ensuite, peu importe le nombre de demandes que vous recevez, vous n'avez pas besoin de faire plus que quelques requêtes par jour.

Si ce n'est pas votre cas, vous pourriez être en mesure d'amener le client à faire le travail pour toi. Refactorisez le code de sorte que l'agrégation d'api météo se passe sur le client en javascript, plutôt que de l'acheminer à travers le serveur. Editer: en fonction des commentaires que vous avez publiés, ce que vous demandez ne peut probablement pas être optimisé dans les contraintes de l'API que vous utilisez. Le problème est que le service fait un bon travail d'abstraction des différences dans les nombreuses sources d'informations météorologiques qu'ils regroupent dans une requête de localisation la plus proche. après tout, les stations météorologiques ne fournissent que des données ponctuelles.

Si vous parlez directement aux personnes de support technique qui fournissent l'API, vous pouvez constater qu'elles acceptent de prendre en charge des requêtes plus complexes (boîte englobante), pour lesquelles elles vous donneront des instructions. Plus probablement, cependant, ils abstraits parce qu'ils ne veulent pas révéler la résolution que leur API fournit réellement, ou parce qu'il y a une raison technique dans la façon dont ils modélisent leurs données ou effectuent leurs calculs qui feraient de telles requêtes trop difficile à supporter.

Sans cela ou la mise en cache, vous n'avez tout simplement pas de chance.