Plusieurs interpréteurs Python intégrés indépendants sur plusieurs threads du système d'exploitation invoqués à partir du programme C/C++

Question

Incorporation de l'interpréteur Python dans un C/C++ application is well documented. Quelle est la meilleure approche pour exécuter plusieurs interpréteurs python sur plusieurs threads de système d'exploitation (c'est-à-dire un interpréteur sur un thread de système d'exploitation dans le même processus) qui sont invoqués à partir de l'application C/C++? Ces applications peuvent également avoir des problèmes liés à la fragmentation de la mémoire et limitations of Py_Finalize().

Une telle approche peut être la suivante:

1. fil Python et donc GIL désactivé dans pyconfig.h de rester simple (#undef WITH_THREAD)
2. Toutes les variables globales mutables du code source interpréteur Python déplacé à la structure allouée par tas référencée via Thread Local Storage (Référence: Python on a Phone).

Mes questions sont les suivantes:

1. Y at-il une meilleure approche?
2. Existe-t-il des outils permettant d'automatiser la conversion des variables globales du code source de l'interpréteur Python en structure allouée par tas référencée via TLS (Thread Local Storage)?

Sujets similaires sont discutés ici:

• Multiple independent Python interpreters in a C/C++ program?
• Multiple python interpreters within the same process
• Lua Versus Python

Answer 1

Ce n'est pas exactement une réponse à votre question, mais vous pouvez utiliser des processus distincts au lieu de threads, alors les problèmes devraient disparaître.

Plus:

• Pas besoin de piratage python (et en vous assurant le résultat fonctionne dans tous les cas prévus)
• Probablement moins d'effort de développement global
• mise à niveau facile vers les nouvelles versions de python
• Interfaces clairement définies entre les différents processus, donc plus facile à obtenir et déboguer

Co ns:

• Peut-être un peu plus en surpoids, en fonction de votre plate-forme (relatively light-weight processes on linux)

Si vous utilisez la mémoire partagée pour IPC, votre code d'application résultant ne devrait pas différer trop de ce que vous obtiendriez avec des fils. Étant donné que certaines personnes soutiennent que vous devriez toujours use processes over threads, je considérerais au moins cela comme une alternative si cela correspond à vos contraintes de quelque façon que ce soit.