Comment trouver la relation entre un certain nombre de variables d'entrée et une sortie résultante

Question

J'ai un ensemble de trois (ou plus) variables connues qui sont liées à l'entrée d'un processus. J'ai aussi les résultats (mesurés) du processus, dans ce cas le temps qu'il a fallu pour que le processus se termine.

Afin d'être en mesure de donner une durée estimée et créer un indicateur de progression en fonction de l'entrée, je besoin de trouver la relation (le cas échéant) entre les variables et les résultats.

Quelle est la meilleure façon de déterminer s'il y a une relation, et si une relation existe pour créer une formule.

I ont un certain nombre d'ensembles de données pour travailler avec (valeurs variables d'entrée et de temps qui en résulte).

Des suggestions ou des liens liés à cela? Un indice sur la façon de résoudre cela en utilisant le code ou un pointeur vers une théorie serait utile.

Certains fond ajouté:

Le processus se compose d'un certain nombre de fichiers à traiter (l'entrée principale) avec une entrée secondaire supplémentaire consistant en une autre série de (référence) des fichiers directement lié au contenu de l'entrée principale. Actuellement, la progression est indiquée en montrant la progression globale du fichier (liée au nombre total d'entrées principales) combinée avec la progression dans le fichier sur la base de la position dans le contenu du fichier d'entrée courant. Comme le temps global requis par fichier (ensemble) peut être assez long (selon le contenu), je voudrais ajouter une sorte de "temps restant" ou "temps de fin prévu".

Le code actuel consiste en une fusion d'un sous-ensemble de données à partir d'une liste (format Excel) avec des fichiers XML dans un fichier de format hérité. La partie "qui prend du temps" est l'analyse des fichiers Excel, mais elle est grandement affectée par la taille réelle du fichier, le nombre d'éléments à traiter et le nombre de fichiers à créer en sortie. Dans certains cas, un fichier volumineux génère une sortie alors que dans d'autres, un petit fichier peut générer un grand nombre de sorties. Comme beaucoup d'accès aux fichiers est effectué, un facteur secondaire (difficile à mettre en chiffres) est le nombre de processus identiques qui s'exécutent en même temps.

L'idée est de pouvoir donner un débit estimé en fonction de l'entrée.

Answer 1

La première étape consiste à restreindre la relation que vous recherchez à une famille de fonctions. Pour ce faire, vous devez trouver un modèle de la façon dont les intrants affectent les résultats mesurés. Une fois que vous avez choisi la famille de fonctions, l'étape suivante consiste à déterminer quel membre de la famille représente le mieux vos données.

Par exemple, vous pouvez décider du système de mesure de vous peut être modélisé avec une relation linéaire, time = a*x + b*y + c*z; Vous pouvez ensuite utiliser une régression linéaire pour trouver les paramètres a, b, c qui correspondent le mieux à vos données.

Answer 2

@ La réponse de Dissipateur est bonne, mais la sélection de la famille de la fonction et le nombre de paramètres libres nécessite une certaine expérience. C'est ce qu'on appelle la «modélisation», et les physiciens sont les maîtres du commerce. De plus, le problème de régression générale (non linéaire) n'est pas toujours trivial à résoudre.

Peut-être que vous pouvez essayer this software package que parfois est assez intelligent pour sélectionner la bonne fonction et les paramètres. J'ai eu quelques belles expériences avec ça.

HTH!

BTW ... Si vous pouvez poster vos données 4D quelque part nous pourrions la recherche un peu plus

Answer 3

Comment allez-vous mettre à jour le compteur de progrès que le calcul progresse? Si elle se divise en un grand nombre d'étapes qui s'exécutent à peu près à temps égal, vous pouvez simplement indiquer combien d'étapes ont été effectuées en pourcentage du total, sans avoir besoin de connaissances préalables.

Si le calcul comporte quelques phases distinctes, alors vous devrez estimer la contribution totale de chacune par une formule, comme vous le dites. Toujours pour chaque phase, vous aurez besoin d'un modèle pour savoir jusqu'où le calcul a progressé à travers cette phase, et cela nécessite une certaine connaissance du code lui-même. En savoir plus sur la nature des variables d'entrée ici aiderait. Avez-vous des limites de calcul sur le code lui-même, c'est-à-dire pouvez-vous prouver qu'il s'exécute linéairement ou quadratiquement dans chaque dimension de l'entrée? Est-ce un type de méthode de force brute qui est factorielle ou exponentielle dans l'une des entrées? Essayer de dériver une formule pour le temps d'exécution du code basé sur le choix de l'algorithme serait probablement plus précis qu'une régression empirique seule, et pourrait vous conduire à trouver un algorithme plus rapide.