L'effet de l'élagage de l'arbre de décision

Question

Je veux savoir si je construis un arbre de décision Un ID3 similaire à l'ensemble de formation et de validation, mais A n'est pas élucidé. Dans le même temps, j'ai un autre arbre de décision B également dans ID3 généré à partir du même ensemble de formation et de validation, mais B est élagué. Maintenant, je teste A et B sur un futur jeu de test non étiqueté, est-il toujours le cas que l'arbre élagué fonctionnera mieux? Toute idée est la bienvenue, merci.

Answer 1

Je pense que nous devons faire la distinction plus claire: les arbres élagués toujours plus performant sur la validation ensemble, mais pas nécessairement sur le test ensemble (en fait, il est également de la performance égale ou pire sur le formation ensemble). Je suppose que la taille se fait après que l'arbre est construit (par exemple: après la taille) ..

Rappelez-vous que toute la raison d'utiliser un ensemble de validation est d'éviter overfitting sur l'ensemble de données de formation, et la clé point ici est généralisation: nous voulons un modèle (arbre de décision) qui généralise au-delà des instances qui ont été fournies au "temps de formation" à de nouveaux exemples non vus.

Answer 2

L'élagage est supposé pour améliorer la classification en empêchant le surajustement. Puisque l'élagage ne se produira que s'il améliore les taux de classification sur l'ensemble de validation, un arbre élagué fonctionnera aussi bien ou mieux qu'un arbre non élagué pendant la validation.

Answer 3

Une mauvaise taille peut entraîner des résultats erronés. Bien qu'une taille d'arbre de décision réduite soit souvent souhaitée, vous visez généralement de meilleurs résultats lors de l'élagage. Par conséquent, le comment est le noeud de l'élagage.

Answer 4

Je suis d'accord avec la 1ère réponse de @AMRO. Post-pruning est l'approche la plus courante pour l'élagage d'arbre de décision et elle est effectuée après la construction de l'arbre. Mais, Pre-pruning peut également être fait. Dans pre-pruning, un arbre est élagué en arrêtant sa construction tôt, en utilisant une valeur de seuil spécifiée. Par exemple, en décidant de ne pas diviser le sous-ensemble de tuples d'apprentissage sur un nœud donné.

Alors ce nœud devient une feuille. Cette feuille peut contenir la classe la plus fréquente parmi le sous-ensemble des tuples ou la probabilité de ces tuples.