Estatística - Árvores de decisão e entropia

Considere que um algoritmo de árvore de decisão utilize entropia como medida de impureza para realizar as divisões dos dados em diferentes nós da árvore. Considere ainda que a entropia seja máxima quando a distribuição das classes é perfeitamente equilibrada e mínima quando todos os exemplos pertencem a uma única classe. Nesse caso, em uma partição contendo 100 exemplos classificados em três categorias A, B e C, a entropia da partição é maior no cenário em que há 33 exemplos de cada classe do que no cenário em que há 90 exemplos da classe A, 5 da classe B e 5 da classe C, mesmo que o número total de exemplos na partição seja o mesmo em ambos os casos.