Minería de Datos en Psicología: Introducción al algoritmo C5

El procedimiento de análisis secuencial C5, destinado a crear árboles de decisión (conjunto de reglas), fué desarrollado por Quinlan (Chambers, & Dinsmore, 2014). Facilitando la interpretación de las decisiones, así como la comprensión de las reglas usadas, a la vez que reduce el número de variables independientes en los modelos explicativos (Pérez, 2011).

Este algoritmo es el resultado de la actualización de algoritmos ID3 y C4.5 (Quinlan & Kaufmann, 1993). Se caracteriza por dividir en subconjuntos, cada vez más pequeños, los datos de partida. Consiguiendo con esta estrategia elaborar reglas de extracción adecuadas a la hora de predecir de forma óptima un objetivo (Quinlan, 2014). Para ello se sirve de índices como "Gain Ratio" (razón entre la ganancia de información y la ganancia intrínseca) que es una modificación destinada a reducir el sesgo de la ganancia de información.

Inteligencia Artificial y Entropía

La entropía puede ser definida como la cantidad de ‘microestados’ posibles para un ‘macroestado’ de un sistema. A la hora de cuantificar el proceso podemos calcularlo de muchas formas. Por ejemplo:
* H = k log(N), donde N es el número de microestados (equiprobables).
* H = -1*Suma (Pi log(Pi)), siendo Pi la probabilidad del microestado i-ésimo.
* H = Suma (mi*vi), donde mi y vi son la masa y velocidad de cada partícula.

Todas son equivalentes entre sí y se elige en cada caso dependiendo de los datos que disponemos en cada caso.

El concepto de "entropía a futuro" (Wissner-Gross & Freer, 2013) es cuando hacemos corresponder a la entropía en el espacio de todos los posibles futuros alcanzables (microestados), desde un estado inicial (macroestado), y asumiendo un segmento temporal (t) hacia ese futuro. El objetivo, de la programación por el método Monte Carlo de este tipo de metaheurísticos, es dar la apariencia de inteligencia en los sistemas.

Una conferencia más desarrollada, de lo que estamos describiendo, lo podemos visualizar en el siguiente vídeo en Youtube:

Referencias.
Wissner-Gross,A.D. & Freer,C.E. (2013).Causal Entropic Forces, Physical Review Letters, 110: 168702, 19 Apr. (formato pdf)