Categoría: data science

Uno de los principales desafíos en Machine Learning es representar adecuadamente las relaciones existentes entre las variables de un conjunto de datos. En muchos problemas reales, las relaciones entre las características y la variable objetivo no son lineales. Cuando esto ocurre, los modelos lineales pueden tener dificultades para capturar patrones complejos utilizando únicamente las variables originales.

Las Interacciones Polinomiales son una técnica de Ingeniería de Características que permite generar nuevas variables a partir de combinaciones y potencias de las características existentes. Su objetivo es enriquecer la representación de los datos para que los modelos puedan aprender relaciones más complejas sin necesidad de recurrir a algoritmos más sofisticados.

Esta técnica es especialmente útil en modelos lineales, ya que les permite aproximar comportamientos no lineales mediante una transformación adecuada del espacio de características.

¿Qué son las interacciones polinomiales?

Las Interacciones Polinomiales consisten en crear nuevas características derivadas mediante:

• Potencias de una variable.
• Productos entre variables.
• Combinaciones de ambas.

Por ejemplo, si disponemos de dos variables:

Una transformación polinomial de grado 2 podría generar:

Estas nuevas características permiten representar relaciones más complejas entre las variables.

¿Por qué son importantes?

Muchos fenómenos del mundo real presentan comportamientos no lineales. Por ejemplo:

• El consumo energético no siempre crece linealmente con la temperatura.
• El rendimiento académico puede aumentar con las horas de estudio hasta cierto punto y luego estabilizarse.
• El precio de una vivienda puede crecer de forma no proporcional respecto a su tamaño.

En estos casos, las variables originales pueden no ser suficientes para capturar el comportamiento real de los datos. Las interacciones polinomiales permiten modelar estas relaciones sin abandonar algoritmos lineales relativamente simples.

¿Cómo funcionan las interacciones polinomiales?

La técnica consiste en transformar las variables originales generando nuevas características basadas en potencias e interacciones.

Si tenemos una variable:

$$X$$

Una expansión polinomial de grado 3 produciría:

$$X,; X^2,; X^3$$

Si existen dos variables:

$$X_1,; X_2$$

Una expansión de grado 2 genera:

$$X_1,; X_2,; X_1^2,; X_2^2,; X_1X_2$$

A medida que aumenta el grado, también aumenta el número de características generadas.

Componentes principales de una expansión polinomial

Las transformaciones polinomiales suelen incluir tres tipos de términos.

• Términos lineales: son las variables originales.
• Términos de potencia: representan elevaciones al cuadrado, al cubo u otros exponentes.
• Términos de interacción: representan productos entre variables.

Grados polinomiales

El grado define la complejidad de las nuevas características generadas.

En la práctica, los grados 2 y 3 suelen ser los más utilizados.

Beneficios de las Interacciones Polinomiales

Esta técnica ofrece numerosas ventajas.

• Permite modelar relaciones no lineales.
• Mejora el rendimiento de modelos lineales.
• Captura interacciones entre variables.
• Facilita la detección de patrones complejos.
• Puede incrementar significativamente la precisión predictiva.
• Permite construir modelos más expresivos.
• Aprovecha mejor la información contenida en los datos.

En muchos problemas, una simple expansión polinomial puede generar mejoras importantes sin cambiar el algoritmo utilizado.

¿Cuándo utilizar Interacciones Polinomiales?

Su uso es recomendable cuando:

• Existen relaciones no lineales.
• Se utilizan modelos lineales.
• El modelo presenta bajo rendimiento.
• Se observan patrones curvos en los datos.
• Existen dependencias entre variables.
• Se desea aumentar la capacidad predictiva sin utilizar algoritmos más complejos.

Son especialmente útiles en regresión y clasificación cuando los datos presentan comportamientos complejos.

Ventajas y desventajas

Limitaciones

Las interacciones polinomiales presentan algunas limitaciones importantes.

• El número de variables crece rápidamente.
• Pueden generar multicolinealidad.
• Incrementan el riesgo de sobreajuste.
• Requieren más memoria y tiempo de entrenamiento.
• No todas las relaciones son adecuadamente representadas mediante polinomios.
• Los grados elevados pueden producir modelos difíciles de interpretar.

Por estas razones, suelen combinarse con técnicas de regularización y selección de características.

Interacciones Polinomiales vs Feature Crossing

Aunque ambos conceptos generan nuevas características, existen diferencias importantes.

Ambas técnicas buscan capturar relaciones entre variables, pero desde enfoques diferentes.

Interacciones Polinomiales y Machine Learning

El impacto depende del algoritmo utilizado.

Los modelos lineales suelen obtener las mayores mejoras porque no pueden capturar relaciones no lineales por sí mismos.

Aplicaciones en Data Science y Machine Learning

Las interacciones polinomiales se utilizan en numerosos sectores. Algunas aplicaciones incluyen:

• Predicción de precios inmobiliarios.
• Modelado financiero.
• Predicción de demanda.
• Marketing digital.
• Diagnóstico médico.
• Ingeniería industrial.
• Mantenimiento predictivo.
• Predicción energética.
• Análisis de riesgos.
• Sistemas de recomendación.
• Ciencia ambiental.
• Analítica turística.

Su utilización es especialmente frecuente cuando las relaciones entre variables son complejas pero se desea mantener modelos relativamente simples.

Implementación en Python

Crear características polinomiales

from sklearn.preprocessing import PolynomialFeatures
import pandas as pd

X = pd.DataFrame({
    'x1': [1, 2, 3],
    'x2': [4, 5, 6]
})

poly = PolynomialFeatures(
    degree=2,
    include_bias=False
)

X_poly = poly.fit_transform(X)

print(X_poly)

from sklearn.preprocessing import PolynomialFeatures
import pandas as pd

X = pd.DataFrame({
    'x1': [1, 2, 3],
    'x2': [4, 5, 6]
})

poly = PolynomialFeatures(
    degree=2,
    include_bias=False
)

X_poly = poly.fit_transform(X)

print(X_poly)

[[ 1.  4.  1.  4. 16.]
 [ 2.  5.  4. 10. 25.]
 [ 3.  6.  9. 18. 36.]]

[[ 1.  4.  1.  4. 16.]
 [ 2.  5.  4. 10. 25.]
 [ 3.  6.  9. 18. 36.]]

Obtener nombres de las características generadas

feature_names = poly.get_feature_names_out()

print(feature_names)

feature_names = poly.get_feature_names_out()

print(feature_names)

['x1' 'x2' 'x1^2' 'x1 x2' 'x2^2']

['x1' 'x2' 'x1^2' 'x1 x2' 'x2^2']

Crear interacciones únicamente

Si se desean solo los términos de interacción:

poly = PolynomialFeatures(
    degree=2,
    interaction_only=True,
    include_bias=False
)

X_inter = poly.fit_transform(X)

print(X_inter)

poly = PolynomialFeatures(
    degree=2,
    interaction_only=True,
    include_bias=False
)

X_inter = poly.fit_transform(X)

print(X_inter)

['x1', 'x2', 'x1 x2']

['x1', 'x2', 'x1 x2']

Integrar en un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

pipeline = Pipeline([
    ('poly', PolynomialFeatures(degree=2)),
    ('model', LinearRegression())
])

pipeline.fit(X, y)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

pipeline = Pipeline([
    ('poly', PolynomialFeatures(degree=2)),
    ('model', LinearRegression())
])

pipeline.fit(X, y)

Esta es la forma recomendada para utilizar transformaciones polinomiales dentro de un flujo de Machine Learning.

Buenas prácticas

Para utilizar correctamente las interacciones polinomiales se recomienda:

• Comenzar con grados bajos (2 o 3).
• Evaluar el impacto mediante validación cruzada.
• Controlar el crecimiento de la dimensionalidad.
• Aplicar regularización cuando sea necesario.
• Analizar la importancia de las características generadas.
• Evitar grados excesivamente altos.
• Combinar la técnica con selección de características.
• Escalar las variables cuando el algoritmo lo requiera.

Conclusión

Las Interacciones Polinomiales son una de las técnicas más potentes de Ingeniería de Características para capturar relaciones no lineales e interacciones entre variables. Mediante la generación de potencias y productos entre características, permiten enriquecer significativamente la representación de los datos y mejorar el rendimiento de modelos que, de otra forma, solo podrían aprender relaciones lineales.

Aunque presentan desafíos relacionados con la dimensionalidad, la multicolinealidad y el sobreajuste, su correcta aplicación puede transformar modelos simples en soluciones altamente competitivas. Por esta razón, constituyen una herramienta fundamental dentro del arsenal de técnicas de Feature Engineering utilizadas en proyectos modernos de Data Science y Machine Learning.

En muchos problemas de Machine Learning, las variables individuales no contienen toda la información necesaria para describir el comportamiento de los datos. Con frecuencia, la combinación de dos o más características revela patrones que no son visibles cuando se analizan por separado. Una de las técnicas más utilizadas para capturar estas relaciones es el Feature Crossing o cruce de características.

El Feature Crossing es especialmente popular en sistemas de recomendación, publicidad digital, comercio electrónico y modelos predictivos donde las relaciones entre variables categóricas tienen un impacto significativo sobre el resultado.

Aunque conceptualmente está relacionado con las interacciones entre variables, el Feature Crossing suele enfocarse en la combinación explícita de características categóricas o discretas para generar nuevas variables que representen relaciones específicas entre ellas.

¿Qué es el Feature Crossing?

El Feature Crossing es una técnica de ingeniería de características que consiste en combinar dos o más variables para crear una nueva característica que represente su interacción conjunta. La nueva variable resultante contiene información sobre la combinación específica de valores presentes en las variables originales. Por ejemplo, supongamos las siguientes variables:

Mediante Feature Crossing se puede crear una nueva característica:

Esta nueva variable permite al modelo aprender patrones específicos asociados a cada combinación.

¿Por qué es importante?

Muchas veces el efecto combinado de varias variables es más relevante que cada variable individual. Por ejemplo, en publicidad digital:

• El dispositivo utilizado puede influir en la conversión.
• La ubicación geográfica también puede influir.
• Sin embargo, la combinación de ambos factores puede ser mucho más predictiva.

Las variables individuales no explican completamente el comportamiento observado, pero la combinación sí lo hace.

¿Cómo funciona el Feature Crossing?

La técnica consiste en combinar los valores de dos o más variables para generar una nueva categoría. El proceso general es:

1. Seleccionar variables relevantes.
2. Generar combinaciones entre sus valores.
3. Crear una nueva característica representando dichas combinaciones.
4. Codificar la nueva variable para que pueda ser utilizada por el modelo.
5. Evaluar su impacto en el rendimiento.

La nueva característica actúa como una representación explícita de la interacción entre variables.

Diferencia entre Feature Crossing e Interacción entre Variables

Aunque ambos conceptos están relacionados, no son exactamente lo mismo.

El Feature Crossing puede considerarse una forma específica de interacción enfocada principalmente en variables categóricas.

Tipos de Feature Crossing

Existen diferentes formas de generar cruces de características.

• Cruce de dos variables categóricas: es el caso más común.
• Cruce de múltiples variables: Pueden combinarse más de dos características.
• Cruce entre variables discretizadas: Variables numéricas transformadas en categorías.

Beneficios del Feature Crossing

La utilización de Feature Crossing ofrece numerosas ventajas.

• Captura relaciones complejas entre variables.
• Incrementa el poder predictivo.
• Facilita el aprendizaje en modelos lineales.
• Descubre patrones ocultos.
• Mejora la personalización de recomendaciones.
• Permite representar conocimiento de negocio.
• Incrementa la capacidad de segmentación.

En muchos casos, un único cruce bien diseñado puede mejorar significativamente el rendimiento del modelo.

¿Cuándo utilizar Feature Crossing?

Es recomendable utilizar esta técnica cuando:

• Existen variables categóricas importantes.
• Se sospecha que las variables interactúan entre sí.
• Se utilizan modelos lineales.
• Se trabaja con sistemas de recomendación.
• Se desarrollan modelos de publicidad digital.
• Se busca mejorar la segmentación de clientes.
• Se desea incorporar conocimiento del dominio.

También es muy utilizada cuando el modelo no es capaz de capturar automáticamente relaciones complejas.

Ventajas y desventajas

Limitaciones

El Feature Crossing presenta varias limitaciones importantes.

• Puede generar una explosión combinatoria de categorías.
• Aumenta significativamente la dimensionalidad.
• Produce categorías poco frecuentes o únicas.
• Incrementa el riesgo de sobreajuste.
• Requiere más recursos computacionales.
• No todas las combinaciones aportan información útil.
• Puede dificultar la interpretación cuando existen muchos cruces.

Por ello suele combinarse con técnicas de selección de características o regularización.

Feature Crossing y Machine Learning

Su impacto depende del algoritmo utilizado.

Los modelos lineales suelen ser los principales beneficiarios del Feature Crossing porque no pueden capturar interacciones complejas de forma natural.

Aplicaciones en Data Science y Machine Learning

El Feature Crossing se utiliza ampliamente en:

• Sistemas de recomendación.
• Publicidad digital.
• Predicción de clics (CTR).
• Comercio electrónico.
• Segmentación de clientes.
• Motores de búsqueda.
• Detección de fraude.
• Marketing personalizado.
• Analítica turística.
• Predicción de comportamiento del consumidor.
• Plataformas de streaming.
• Redes sociales.

Empresas como Google popularizaron esta técnica en sistemas de predicción de clics y recomendación.

Implementación básica en Python

Crear un Feature Crossing manualmente

import pandas as pd

df = pd.DataFrame({
    'ciudad': ['Madrid', 'Barcelona', 'Sevilla'],
    'dispositivo': ['Movil', 'PC', 'Movil']
})

df['ciudad_dispositivo'] = (
    df['ciudad'] + '_' + df['dispositivo']
)

print(df)

import pandas as pd

df = pd.DataFrame({
    'ciudad': ['Madrid', 'Barcelona', 'Sevilla'],
    'dispositivo': ['Movil', 'PC', 'Movil']
})

df['ciudad_dispositivo'] = (
    df['ciudad'] + '_' + df['dispositivo']
)

print(df)

      ciudad dispositivo ciudad_dispositivo
0     Madrid       Movil      Madrid_Movil
1  Barcelona          PC      Barcelona_PC
2    Sevilla       Movil     Sevilla_Movil

      ciudad dispositivo ciudad_dispositivo
0     Madrid       Movil      Madrid_Movil
1  Barcelona          PC      Barcelona_PC
2    Sevilla       Movil     Sevilla_Movil

Codificar el Feature Crossing

df_encoded = pd.get_dummies(
    df['ciudad_dispositivo']
)

print(df_encoded)

df_encoded = pd.get_dummies(
    df['ciudad_dispositivo']
)

print(df_encoded)

   Barcelona_PC  Madrid_Movil  Sevilla_Movil
0             0             1              0
1             1             0              0
2             0             0              1

   Barcelona_PC  Madrid_Movil  Sevilla_Movil
0             0             1              0
1             1             0              0
2             0             0              1

Generar cruces automáticamente

import pandas as pd
from sklearn.preprocessing import OneHotEncoder

df = pd.DataFrame({
    'ciudad': ['Madrid', 'Barcelona'],
    'dispositivo': ['Movil', 'PC']
})

df['cross'] = (
    df['ciudad'] + '_' +
    df['dispositivo']
)

encoder = OneHotEncoder(
    sparse_output=False
)

X = encoder.fit_transform(
    df[['cross']]
)

print(X)

import pandas as pd
from sklearn.preprocessing import OneHotEncoder

df = pd.DataFrame({
    'ciudad': ['Madrid', 'Barcelona'],
    'dispositivo': ['Movil', 'PC']
})

df['cross'] = (
    df['ciudad'] + '_' +
    df['dispositivo']
)

encoder = OneHotEncoder(
    sparse_output=False
)

X = encoder.fit_transform(
    df[['cross']]
)

print(X)

Crear cruces múltiples

df['cross_multiple'] = (
    df['ciudad'] + '_' +
    df['dispositivo'] + '_' +
    df['genero']
)

df['cross_multiple'] = (
    df['ciudad'] + '_' +
    df['dispositivo'] + '_' +
    df['genero']
)

Esta técnica permite capturar interacciones más complejas entre características.

Buenas prácticas

Para aplicar correctamente Feature Crossing se recomienda:

• Seleccionar variables con significado de negocio.
• Evitar cruces indiscriminados.
• Controlar el crecimiento de la dimensionalidad.
• Validar el impacto sobre el modelo.
• Eliminar categorías extremadamente raras.
• Utilizar regularización cuando sea necesario.
• Aplicar selección de características.
• Documentar todas las combinaciones generadas.

Conclusión

El Feature Crossing es una técnica fundamental de Ingeniería de Características que permite capturar relaciones entre variables mediante la creación de nuevas características basadas en combinaciones de valores. Su principal objetivo es representar explícitamente interacciones que podrían pasar desapercibidas para ciertos algoritmos de Machine Learning.

Aunque es especialmente útil en variables categóricas y modelos lineales, también tiene aplicaciones relevantes en sistemas de recomendación, publicidad digital, comercio electrónico y segmentación de clientes. Cuando se utiliza correctamente, puede mejorar notablemente la capacidad predictiva de los modelos y revelar patrones complejos que no serían detectables mediante el análisis individual de las variables. Sin embargo, debe aplicarse con criterio para evitar problemas de dimensionalidad, sobreajuste y complejidad innecesaria en los modelos.

En muchos problemas de Machine Learning, el efecto de una variable sobre la variable objetivo no depende únicamente de sus valores individuales, sino también de cómo se relaciona con otras variables del conjunto de datos. Existen situaciones en las que dos o más características, analizadas por separado, aportan poca información, pero al combinarse revelan patrones altamente predictivos.

La interacción entre variables es una de las técnicas más importantes dentro de la Ingeniería de Características porque permite capturar relaciones complejas que muchos algoritmos no son capaces de identificar automáticamente. Su correcta aplicación puede incrementar significativamente la capacidad predictiva de un modelo sin necesidad de utilizar algoritmos más complejos.

¿Qué es la interacción entre variables?

La interacción entre variables consiste en crear nuevas características que representan la combinación de dos o más variables originales con el objetivo de capturar relaciones conjuntas que no son evidentes cuando las variables se analizan de manera independiente. La idea fundamental es que el impacto de una variable puede depender del valor de otra.

Por ejemplo, en un problema de ventas:

Observamos que el efecto del precio depende del nivel de publicidad y viceversa. Analizar ambas variables por separado podría ocultar parte de esta relación.

¿Por qué son importantes las interacciones?

Muchos fenómenos reales están gobernados por relaciones combinadas entre variables. Algunos ejemplos:

• La edad y el nivel de ingresos pueden influir conjuntamente en la capacidad de compra.
• La temperatura y la humedad afectan simultáneamente la sensación térmica.
• El precio y los descuentos determinan el comportamiento de compra.
• La experiencia laboral y la formación académica pueden influir conjuntamente en el salario.

Las interacciones permiten representar estas relaciones dentro de los datos para que el modelo pueda aprenderlas.

¿Cómo funciona la interacción entre variables?

La técnica consiste en generar nuevas características derivadas a partir de combinaciones matemáticas o lógicas entre variables existentes.

Generalmente el proceso sigue estos pasos:

1. Analizar las variables disponibles.
2. Identificar relaciones potenciales entre ellas.
3. Crear nuevas características combinadas.
4. Evaluar si mejoran el rendimiento del modelo.
5. Seleccionar las interacciones más relevantes.

Las nuevas variables generadas se incorporan al conjunto de datos y son utilizadas durante el entrenamiento del modelo.

Tipos de interacciones entre variables

Existen múltiples formas de generar interacciones.

• Producto entre variables: Es la interacción más utilizada.
• Cociente entre variables: permite representar proporciones o ratios. Por ejemplo en ingresos/gastos para representar el coste
• Diferencia entre variables: permite capturar brechas o variaciones. Por ejemplo la amplitud entre una variable mínima y otra máxima
• Suma de variables: En algunos casos la combinación aditiva tiene significado práctico. Ejemplo: calcular las ventas totales.
• Interacciones categóricas: También pueden combinarse variables categóricas.

Beneficios de la interacción entre variables

La generación de interacciones ofrece numerosas ventajas.

• Permite capturar relaciones complejas.
• Incrementa la capacidad predictiva.
• Facilita el aprendizaje de modelos lineales.
• Mejora la representación de los datos.
• Puede descubrir patrones ocultos.
• Aumenta el poder explicativo de ciertas variables.
• Reduce la necesidad de algoritmos más complejos.

En muchos casos, una buena interacción puede aportar más valor que añadir nuevas variables.

¿Cuándo utilizar interacciones entre variables?

Es recomendable considerar esta técnica cuando:

• Existen relaciones conocidas entre variables.
• Se trabaja con modelos lineales.
• El rendimiento del modelo es limitado.
• Se dispone de conocimiento del dominio.
• Se buscan patrones complejos.
• El dataset tiene un número moderado de variables.

Resulta especialmente útil cuando las variables tienen significado conjunto desde el punto de vista del negocio.

Ventajas y desventajas

Limitaciones

Aunque es una técnica muy poderosa, presenta ciertas limitaciones.

• El número de posibles interacciones crece rápidamente.
• Puede generar miles de nuevas variables.
• No todas las combinaciones son útiles.
• Algunas interacciones introducen ruido.
• Puede aumentar el consumo de memoria.
• Incrementa la complejidad del modelo.
• Requiere validación para evitar sobreajuste.

Por ello, es importante combinar esta técnica con métodos de selección de características.

Interacciones y modelos de Machine Learning

No todos los algoritmos manejan las interacciones de la misma manera.

Los modelos lineales suelen beneficiarse enormemente de la creación manual de interacciones. Los algoritmos basados en árboles y redes neuronales suelen aprender muchas de estas relaciones de forma automática.

Aplicaciones en Data Science y Machine Learning

Las interacciones entre variables aparecen en prácticamente todos los sectores. Algunas aplicaciones incluyen:

• Predicción de precios inmobiliarios.
• Scoring crediticio.
• Detección de fraude.
• Marketing digital.
• Predicción de ventas.
• Sistemas de recomendación.
• Analítica turística.
• Diagnóstico médico.
• Mantenimiento predictivo.
• Recursos humanos.
• Análisis financiero.
• Comercio electrónico.

Son especialmente útiles cuando las decisiones dependen de múltiples factores simultáneamente.

Implementación básica en Python

Crear una interacción mediante multiplicación

import pandas as pd

df = pd.DataFrame({
    'edad': [25, 35, 45],
    'ingresos': [20000, 40000, 60000]
})

df['edad_ingresos'] = (
    df['edad'] * df['ingresos']
)

print(df)

import pandas as pd

df = pd.DataFrame({
    'edad': [25, 35, 45],
    'ingresos': [20000, 40000, 60000]
})

df['edad_ingresos'] = (
    df['edad'] * df['ingresos']
)

print(df)

Crear una interacción mediante división

import pandas as pd

df = pd.DataFrame({
    'ingresos': [3000, 5000, 7000],
    'gastos': [1500, 2500, 3500]
})

df['ratio_ingresos_gastos'] = (
    df['ingresos'] / df['gastos']
)

print(df)

import pandas as pd

df = pd.DataFrame({
    'ingresos': [3000, 5000, 7000],
    'gastos': [1500, 2500, 3500]
})

df['ratio_ingresos_gastos'] = (
    df['ingresos'] / df['gastos']
)

print(df)

Generar interacciones automáticamente

Scikit-Learn incluye una herramienta específica para este propósito.

from sklearn.preprocessing import PolynomialFeatures
import pandas as pd

X = pd.DataFrame({
    'x1': [1, 2, 3],
    'x2': [4, 5, 6]
})

poly = PolynomialFeatures(
    degree=2,
    interaction_only=True,
    include_bias=False
)

X_interacciones = poly.fit_transform(X)

print(X_interacciones)

from sklearn.preprocessing import PolynomialFeatures
import pandas as pd

X = pd.DataFrame({
    'x1': [1, 2, 3],
    'x2': [4, 5, 6]
})

poly = PolynomialFeatures(
    degree=2,
    interaction_only=True,
    include_bias=False
)

X_interacciones = poly.fit_transform(X)

print(X_interacciones)

[[ 1.  4.  4.]
 [ 2.  5. 10.]
 [ 3.  6. 18.]]

[[ 1.  4.  4.]
 [ 2.  5. 10.]
 [ 3.  6. 18.]]

La tercera columna corresponde a la interacción:

x1 * x2

x1 * x2

Obtener nombres de las variables generadas

feature_names = poly.get_feature_names_out()

print(feature_names)

feature_names = poly.get_feature_names_out()

print(feature_names)

Resultado:

['x1' 'x2' 'x1 x2']

['x1' 'x2' 'x1 x2']

Buenas prácticas

Para utilizar correctamente las interacciones entre variables se recomienda:

• Priorizar interacciones con significado de negocio.
• Evitar generar combinaciones indiscriminadas.
• Evaluar el impacto mediante validación cruzada.
• Controlar el crecimiento de la dimensionalidad.
• Aplicar selección de características cuando sea necesario.
• Revisar problemas de multicolinealidad.
• Documentar las variables creadas.
• Analizar la interpretabilidad de las nuevas características.

Conclusión

La interacción entre variables es una de las técnicas más valiosas dentro de la Ingeniería de Características. Su objetivo es representar relaciones conjuntas entre variables que pueden resultar invisibles cuando cada característica se analiza de forma independiente.

Al generar variables derivadas mediante productos, ratios, diferencias, sumas u otras combinaciones, es posible capturar patrones más complejos y mejorar significativamente el rendimiento de los modelos de Machine Learning. Aunque algunos algoritmos modernos pueden aprender estas relaciones automáticamente, la creación consciente de interacciones sigue siendo una herramienta fundamental para construir modelos más precisos, interpretables y alineados con la realidad del problema de negocio.

En cualquier proyecto de Data Science o Machine Learning, la calidad de los datos suele tener un impacto mayor sobre el rendimiento del modelo que el propio algoritmo utilizado. Es frecuente encontrar situaciones en las que un modelo complejo obtiene resultados mediocres debido a una mala representación de los datos, mientras que un algoritmo sencillo logra excelentes resultados gracias a una adecuada preparación de las variables.

La Ingeniería de Características (Feature Engineering) es el proceso de crear, transformar, seleccionar y optimizar variables para mejorar la capacidad de los modelos de Machine Learning para identificar patrones y realizar predicciones precisas.

Se considera una de las etapas más importantes del ciclo de vida de un proyecto de ciencia de datos y, en muchos casos, es el factor que más contribuye al éxito de una solución predictiva.

¿Qué es la Ingeniería de Características?

La Ingeniería de Características es el conjunto de técnicas utilizadas para transformar datos brutos en variables más útiles para los algoritmos de Machine Learning.

Su objetivo es proporcionar al modelo una representación más adecuada de la realidad que permita descubrir relaciones, tendencias y patrones ocultos.

Por ejemplo, supongamos que tenemos la siguiente información:

fecha_compra = [2025-01-15, 2025-07-20, 2025-12-05]

fecha_compra = [2025-01-15, 2025-07-20, 2025-12-05]

Un algoritmo difícilmente podrá extraer información útil directamente de estas fechas. Sin embargo, mediante ingeniería de características podríamos crear nuevas variables:

Estas nuevas características pueden contener información mucho más relevante para el modelo.

¿Por qué es importante?

Los algoritmos de Machine Learning no comprenden el significado de los datos como lo haría un ser humano. Para un modelo, una columna con fechas, texto o categorías es simplemente información que debe ser convertida a una representación matemática adecuada.

La ingeniería de características permite:

• Resaltar patrones importantes.
• Reducir ruido.
• Mejorar la capacidad predictiva.
• Facilitar el aprendizaje del algoritmo.
• Reducir la complejidad del problema.
• Incrementar la interpretabilidad.

Por esta razón suele afirmarse que “mejores características producen mejores modelos”.

¿Cómo funciona la Ingeniería de Características?

El proceso consiste en transformar los datos originales para generar variables más informativas.

Generalmente incluye:

1. Comprender el problema de negocio.
2. Analizar las variables disponibles.
3. Crear nuevas características.
4. Transformar variables existentes.
5. Eliminar características irrelevantes.
6. Seleccionar las variables más importantes.
7. Evaluar el impacto sobre el modelo.

La ingeniería de características es un proceso iterativo que combina conocimiento del negocio, estadística y aprendizaje automático.

Principales técnicas de Ingeniería de Características

La ingeniería de características engloba múltiples técnicas que suelen estudiarse de forma independiente.

Entre las más importantes se encuentran:

• Tratamiento de valores faltantes.
• Tratamiento de valores atípicos.
• Escalado y normalización.
• Codificación de variables categóricas.
• Transformaciones matemáticas.
• Discretización o binning.
• Creación de variables derivadas.
• Extracción de características temporales.
• Extracción de características de texto.
• Extracción de características de imágenes.
• Selección de características.
• Reducción de dimensionalidad.
• Generación automática de características.

Cada una de estas técnicas será abordada posteriormente de manera individual.

Beneficios de la Ingeniería de Características

La correcta construcción de características aporta numerosas ventajas:

• Incrementa la precisión de los modelos.
• Mejora la capacidad de generalización.
• Reduce el ruido de los datos.
• Facilita la detección de patrones.
• Puede disminuir el tiempo de entrenamiento.
• Mejora la interpretabilidad.
• Permite utilizar algoritmos más simples con mejores resultados.

En muchos proyectos, una buena ingeniería de características aporta más mejoras que cambiar de algoritmo.

¿Cuándo utilizar Ingeniería de Características?

Su aplicación es recomendable prácticamente en cualquier proyecto de Machine Learning. Resulta especialmente útil cuando:

• Los datos están en formato bruto.
• Existen variables categóricas.
• Se trabaja con fechas y horas.
• Hay variables con distribuciones sesgadas.
• Existen demasiadas variables.
• El rendimiento del modelo es bajo.
• Se busca mejorar la interpretabilidad.

En entornos reales, la ingeniería de características suele formar parte obligatoria de cualquier pipeline de modelado.

Ventajas y desventajas

Limitaciones

Aunque es una técnica extremadamente poderosa, presenta algunas limitaciones.

• Depende del conocimiento del problema.
• Puede requerir múltiples iteraciones.
• Algunas transformaciones son difíciles de automatizar.
• Existe riesgo de sobreajuste.
• Puede aumentar la dimensionalidad.
• Algunas variables creadas pueden carecer de significado práctico.

Por ello, es importante validar continuamente el impacto de las nuevas características sobre el rendimiento del modelo.

Ingeniería de Características vs Selección de Características

Aunque suelen confundirse, ambos conceptos son diferentes.

Ambas técnicas suelen utilizarse conjuntamente.

Impacto en Machine Learning

La ingeniería de características afecta directamente al rendimiento de los modelos.

Modelos lineales

• Regresión Lineal.
• Regresión Logística.
• Elastic Net.

Suelen beneficiarse enormemente de transformaciones adecuadas.

Modelos basados en distancia

• K-Nearest Neighbors (KNN).
• Support Vector Machines (SVM).

Requieren especialmente variables escaladas y bien representadas.

Redes neuronales

• Deep Learning.
• Redes multicapa.

Aunque pueden aprender representaciones complejas automáticamente, siguen beneficiándose de características de calidad.

Modelos basados en árboles

• Decision Trees.
• Random Forest.
• XGBoost.
• LightGBM.

Son más robustos, pero también pueden mejorar significativamente mediante una adecuada ingeniería de características.

Aplicaciones en Data Science y Machine Learning

La ingeniería de características se utiliza en prácticamente todos los dominios de análisis de datos.

Algunas aplicaciones incluyen:

• Predicción de ventas.
• Detección de fraude.
• Scoring crediticio.
• Diagnóstico médico.
• Sistemas de recomendación.
• Predicción de abandono de clientes.
• Marketing digital.
• Mantenimiento predictivo.
• Visión por computador.
• Procesamiento de lenguaje natural.
• Análisis financiero.
• Analítica turística.

Es considerada una habilidad fundamental para cualquier científico de datos.

Implementación básica en Python

Crear nuevas características a partir de fechas

import pandas as pd

df = pd.DataFrame({
    'fecha_compra': ['2025-01-15', '2025-07-20']
})

df['fecha_compra'] = pd.to_datetime(df['fecha_compra'])

df['mes'] = df['fecha_compra'].dt.month
df['trimestre'] = df['fecha_compra'].dt.quarter
df['dia_semana'] = df['fecha_compra'].dt.dayofweek

print(df)

import pandas as pd

df = pd.DataFrame({
    'fecha_compra': ['2025-01-15', '2025-07-20']
})

df['fecha_compra'] = pd.to_datetime(df['fecha_compra'])

df['mes'] = df['fecha_compra'].dt.month
df['trimestre'] = df['fecha_compra'].dt.quarter
df['dia_semana'] = df['fecha_compra'].dt.dayofweek

print(df)

Crear una variable derivada

import pandas as pd

df = pd.DataFrame({
    'precio': [10, 15, 20],
    'cantidad': [2, 5, 3]
})

df['ingreso'] = df['precio'] * df['cantidad']

print(df)

import pandas as pd

df = pd.DataFrame({
    'precio': [10, 15, 20],
    'cantidad': [2, 5, 3]
})

df['ingreso'] = df['precio'] * df['cantidad']

print(df)

Transformar variables categóricas

import pandas as pd

df = pd.DataFrame({
    'ciudad': ['Madrid', 'Barcelona', 'Sevilla']
})

df_encoded = pd.get_dummies(
    df,
    columns=['ciudad']
)

print(df_encoded)

import pandas as pd

df = pd.DataFrame({
    'ciudad': ['Madrid', 'Barcelona', 'Sevilla']
})

df_encoded = pd.get_dummies(
    df,
    columns=['ciudad']
)

print(df_encoded)

Escalar variables numéricas

from sklearn.preprocessing import StandardScaler
import pandas as pd

df = pd.DataFrame({
    'edad': [20, 35, 50, 65]
})

scaler = StandardScaler()

df['edad_escalada'] = scaler.fit_transform(
    df[['edad']]
)

print(df)

from sklearn.preprocessing import StandardScaler
import pandas as pd

df = pd.DataFrame({
    'edad': [20, 35, 50, 65]
})

scaler = StandardScaler()

df['edad_escalada'] = scaler.fit_transform(
    df[['edad']]
)

print(df)

Buenas prácticas

Para realizar una ingeniería de características efectiva se recomienda:

• Comprender profundamente el problema de negocio.
• Analizar las distribuciones de las variables.
• Evitar generar características sin significado.
• Validar cada transformación mediante métricas.
• Utilizar pipelines reproducibles.
• Evitar fugas de información (Data Leakage).
• Documentar todas las transformaciones realizadas.
• Combinar conocimiento del dominio con análisis estadístico.

Conclusión

La Ingeniería de Características es una de las disciplinas más importantes dentro de Data Science y Machine Learning. Consiste en transformar, crear y optimizar variables para que los algoritmos puedan aprender de forma más eficiente y generar predicciones más precisas.

Aunque los avances en algoritmos han sido enormes durante los últimos años, la calidad de las características sigue siendo uno de los factores más determinantes en el éxito de un proyecto analítico. Por ello, dominar las distintas técnicas de ingeniería de características es una competencia esencial para cualquier profesional que trabaje con datos, ya que permite convertir datos brutos en conocimiento útil y maximizar el rendimiento de los modelos predictivos.

¿Qué es la Imputación Múltiple (MICE)?

La imputación múltiple mediante ecuaciones encadenadas (Multiple Imputation by Chained Equations o MICE) es una técnica avanzada de tratamiento de datos faltantes que estima los valores ausentes utilizando modelos predictivos construidos a partir del resto de variables del conjunto de datos.

A diferencia de la imputación simple, que reemplaza los valores faltantes mediante una única estadística como la media o la mediana, MICE intenta reconstruir la información perdida aprovechando las relaciones existentes entre las variables.

Su principal característica es que genera múltiples estimaciones para los valores faltantes en lugar de una única imputación fija, permitiendo reflejar mejor la incertidumbre asociada a los datos ausentes.

Por esta razón, MICE es considerada una de las técnicas más rigurosas desde el punto de vista estadístico.

¿Por qué utilizar MICE?

En muchos conjuntos de datos reales, las variables están relacionadas entre sí.

Por ejemplo:

El salario suele estar relacionado con:

• La edad.
• La experiencia.
• El nivel educativo.
• La ocupación.

Sustituir el valor faltante mediante una simple media ignora completamente estas relaciones. MICE aprovecha esta información para generar imputaciones más realistas y coherentes con el comportamiento observado en los datos.

¿Cómo funciona MICE?

La idea fundamental consiste en utilizar cada variable como objetivo de predicción de manera iterativa.

El proceso general es:

1. Realizar una imputación inicial sencilla.
2. Seleccionar una variable con valores faltantes.
3. Construir un modelo utilizando el resto de variables.
4. Predecir los valores ausentes.
5. Repetir el proceso para todas las variables con datos faltantes.
6. Ejecutar varias iteraciones hasta que las imputaciones se estabilicen.

Este procedimiento genera una cadena de modelos predictivos interconectados. De ahí el nombre:

Multiple Imputation by Chained Equations

Multiple Imputation by Chained Equations

¿Por qué se llama imputación múltiple?

La característica que diferencia a MICE de otros métodos es que no genera una única estimación. En su formulación estadística original:

• Se crean múltiples versiones completas del dataset.
• Cada una contiene imputaciones ligeramente diferentes.
• Los análisis se realizan sobre todos los conjuntos generados.
• Los resultados se combinan posteriormente.

De esta forma se incorpora la incertidumbre inherente al proceso de imputación.

Funcionamiento iterativo

Uno de los aspectos más interesantes de MICE es su naturaleza iterativa.

Por ejemplo:

• Iteración 1: Se imputan todos los valores faltantes utilizando estimaciones iniciales.
• Iteración 2: Se reconstruyen modelos utilizando las nuevas imputaciones.
• Iteración 3: Se refinan nuevamente las estimaciones.
• Iteraciones posteriores: El proceso continúa hasta alcanzar estabilidad.

Este mecanismo permite mejorar progresivamente la calidad de las imputaciones.

Tipos de modelos utilizados

Dependiendo del tipo de variable, MICE puede utilizar diferentes algoritmos.

Esto convierte a MICE en una técnica extremadamente flexible.

Beneficios de MICE

• Aprovecha las relaciones entre variables.
• Genera imputaciones más realistas.
• Reduce el sesgo respecto a métodos simples.
• Conserva mejor la estructura estadística de los datos.
• Permite incorporar incertidumbre en las estimaciones.
• Funciona bien con múltiples variables faltantes.
• Es una de las técnicas más aceptadas en investigación y estadística aplicada.

¿Cuándo utilizar MICE?

• Existen relaciones significativas entre variables.
• El porcentaje de datos faltantes es moderado.
• Se requiere alta precisión estadística.
• Los datos son MAR (Missing At Random).
• La calidad de la imputación es prioritaria.

Es especialmente habitual en:

• Investigación médica.
• Ciencias sociales.
• Finanzas.
• Estudios longitudinales.
• Proyectos analíticos avanzados.

Ventajas

• Imputaciones más precisas.
• Conservación de correlaciones entre variables.
• Menor sesgo estadístico.
• Adaptación a distintos tipos de datos.
• Manejo simultáneo de múltiples variables incompletas.
• Fundamentación estadística sólida.
• Amplio respaldo académico.

Desventajas

• Mayor complejidad conceptual.
• Coste computacional elevado.
• Tiempo de ejecución superior.
• Requiere más parámetros de configuración.
• Resultados más difíciles de interpretar.

Además, la calidad de la imputación depende de la calidad de los modelos utilizados.

Limitaciones

Antes de utilizar MICE conviene considerar que:

• No recupera los valores reales perdidos.
• Puede producir resultados incorrectos si los modelos están mal especificados.
• Resulta menos eficaz con datos MNAR.
• Puede ser costoso en datasets muy grandes.
• Requiere variables predictoras informativas.

La técnica funciona mejor cuando existen relaciones reales entre las variables del conjunto de datos.

Comparación con otras técnicas de imputación

MICE vs Imputación Simple

MICE vs KNN Imputation

Aplicaciones en Data Science y Machine Learning

MICE se utiliza frecuentemente en:

• Estudios clínicos.
• Investigación biomédica.
• Analítica financiera.
• Modelos de riesgo.
• Predicción de abandono.
• Analítica de clientes.
• Investigación académica.
• Machine Learning supervisado.
• Modelos estadísticos avanzados.

Es especialmente útil cuando la calidad de los datos resulta crítica para el análisis.

Impacto en Machine Learning

Muchos algoritmos requieren conjuntos de datos completos para funcionar correctamente.

MICE permite:

• Mantener observaciones incompletas.
• Reducir la pérdida de información.
• Preservar relaciones entre variables.
• Mejorar la calidad del conjunto de datos.

En numerosos escenarios, los modelos entrenados sobre datos imputados mediante MICE presentan un mejor comportamiento que aquellos construidos utilizando imputación simple.

Implementación en Python

En Scikit-Learn, MICE se implementa mediante IterativeImputer.

Habilitar IterativeImputer

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

Ejemplo básico

import pandas as pd

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

df = pd.DataFrame({
    "edad": [25, 30, 35, 40],
    "salario": [1800, None, 3200, 4500]
})

imputer = IterativeImputer(
    random_state=42
)

df_imputado = pd.DataFrame(
    imputer.fit_transform(df),
    columns=df.columns
)

print(df_imputado)

import pandas as pd

from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer

df = pd.DataFrame({
    "edad": [25, 30, 35, 40],
    "salario": [1800, None, 3200, 4500]
})

imputer = IterativeImputer(
    random_state=42
)

df_imputado = pd.DataFrame(
    imputer.fit_transform(df),
    columns=df.columns
)

print(df_imputado)

Configurar el número de iteraciones

imputer = IterativeImputer(
    max_iter=20,
    random_state=42
)

imputer = IterativeImputer(
    max_iter=20,
    random_state=42
)

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.impute import IterativeImputer
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("imputer",
     IterativeImputer(
         random_state=42
     )),
    ("model",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.impute import IterativeImputer
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("imputer",
     IterativeImputer(
         random_state=42
     )),
    ("model",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Buenas prácticas

Al utilizar MICE es recomendable:

• Analizar previamente el patrón de datos faltantes.
• Utilizar únicamente los datos de entrenamiento para ajustar el imputador.
• Verificar las relaciones entre variables.
• Ajustar adecuadamente el número de iteraciones.
• Comparar los resultados con otros métodos de imputación.
• Validar el impacto sobre el modelo final.
• Revisar las distribuciones antes y después de la imputación.

Conclusión

La Imputación Múltiple mediante Ecuaciones Encadenadas (MICE) es una de las técnicas más avanzadas y robustas para el tratamiento de datos faltantes. Su principal ventaja es que utiliza modelos predictivos para estimar los valores ausentes, aprovechando las relaciones existentes entre las variables del conjunto de datos.

Aunque presenta una complejidad y un coste computacional superiores a los métodos tradicionales, suele producir imputaciones más realistas y estadísticamente sólidas. Por ello, se ha convertido en una herramienta ampliamente utilizada en investigación, análisis avanzado de datos y proyectos de Machine Learning donde la calidad de la información es un factor crítico.

¿Qué es la imputación por KNN?

La imputación por KNN (K-Nearest Neighbors Imputation) es una técnica de tratamiento de datos faltantes que estima los valores ausentes utilizando información procedente de observaciones similares dentro del conjunto de datos.

A diferencia de la imputación simple, que reemplaza todos los valores faltantes de una variable utilizando una única estadística como la media o la mediana, la imputación por KNN genera una estimación personalizada para cada observación basándose en sus vecinos más cercanos.

La idea fundamental es que observaciones con características similares probablemente también presenten valores similares en las variables faltantes. Por esta razón, la imputación por KNN suele producir estimaciones más realistas que los métodos de imputación simple.

¿Por qué utilizar KNN para imputar datos faltantes?

Cuando existen relaciones entre las variables de un conjunto de datos, reemplazar los valores faltantes utilizando únicamente la media o la mediana puede provocar una pérdida importante de información. Por ejemplo, consideremos los siguientes clientes:

Resulta poco razonable sustituir el ingreso faltante mediante la media global de todos los ingresos, ya que el cliente de 27 años probablemente se parezca más a los clientes jóvenes que al cliente de 60 años. La imputación por KNN intenta aprovechar precisamente esta similitud, la mayoría de implementaciones utilizan la distancia euclídea.

¿Cómo funciona la imputación por KNN?

El procedimiento general consiste en:

1. Identificar la observación con datos faltantes.
2. Calcular la distancia respecto al resto de observaciones.
3. Encontrar los K vecinos más cercanos.
4. Recuperar los valores conocidos de esos vecinos.
5. Estimar el valor faltante utilizando la información de los vecinos.

La estimación suele realizarse mediante:

• La media para variables numéricas.
• La moda para variables categóricas.

El parámetro K

Uno de los elementos más importantes de esta técnica es el número de vecinos utilizados.

No existe un valor universalmente óptimo. En muchos proyectos se utilizan valores entre:

K = 3 y K = 10

K = 3 y K = 10

aunque debe validarse según el problema.

Importancia del escalado de variables

La imputación por KNN depende directamente de las distancias entre observaciones. Por este motivo, las variables deben encontrarse en escalas comparables.

Ejemplo:

Sin escalado, la variable salario dominará completamente el cálculo de distancias. Por ello suele aplicarse previamente:

• Standard Scaling.
• Min-Max Scaling.
• Robust Scaling.

Beneficios de la imputación por KNN

• Aprovecha la información de observaciones similares.
• Conserva mejor la estructura de los datos.
• Produce imputaciones más realistas.
• Tiene en cuenta relaciones entre variables.
• Puede adaptarse a diferentes tipos de datasets.
• Reduce la pérdida de información.
• Suele superar a la imputación simple en precisión.

¿Cuándo utilizar la imputación por KNN?

• Existen relaciones entre variables.
• El porcentaje de valores faltantes es moderado.
• El dataset no es excesivamente grande.
• Las observaciones similares contienen información útil.
• Se desea una imputación más precisa que la media o la mediana.

Resulta especialmente útil en:

• Datos de clientes.
• Datos financieros.
• Datos médicos.
• Sistemas de recomendación.
• Problemas de clasificación y regresión.

Ventajas

• Utiliza información contextual.
• Mantiene mejor las distribuciones originales.
• Considera múltiples variables simultáneamente.
• Produce estimaciones individualizadas.
• Fácil de implementar mediante Scikit-Learn.
• Puede mejorar el rendimiento de los modelos.

Desventajas

• Coste computacional elevado.
• Sensibilidad al escalado de variables.
• Sensibilidad a valores atípicos.
• Puede ser lento en grandes datasets.
• La elección de K influye en los resultados.

Además, cuando existen muchos valores faltantes, encontrar vecinos fiables resulta más complicado.

Limitaciones

La imputación por KNN presenta varias limitaciones importantes:

• No funciona bien con datasets extremadamente grandes.
• Puede degradarse en espacios de alta dimensionalidad.
• Depende de la calidad de las variables utilizadas.
• No siempre captura relaciones complejas.
• Puede producir imputaciones incorrectas cuando los vecinos no son realmente similares.

Por esta razón, en algunos escenarios se prefieren métodos más avanzados como MICE.

Comparación con otras técnicas de imputación

Imputación por KNN vs Imputación Simple

Aplicaciones en Data Science y Machine Learning

La imputación por KNN aparece frecuentemente en:

• Modelos de clasificación.
• Modelos de regresión.
• Analítica financiera.
• Predicción de riesgo.
• Sistemas de recomendación.
• Analítica de clientes.
• Predicción de abandono.
• Datos biomédicos.
• Detección de fraude.

Es especialmente útil cuando la similitud entre observaciones contiene información valiosa.

Impacto en Machine Learning

Muchos algoritmos requieren conjuntos de datos completos para funcionar correctamente.

La imputación por KNN permite:

• Conservar registros incompletos.
• Reducir la pérdida de información.
• Mantener relaciones entre variables.
• Mejorar la calidad del dataset.

En numerosos problemas, los modelos entrenados tras aplicar KNN Imputation obtienen mejores resultados que aquellos construidos utilizando imputación simple.

Implementación en Python

Ejemplo básico con KNNImputer

import pandas as pd
from sklearn.impute import KNNImputer

df = pd.DataFrame({
    "edad": [25, 28, 27, 60],
    "ingresos": [1800, 1900, None, 5000]
})

imputer = KNNImputer(
    n_neighbors=2
)

df_imputado = pd.DataFrame(
    imputer.fit_transform(df),
    columns=df.columns
)

print(df_imputado)

import pandas as pd
from sklearn.impute import KNNImputer

df = pd.DataFrame({
    "edad": [25, 28, 27, 60],
    "ingresos": [1800, 1900, None, 5000]
})

imputer = KNNImputer(
    n_neighbors=2
)

df_imputado = pd.DataFrame(
    imputer.fit_transform(df),
    columns=df.columns
)

print(df_imputado)

Utilizando escalado previo

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.impute import KNNImputer

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("imputer", KNNImputer(
        n_neighbors=5
    ))
])

datos_imputados = pipeline.fit_transform(df)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.impute import KNNImputer

pipeline = Pipeline([
    ("scaler", StandardScaler()),
    ("imputer", KNNImputer(
        n_neighbors=5
    ))
])

datos_imputados = pipeline.fit_transform(df)

Integración en un flujo de Machine Learning

from sklearn.pipeline import Pipeline
from sklearn.impute import KNNImputer
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("imputer",
     KNNImputer(n_neighbors=5)),
    ("model",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.impute import KNNImputer
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("imputer",
     KNNImputer(n_neighbors=5)),
    ("model",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Buenas prácticas

Al utilizar imputación por KNN es recomendable:

• Escalar las variables antes de calcular distancias.
• Probar diferentes valores de K.
• Analizar la distribución de los datos antes y después de la imputación.
• Utilizar únicamente datos de entrenamiento para ajustar el imputador.
• Evaluar el impacto sobre el rendimiento del modelo.
• Revisar la presencia de outliers.

Conclusión

La imputación por KNN es una técnica avanzada de tratamiento de datos faltantes que estima los valores ausentes utilizando observaciones similares dentro del conjunto de datos. A diferencia de la imputación simple, aprovecha las relaciones existentes entre variables para generar estimaciones personalizadas y generalmente más precisas.

Aunque presenta un coste computacional superior y requiere prestar atención al escalado de las variables, constituye una alternativa muy eficaz cuando existen patrones de similitud significativos en los datos. Por ello, es una de las técnicas de imputación más utilizadas en proyectos de Data Science y Machine Learning que buscan maximizar la calidad de la información disponible antes del modelado.

¿Qué es la imputación simple?

La imputación simple es una técnica de tratamiento de datos faltantes que consiste en reemplazar los valores ausentes utilizando un único valor calculado o definido previamente. Es una de las estrategias más utilizadas durante la preparación de datos debido a su sencillez, rapidez y facilidad de implementación.

En lugar de eliminar registros o variables que contienen datos faltantes, la imputación simple permite conservar la información disponible sustituyendo los valores ausentes por estimaciones razonables.

Por ejemplo:

edad = [ 25, 30, NULL, 35]

edad = [ 25, 30, NULL, 35]

Tras aplicar imputación simple mediante la media:

edad = [ 25, 30, 30, 35]

edad = [ 25, 30, 30, 35]

El valor faltante se sustituye por una estimación basada en los datos disponibles.

¿Por qué utilizar imputación simple?

Los valores faltantes representan uno de los problemas más frecuentes en Data Science y Machine Learning. Muchos algoritmos no pueden procesar directamente datos ausentes, lo que obliga a tomar alguna decisión antes del entrenamiento. Las alternativas más comunes son:

• Eliminar registros.
• Eliminar variables.
• Imputar valores.

La imputación simple suele ser una buena opción cuando:

• La cantidad de valores faltantes es reducida.
• La variable es importante para el análisis.
• Se desea conservar el mayor número posible de observaciones.
• No se justifica utilizar métodos más complejos.

¿Cómo funciona la imputación simple?

El procedimiento consiste en:

1. Identificar los valores faltantes.
2. Seleccionar un método de imputación.
3. Calcular el valor de reemplazo.
4. Sustituir los datos ausentes.

La característica principal de esta técnica es que todos los valores faltantes de una misma variable se reemplazan utilizando el mismo criterio.

Métodos de imputación simple

• Imputación mediante la media: Se sustituyen los valores faltantes por la media aritmética de la variable.
• Imputación mediante la mediana : Se reemplazan los valores faltantes por la mediana de la variable.
• Imputación mediante la moda: Se utiliza el valor más frecuente de una variable. Es especialmente útil para variables categóricas.
• Imputación mediante un valor constante: Los valores faltantes se sustituyen por un valor definido manualmente. Ejmplo: Unknow, esta estrategia permite conservar información sobre la ausencia de datos.

Comparación entre métodos de imputación simple

Beneficios de la imputación simple

• Permite conservar registros incompletos.
• Evita la pérdida de información.
• Es fácil de implementar.
• Requiere pocos recursos computacionales.
• Funciona rápidamente incluso en grandes conjuntos de datos.
• Facilita el entrenamiento de modelos.
• Es compatible con la mayoría de algoritmos.

¿Cuándo utilizar la imputación simple?

• El porcentaje de valores faltantes es reducido.
• Los datos faltantes son MCAR (Missing Completely At Random).
• Se necesita una solución rápida.
• La variable tiene una distribución relativamente estable.
• Se trabaja en fases iniciales de exploración de datos.

También suele utilizarse como línea base antes de probar técnicas más avanzadas.

Ventajas

• Implementación sencilla.
• Bajo coste computacional.
• Fácil interpretación.
• Mantiene el tamaño del dataset.
• Compatible con pipelines de Machine Learning.
• Adecuada para grandes volúmenes de datos.
• Disponible en la mayoría de herramientas analíticas.

Desventajas

• Introduce valores artificiales.
• Reduce la variabilidad de los datos.
• Puede alterar distribuciones originales.
• No tiene en cuenta relaciones entre variables.
• Puede introducir sesgos.

Por ejemplo, si una variable presenta una distribución muy asimétrica, imputar mediante la media puede generar valores poco representativos.

Limitaciones

• No recupera los valores reales perdidos.
• Ignora correlaciones entre variables.
• Puede infraestimar la varianza.
• Reduce la dispersión de los datos.
• Puede afectar a la calidad de algunos modelos.
• No suele ser adecuada para grandes cantidades de datos faltantes.

Por esta razón, cuando el porcentaje de valores ausentes es elevado suelen considerarse métodos más avanzados como KNN Imputation o MICE.

Comparación con otras técnicas de tratamiento

Imputación Simple vs Eliminación de Registros

Impacto en Machine Learning

Muchos algoritmos requieren datos completos para poder entrenarse correctamente.

Por ejemplo:

• Regresión lineal.
• Regresión logística.
• SVM.
• Redes neuronales.
• K-Means.

La imputación simple permite generar conjuntos de datos compatibles con estos algoritmos sin eliminar observaciones potencialmente valiosas. Sin embargo, debe utilizarse con precaución cuando los datos faltantes presentan patrones complejos o porcentajes elevados.

Implementación en Python

Imputación mediante la media

from sklearn.impute import SimpleImputer
import pandas as pd

df = pd.DataFrame({
    "edad": [25, 30, None, 35]
})

imputer = SimpleImputer(
    strategy="mean"
)

df["edad"] = imputer.fit_transform(
    df[["edad"]]
)

print(df)

from sklearn.impute import SimpleImputer
import pandas as pd

df = pd.DataFrame({
    "edad": [25, 30, None, 35]
})

imputer = SimpleImputer(
    strategy="mean"
)

df["edad"] = imputer.fit_transform(
    df[["edad"]]
)

print(df)

Imputación mediante la mediana

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="median"
)

df["salario"] = imputer.fit_transform(
    df[["salario"]]
)

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="median"
)

df["salario"] = imputer.fit_transform(
    df[["salario"]]
)

Imputación mediante la moda

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="most_frequent"
)

df["ciudad"] = imputer.fit_transform(
    df[["ciudad"]]
)

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="most_frequent"
)

df["ciudad"] = imputer.fit_transform(
    df[["ciudad"]]
)

Imputación mediante un valor constante

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="constant",
    fill_value="Desconocido"
)

df["ciudad"] = imputer.fit_transform(
    df[["ciudad"]]
)

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="constant",
    fill_value="Desconocido"
)

df["ciudad"] = imputer.fit_transform(
    df[["ciudad"]]
)

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("imputer",
     SimpleImputer(strategy="median")),
    ("model",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.impute import SimpleImputer
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("imputer",
     SimpleImputer(strategy="median")),
    ("model",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Buenas prácticas

Al utilizar imputación simple es recomendable:

• Analizar previamente el porcentaje de datos faltantes.
• Comprender el mecanismo de ausencia de los datos.
• Utilizar la mediana cuando existan outliers.
• Utilizar la moda para variables categóricas.
• Ajustar el imputador únicamente con los datos de entrenamiento.
• Comparar el rendimiento frente a métodos más avanzados.
• Evaluar el impacto sobre las distribuciones originales.

Conclusión

La imputación simple es una de las técnicas más utilizadas para gestionar datos faltantes debido a su simplicidad, rapidez y facilidad de implementación. Consiste en sustituir los valores ausentes mediante estadísticas básicas como la media, la mediana, la moda o un valor constante, permitiendo conservar observaciones que de otro modo podrían perderse.

Aunque presenta limitaciones y no tiene en cuenta las relaciones entre variables, sigue siendo una excelente solución cuando el porcentaje de datos faltantes es reducido y se necesita una estrategia eficiente y fácilmente interpretable. Además, suele constituir el punto de partida para comparar posteriormente métodos más avanzados como KNN Imputation o Imputación Múltiple (MICE).

Tratamiento de Datos Faltantes

¿Qué son los datos faltantes?

Los datos faltantes, también conocidos como valores nulos o valores ausentes, son observaciones para las cuales no existe información registrada en una o más variables de un conjunto de datos. Dependiendo del sistema utilizado, pueden representarse mediante valores como NULL, NaN, None, #N/A o simplemente campos vacíos.

La presencia de datos faltantes es uno de los problemas más frecuentes en Data Science, Machine Learning, Business Intelligence y analítica de datos. De hecho, es raro encontrar conjuntos de datos reales que no contengan algún nivel de información ausente.

¿Por qué es importante gestionar los datos faltantes?

La calidad de cualquier análisis depende directamente de la calidad de los datos utilizados. Cuando existen valores ausentes, se generan vacíos de información que pueden afectar significativamente a los resultados obtenidos.

Los datos faltantes pueden provocar:

• Pérdida de información relevante.
• Disminución del tamaño efectivo de la muestra.
• Sesgos estadísticos.
• Reducción de la precisión de los modelos.
• Conclusiones incorrectas.
• Problemas durante el entrenamiento de algoritmos.

Por ejemplo, si una empresa desea identificar cuáles son los productos más vendidos por color y una de sus tiendas no registra correctamente esa información, los resultados del análisis podrían conducir a decisiones erróneas sobre inventario, compras o marketing.

Por esta razón, el tratamiento de los datos faltantes constituye una de las etapas más importantes dentro de la limpieza y preparación de datos.

¿Por qué aparecen los datos faltantes?

Existen numerosas razones por las que un conjunto de datos puede contener valores ausentes.

• Errores de captura: Los datos nunca fueron introducidos en el sistema. Ejemplo: formularios incompletos, campos opcionales no rellenados y omisiones humanas.
• Problemas de privacidad: Algunos usuarios deciden no proporcionar determinada información personal. Correo electrónico, número de teléfono, ingresos, información médica.
• Fallos técnicos: Pueden producirse errores durante la transmisión de datos, la integración de sistemas, el almacenamiento o la captura mediante sensores.
• Pérdida de información: La corrupción de archivos o interrupciones en sistemas de comunicación también pueden provocar la desaparición de datos válidos.
• Reglas de negocio: En algunos casos la ausencia de información es completamente normal y esperada.

¿Cómo identificar datos faltantes?

Antes de decidir cómo tratarlos, es necesario detectarlos y cuantificarlos.

Las técnicas más habituales incluyen:

• Inspección visual de los datos.
• Revisión de muestras aleatorias.
• Estadísticas descriptivas.
• Perfilado de datos.
• Validación de datos.
• Análisis de porcentajes de ausencia.

Algunas preguntas útiles son:

• ¿Cuántos valores faltan?
• ¿Qué variables están afectadas?
• ¿Existe algún patrón?
• ¿La ausencia afecta a variables importantes?

Tipos de datos faltantes

No todos los valores ausentes tienen el mismo significado. Comprender el motivo de la ausencia es fundamental para seleccionar la estrategia de tratamiento adecuada.

Datos estructuralmente faltantes

Son datos cuya ausencia es esperada debido al contexto del problema.

Por ejemplo:

La ausencia de información sobre el inhalador es completamente lógica porque la persona no tiene asma. En estos casos, normalmente no es necesario imputar ningún valor.

Missing Completely At Random (MCAR)

Los datos faltan completamente al azar. La probabilidad de que un dato esté ausente es la misma para todas las observaciones. Ejemplos:

• Fallo aleatorio de un sensor.
• Error aleatorio de transmisión.
• Problema temporal de captura.

Características:

• No existe patrón identificable.
• El riesgo de sesgo es bajo.
• Son los más sencillos de tratar.

Missing At Random (MAR)

La ausencia depende de otras variables observadas.

Ejemplo práctico de MAR

En el dataset “Predict H1N1 and Seasonal Flu Vaccines” de DrivenData, la variable employment_industry presenta aproximadamente un 50% de valores faltantes.

A primera vista podría parecer un problema grave de calidad de datos. Sin embargo, al analizar la relación entre employment_industry y employment_status mediante una tabla de contingencia, se observa que los valores faltantes aparecen casi exclusivamente en personas desempleadas o fuera del mercado laboral.

pd.crosstab(
    df['employment_status'],
    df['employment_industry'].isna()
)

pd.crosstab(
    df['employment_status'],
    df['employment_industry'].isna()
)

employment_industry	 False	 True
employment_status		
          Employed	 13377	  183
Not in Labor Force	     0	10231
        Unemployed	     0	 1453

employment_industry	 False	 True
employment_status		
          Employed	 13377	  183
Not in Labor Force	     0	10231
        Unemployed	     0	 1453

¿Cómo interpretar estos datos?

• Entender qué significa False y True: df['employment_industry'].isna() genera una serie booleana donde:
  • False: existe valor.
  • True: es NaN
• Employed muestra que 13377 empleados tienen industria asignada.
• Not in Labor Force muestra que ninguna persona fuera de la fuerza laboral tiene industria. Todas tienen NaN.
• Unemployed muestra que ningún desempleado tiene industria. Todos tienen NaN.

Observa que:

• Employed → casi todos tienen industria
• Not in Labor Force → ninguno tiene industria
• Unemployed → ninguno tiene industria

Esto indica que la ausencia de información no es aleatoria, sino que depende de una variable observada employment_status. O sea ,employment_industry sólo se pregunta a personas empleadas.

En este caso, el mecanismo de ausencia desde una perspectiva estadística estricta: se clasifica como MAR (Missing At Random), ya que la probabilidad de que falte el dato puede explicarse mediante información disponible en el conjunto de datos.

Desde una perspectiva de negocio, también puede interpretarse como Missing Not Applicable (MNAR estructural) . La variable no está ausente por error. Está ausente porque la pregunta no aplica al individuo. La pregunta: ¿En qué industria trabaja? no tiene sentido para alguien desempleado.

En un proyecto profesional puede documentarse de la siguiente manera:

employment_industry presenta aproximadamente un 50% de valores nulos.

El análisis mediante tablas de contingencia muestra que la ausencia depende completamente de la variable employment_status.

Los individuos desempleados o fuera de la fuerza laboral no disponen de industria asociada, por lo que los valores ausentes parecen corresponder a casos donde la variable no aplica al individuo más que a pérdidas aleatorias de información.

Por tanto, los valores ausentes se consideran ausencias estructurales dependientes de employment_status (MAR) y serán tratados como una categoría específica.

¿Qué hacer en estos casos?

En estos casos la solución sería crear una categoría explícita que identifique la causa del valor faltante, por ejemplo: Not_Working.

df['employment_industry'] = (
    df['employment_industry']
    .fillna('Not_Working')
)

df['employment_industry'] = (
    df['employment_industry']
    .fillna('Not_Working')
)

Ya puedes documentar algo como:

Conclusión de calidad de datos

Missing Not At Random (MNAR)

La ausencia está relacionada con el propio valor que falta.

Ejemplo:

• Personas con ingresos muy elevados deciden no declarar sus ingresos.
• Pacientes con problemas graves evitan responder determinadas preguntas médicas.

Características:

• Existe un patrón subyacente.
• Puede introducir sesgos importantes.
• Es el tipo más difícil de tratar.

Missing Not At Random (MNAR): cuando la ausencia de datos también es información

Missing Not At Random (MNAR) es cuando la probabilidad de que un valor esté ausente está relacionada con características del propio individuo o con información que no ha sido observada. En estos casos, puede ser que los registros con valores faltantes representen un grupo específico dentro de la población y no una simple muestra aleatoria.

Durante el análisis exploratorio del proyecto Predict H1N1 and Seasonal Flu Vaccines se identificó un patrón muy claro de ausencia de datos que sugiere la existencia de un mecanismo MNAR. En lugar de encontrar valores faltantes distribuidos de manera independiente entre distintas variables, se observó que los mismos individuos tendían a presentar ausencias simultáneas en múltiples campos del cuestionario.

Por ejemplo, las variables:

• education
• employment_status
• marital_status
• rent_or_own

Presentaban valores faltantes altamente relacionados entre sí. Los registros con ausencia en una de estas variables tenían una elevada probabilidad de presentar también valores faltantes en las demás. Además, este mismo grupo de individuos mostraba ausencias en variables relacionadas con la salud y la situación personal, como:

• health_worker
• child_under_6_months
• chronic_med_condition

e incluso en variables de percepción y opinión sobre las vacunas, entre ellas:

• opinion_h1n1_risk
• opinion_h1n1_vacc_effective
• opinion_h1n1_sick_from_vacc
• opinion_seas_risk
• opinion_seas_vacc_effective
• opinion_seas_sick_from_vacc

Las correlaciones entre los indicadores de ausencia de estas variables fueron especialmente elevadas. Por ejemplo:

• health_worker y child_under_6_months presentaron una correlación de ausencia cercana a 0.97.
• health_worker y chronic_med_condition mostraron correlaciones superiores a 0.80.
• education, employment_status, marital_status y rent_or_own también mostraron correlaciones de ausencia muy elevadas, superiores a 0.70 en numerosos casos.

Este comportamiento resulta difícil de explicar mediante un mecanismo completamente aleatorio. Si los valores faltantes fueran independientes, las ausencias aparecerían distribuidas de forma dispersa entre los registros. Sin embargo, lo observado fue la existencia de un subconjunto de encuestados que parecía haber omitido responder bloques completos de preguntas.

La evidencia se reforzó al analizar la relación entre los valores faltantes y las variables objetivo del problema: la vacunación contra la gripe H1N1 y la gripe estacional. En varias variables, los individuos con información ausente mostraban tasas de vacunación significativamente distintas de las observadas en las categorías existentes.

Un ejemplo especialmente representativo fue la variable health_insurance. Mientras que los individuos con seguro médico presentaban tasas de vacunación considerablemente más altas, el grupo con información desconocida mostraba un comportamiento claramente diferenciado tanto de quienes tenían seguro como de quienes declaraban no tenerlo. Esto sugiere que la ausencia de respuesta estaba asociada a características específicas de los encuestados.

Otro caso relevante fue el de las variables doctor_recc_h1n1 y doctor_recc_seasonal. Los individuos con valores faltantes en estas variables también presentaban una elevada proporción de valores desconocidos en health_insurance, lo que evidenciaba un patrón común de no respuesta. Además, sus tasas de vacunación diferían notablemente de las observadas en los grupos que sí habían respondido a estas preguntas.

Estos hallazgos muestran que los valores faltantes no eran simplemente datos perdidos, sino una característica adicional de los individuos. En otras palabras, la ausencia de información contenía información.

Por este motivo, en lugar de aplicar imputaciones tradicionales basadas en la moda o en otras medidas de tendencia central, se optó por conservar los valores faltantes como una categoría específica denominada Unknown en aquellas variables donde la ausencia mostraba evidencia de ser informativa.

Esta estrategia permite que los algoritmos de Machine Learning identifiquen posibles patrones asociados a la falta de respuesta y aprovechen dicha información durante el entrenamiento. En problemas de clasificación como este, donde la métrica de evaluación es ROC-AUC, preservar la información contenida en los patrones de ausencia puede resultar tan importante como conservar los propios valores observados.

Este caso constituye un ejemplo práctico de cómo el análisis detallado de los datos faltantes puede revelar comportamientos ocultos en la población estudiada y demuestra que, en muchos escenarios reales, los valores ausentes no deben considerarse simplemente como datos perdidos, sino como una fuente potencial de información predictiva.

Aquí tienes una sección orientada a un artículo técnico y educativo:

Cómo detectar patrones MNAR mediante el análisis de valores faltantes en Python

Una de las formas más efectivas de identificar posibles mecanismos Missing Not At Random (MNAR) consiste en analizar si los valores faltantes aparecen agrupados en los mismos registros. Cuando múltiples variables presentan ausencias simultáneas de forma recurrente, puede existir un patrón de no respuesta que aporte información relevante para el modelo.

Crear una matriz de valores faltantes

El primer paso consiste en transformar los valores faltantes en variables binarias, donde:

• 1 indica que el valor está ausente.
• 0 indica que el valor está presente.

missing_df = df.isnull().astype(int)

missing_df = df.isnull().astype(int)

Cada columna representa ahora el patrón de ausencia de una variable.

Calcular correlaciones entre valores faltantes

Una vez creada la matriz de ausencia, es posible calcular las correlaciones entre los patrones de valores faltantes. Por ejemplo, para analizar qué variables presentan ausencias relacionadas con health_worker:

missing_df.corr()['health_worker'].sort_values(ascending=False)

missing_df.corr()['health_worker'].sort_values(ascending=False)

La salida mostrará qué variables tienden a presentar valores faltantes en los mismos registros. En este proyecto se observaron correlaciones muy elevadas:

child_under_6_months     0.97
chronic_med_condition    0.82
education                0.73
marital_status           0.73
employment_status        0.72
rent_or_own              0.60

child_under_6_months     0.97
chronic_med_condition    0.82
education                0.73
marital_status           0.73
employment_status        0.72
rent_or_own              0.60

Estas correlaciones sugieren que los individuos que no respondieron a una determinada pregunta también omitieron otras preguntas relacionadas.

Filtrar únicamente las correlaciones relevantes

Cuando existen muchas variables, resulta útil visualizar únicamente aquellas correlaciones superiores a un determinado umbral df.coor() permite identificar rápidamente las relaciones más fuertes entre patrones de ausencia.

corrs = missing_df.corr()['health_worker']

corrs[
    (corrs > 0.5) &
    (corrs < 1)
].sort_values(ascending=False)

corrs = missing_df.corr()['health_worker']

corrs[
    (corrs > 0.5) &
    (corrs < 1)
].sort_values(ascending=False)

Analizar visualmente la coincidencia de valores faltantes

pd.crosstab() crea una tabla de contingencia que muestra cuántas observaciones pertenecen simultáneamente a cada combinación de categorías.

pd.crosstab(
    df['employment_status'].isna(),
    df['marital_status'].isna()
)

pd.crosstab(
    df['employment_status'].isna(),
    df['marital_status'].isna()
)

Primero se transforman ambas variables en valores booleanos:

• False: el dato está presente.
• True: el dato está ausente (NaN).

La tabla resultante es:

marital_status     False   True
employment_status
False              25103    141
True                 196   1267

marital_status     False   True
employment_status
False              25103    141
True                 196   1267

Interpretación:

El dato más relevante es la celda:

employment_status = True
marital_status = True

employment_status = True
marital_status = True

que contiene:

1267 registros

1267 registros

Esto significa que 1.267 personas tienen valores faltantes simultáneamente en ambas variables, lo que sugiere que las ausencias no se producen de forma independiente y podrían formar parte de un mismo patrón de no respuesta.

Crear un mapa de calor de los patrones de ausencia

Una forma visual de identificar relaciones entre valores faltantes consiste en representar la matriz de correlaciones mediante un mapa de calor.

cols = [
    'education',
    'employment_status',
    'marital_status',
    'rent_or_own',
    'health_worker',
    'child_under_6_months',
    'chronic_med_condition',
    'opinion_h1n1_risk',
    'opinion_h1n1_vacc_effective',
    'opinion_h1n1_sick_from_vacc',
    'opinion_seas_risk',
    'opinion_seas_vacc_effective',
    'opinion_seas_sick_from_vacc'
]

corr_missing = (df[cols].isnull().astype(int).corr())

plt.figure(figsize=(12,10))

sns.heatmap(corr_missing, annot=True, cmap='Reds', fmt='.2f')

plt.title('Patrón MNAR detectado en el conjunto de datos')
plt.show()

cols = [
    'education',
    'employment_status',
    'marital_status',
    'rent_or_own',
    'health_worker',
    'child_under_6_months',
    'chronic_med_condition',
    'opinion_h1n1_risk',
    'opinion_h1n1_vacc_effective',
    'opinion_h1n1_sick_from_vacc',
    'opinion_seas_risk',
    'opinion_seas_vacc_effective',
    'opinion_seas_sick_from_vacc'
]

corr_missing = (df[cols].isnull().astype(int).corr())

plt.figure(figsize=(12,10))

sns.heatmap(corr_missing, annot=True, cmap='Reds', fmt='.2f')

plt.title('Patrón MNAR detectado en el conjunto de datos')
plt.show()

Las zonas con colores más intensos indican grupos de variables cuyos valores faltantes aparecen conjuntamente.

Interpretación de los resultados

Cuando varias variables presentan:

• Correlaciones elevadas entre sus patrones de ausencia.
• Coincidencia frecuente de valores faltantes en los mismos registros.
• Comportamientos diferenciados respecto a la variable objetivo.

Es razonable sospechar la existencia de un mecanismo MNAR (Missing Not At Random).

En estos casos, imputar automáticamente los valores faltantes mediante la media, la mediana o la moda puede provocar una pérdida de información. Una estrategia habitual consiste en conservar los valores faltantes como una categoría específica (Unknown) para permitir que el modelo capture la señal contenida en el propio patrón de ausencia.

Comparación entre tipos de datos faltantes

Estrategias de tratamiento de datos faltantes

Una vez identificado el problema, existen diferentes formas de gestionarlo.

• Eliminación de registros: Consiste en eliminar las filas que contienen datos faltantes. Suele utilizarse cuando:
  • La cantidad de valores faltantes es reducida.
  • Los datos son MCAR.
  • La pérdida de observaciones no afecta al análisis.

• Eliminación de variables: Consiste en eliminar columnas con un porcentaje muy elevado de valores ausentes.

• Imputación: La imputación consiste en reemplazar los valores faltantes mediante estimaciones. Las técnicas más utilizadas son:
  • Imputación Simple: Media, mediana, moda o valor constante
  • Imputación por KNN: Utiliza observaciones similares
  • Imputación Múltiple (MICE): Estima valores mediante modelos iterativos

Métodos para series temporales

• Cuando los datos tienen una dimensión temporal, pueden emplearse técnicas específicas. Algunas de las más utilizadas son:
• LOCF: Última observación arrastrada hacia delante
• NOCB: Próxima observación arrastrada hacia atrás
• Interpolación: Estimación entre valores conocidos

¿Cuándo eliminar y cuándo imputar?

La decisión depende del contexto y del volumen de datos faltantes.

Beneficios del tratamiento de datos faltantes

• Mejora la calidad del dataset.
• Reduce errores analíticos.
• Incrementa la precisión de los modelos.
• Disminuye sesgos.
• Permite aprovechar más información.
• Facilita el entrenamiento de algoritmos.
• Incrementa la confianza en los resultados.

Ventajas

• Permite trabajar con conjuntos de datos incompletos.
• Reduce el impacto de la pérdida de información.
• Mejora la representatividad de la muestra.
• Incrementa la calidad de los análisis.
• Facilita la toma de decisiones basada en datos.

Desventajas

• Algunas técnicas introducen estimaciones artificiales.
• Existe riesgo de introducir sesgos.
• La imputación puede alterar distribuciones originales.
• Algunas técnicas son computacionalmente costosas.
• Requiere conocimiento del contexto de negocio.

Limitaciones

• Los datos faltantes nunca pueden recuperarse con total certeza.
• Las imputaciones son estimaciones, no valores reales.
• Los datos MNAR siguen siendo difíciles de modelar.
• Una estrategia incorrecta puede degradar el rendimiento del modelo.
• No existe una técnica universalmente mejor.

Por ello, comprender el origen de la ausencia suele ser más importante que la técnica utilizada para corregirla.

Aplicaciones en Data Science y Machine Learning

El tratamiento de datos faltantes aparece prácticamente en cualquier proyecto basado en datos. La mayoría de los algoritmos requieren datos completos o una gestión adecuada de los valores faltantes antes del entrenamiento.

Implementación en Python

Detectar valores nulos

import pandas as pd

df = pd.read_csv("datos.csv")

print(df.isnull().sum())

import pandas as pd

df = pd.read_csv("datos.csv")

print(df.isnull().sum())

Calcular porcentaje de valores faltantes

porcentaje_nulos = (
    df.isnull().mean() * 100
)

print(porcentaje_nulos)

porcentaje_nulos = (
    df.isnull().mean() * 100
)

print(porcentaje_nulos)

Eliminar registros con valores faltantes

df_sin_nulos = df.dropna()

df_sin_nulos = df.dropna()

Eliminar columnas con valores faltantes

df = df.dropna(axis=1)

df = df.dropna(axis=1)

Imputación simple

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="mean"
)

df["edad"] = imputer.fit_transform(
    df[["edad"]]
)

from sklearn.impute import SimpleImputer

imputer = SimpleImputer(
    strategy="mean"
)

df["edad"] = imputer.fit_transform(
    df[["edad"]]
)

Buenas prácticas

• Identificar primero el tipo de ausencia.
• Analizar el porcentaje de valores faltantes.
• Comprender el contexto de negocio.
• Evitar eliminar datos innecesariamente.
• Comparar diferentes estrategias.
• Documentar todas las transformaciones realizadas.
• Validar el impacto sobre el modelo final.

Conclusión

Los datos faltantes constituyen uno de los problemas más frecuentes en cualquier proyecto de análisis de datos. Su presencia puede afectar significativamente la calidad de los análisis, introducir sesgos y reducir la precisión de los modelos predictivos.

Sin embargo, no todos los datos faltantes son iguales. Comprender si la ausencia es estructural, MCAR, MAR o MNAR resulta fundamental para seleccionar la estrategia adecuada. Una vez identificado el origen del problema, pueden aplicarse técnicas como la eliminación de registros, la eliminación de variables o diferentes métodos de imputación.

Más que una tarea técnica aislada, el tratamiento de datos faltantes es un proceso de análisis y toma de decisiones que busca preservar la mayor cantidad posible de información sin comprometer la fiabilidad de los resultados. Por ello, constituye una etapa esencial dentro de cualquier flujo de trabajo de Data Science y Machine Learning.

¿Qué es la Validación de Datos?

La validación de datos (Data Validation) es el proceso de verificar que los datos cumplen una serie de reglas, restricciones y criterios de calidad antes de ser utilizados en análisis, informes, procesos de negocio o modelos de Machine Learning.

Su objetivo principal es garantizar que los datos sean correctos, completos, consistentes y adecuados para el propósito previsto.

La validación permite detectar errores, anomalías e inconsistencias antes de que afecten a la calidad de los análisis o al rendimiento de los modelos predictivos.

Por ejemplo, si una columna denominada “Edad” contiene valores negativos o superiores a 120 años, un proceso de validación debería identificar esos registros como inválidos.

¿Por qué es importante la validación de datos?

Los datos pueden proceder de múltiples fuentes:

• Bases de datos.
• Formularios web.
• Sistemas ERP.
• CRM.
• APIs.
• Sensores IoT.
• Archivos CSV o Excel.

Durante su captura o integración pueden producirse errores que comprometan la calidad de la información.

Algunos ejemplos son:

• Campos obligatorios vacíos.
• Fechas incorrectas.
• Valores fuera de rango.
• Registros duplicados.
• Formatos inconsistentes.
• Relaciones inválidas entre tablas.

La validación ayuda a detectar estos problemas antes de que se propaguen a otras etapas del proyecto.

¿Cómo funciona la validación de datos?

El proceso consiste en definir reglas de calidad y comprobar si los datos las cumplen. Generalmente se siguen los siguientes pasos:

1. Definir reglas de validación.
2. Analizar los datos.
3. Detectar incumplimientos.
4. Generar alertas o informes.
5. Corregir o rechazar registros inválidos.
6. Volver a verificar los datos.

Las reglas pueden aplicarse a:

• Una columna individual.
• Varias columnas simultáneamente.
• Una tabla completa.
• Múltiples tablas relacionadas.

Tipos de validación de datos

• Validación de rango: Comprueba que un valor se encuentre dentro de límites permitidos.
• Validación de formato: Verifica que los datos sigan un formato determinado. Ejmp.: emails, teléfono, códigos postales, etc.
• Validación de obligatoriedad: Comprueba que determinados campos no estén vacíos.
• Validación de unicidad: Garantiza que ciertos valores no se repitan.
• Validación de consistencia: Verifica que diferentes campos sean coherentes entre sí. Ejmp: fecha inicio / fecha fin.
• Validación referencial: Comprueba relaciones entre tablas. Ejemplo: Cliente existente antes de crear un pedido, producto válido antes de registrar una venta.

Beneficios de la validación de datos

• Mejora la calidad de los datos.
• Reduce errores analíticos.
• Incrementa la fiabilidad de los modelos.
• Facilita el cumplimiento normativo.
• Evita problemas operativos.
• Incrementa la confianza en los resultados.
• Reduce costes derivados de datos incorrectos.

¿Cuándo utilizar la validación de datos?

• Durante la captura de datos.
• En procesos ETL.
• Antes del análisis exploratorio.
• Antes de entrenar modelos.
• Durante integraciones entre sistemas.
• En entornos productivos.
• Como parte de la monitorización continua.

La detección temprana de errores suele ser más eficiente que corregirlos posteriormente.

Ventajas

• Detecta errores rápidamente.
• Automatiza controles de calidad.
• Reduce problemas en etapas posteriores.
• Mejora la fiabilidad de los análisis.
• Facilita auditorías de datos.
• Puede integrarse en pipelines automatizados.
• Incrementa la confianza en los datos.

Desventajas

Aunque es una práctica fundamental, también presenta algunos inconvenientes:

• Requiere definir reglas adecuadas.
• Puede aumentar la complejidad de los procesos.
• Algunas validaciones son costosas computacionalmente.
• Puede generar falsos positivos.
• Necesita mantenimiento cuando cambian los requisitos del negocio.

Limitaciones

La validación de datos presenta ciertas limitaciones:

• No corrige automáticamente todos los errores.
• No detecta todos los problemas semánticos.
• Depende de las reglas definidas.
• Puede pasar por alto anomalías desconocidas.
• No garantiza datos perfectos.

Un dato puede cumplir todas las reglas técnicas y seguir siendo incorrecto desde el punto de vista del negocio.

Comparación entre validación y limpieza de datos

La validación identifica incumplimientos mientras que la limpieza se centra en corregirlos.

Comparación entre validación y perfilado de datos

El perfilado ayuda a comprender los datos y la validación verifica si cumplen criterios específicos.

Aplicaciones en Data Science y Machine Learning

La validación de datos es fundamental en:

• Machine Learning supervisado.
• Machine Learning no supervisado.
• Business Intelligence.
• Ingeniería de datos.
• Sistemas de recomendación.
• Detección de fraude.
• Analítica financiera.
• Analítica de clientes.
• Procesamiento de lenguaje natural.
• Visión por computador.

Cualquier proyecto basado en datos requiere algún nivel de validación para garantizar la calidad de la información.

Impacto en los modelos de Machine Learning

Los modelos predictivos pueden verse afectados por:

• Valores fuera de rango.
• Etiquetas incorrectas.
• Registros incompletos.
• Variables inconsistentes.
• Errores de formato.

Una validación adecuada ayuda a:

• Reducir ruido.
• Mejorar la precisión.
• Disminuir sesgos.
• Aumentar la robustez del modelo.

En muchos casos, mejorar la calidad de los datos genera más beneficios que modificar el algoritmo utilizado.

Implementación en Python

Validar valores nulos

import pandas as pd

df = pd.read_csv("datos.csv")

nulos = df.isnull().sum()

print(nulos)

import pandas as pd

df = pd.read_csv("datos.csv")

nulos = df.isnull().sum()

print(nulos)

Validar rangos numéricos

edades_invalidas = df[
    (df["edad"] < 0) |
    (df["edad"] > 120)
]

print(edades_invalidas)

edades_invalidas = df[
    (df["edad"] < 0) |
    (df["edad"] > 120)
]

print(edades_invalidas)

Validar unicidad

duplicados = df[
    df["id_cliente"].duplicated()
]

print(duplicados)

duplicados = df[
    df["id_cliente"].duplicated()
]

print(duplicados)

Validar formato de correo electrónico

import re

patron = r"^[\w\.-]+@[\w\.-]+\.\w+$"

emails_invalidos = df[
    ~df["email"].str.match(
        patron,
        na=False
    )
]

print(emails_invalidos)

import re

patron = r"^[\w\.-]+@[\w\.-]+\.\w+$"

emails_invalidos = df[
    ~df["email"].str.match(
        patron,
        na=False
    )
]

print(emails_invalidos)

Validar fechas

fechas_invalidas = df[
    df["fecha_fin"] <
    df["fecha_inicio"]
]

print(fechas_invalidas)

fechas_invalidas = df[
    df["fecha_fin"] <
    df["fecha_inicio"]
]

print(fechas_invalidas)

Validación automática con Pandera

Una de las bibliotecas más utilizadas para validar datos en Python es Pandera.

pip install pandera

pip install pandera

Ejemplo básico

import pandera as pa
from pandera import Column, DataFrameSchema

schema = DataFrameSchema({
    "edad": Column(
        int,
        checks=pa.Check.in_range(
            min_value=0,
            max_value=120
        )
    )
})

schema.validate(df)

import pandera as pa
from pandera import Column, DataFrameSchema

schema = DataFrameSchema({
    "edad": Column(
        int,
        checks=pa.Check.in_range(
            min_value=0,
            max_value=120
        )
    )
})

schema.validate(df)

En caso de incumplimiento, Pandera generará una excepción indicando los registros inválidos.

Buenas prácticas

Al implementar validaciones es recomendable:

• Definir reglas claras desde el inicio.
• Automatizar validaciones repetitivas.
• Documentar todas las reglas de negocio.
• Validar datos antes de transformarlos.
• Registrar incidencias detectadas.
• Revisar periódicamente las reglas.
• Integrar la validación dentro de pipelines ETL y ML.

Conclusión

La validación de datos es un proceso fundamental para garantizar que la información utilizada en análisis y modelos de Machine Learning cumpla criterios mínimos de calidad, consistencia y fiabilidad. Mediante la aplicación de reglas específicas, permite detectar errores antes de que afecten a los resultados o generen decisiones incorrectas.

Aunque no sustituye a la limpieza de datos ni al perfilado, constituye una pieza clave dentro de cualquier estrategia de calidad de datos. Una validación adecuada reduce riesgos, mejora la confianza en la información y contribuye a desarrollar modelos analíticos más precisos y robustos.