Categoría: data science

Guía completa para comprender y evaluar un conjunto de datos

Todo proyecto de Ciencia de Datos comienza con una pregunta fundamental: ¿qué calidad tienen los datos con los que voy a trabajar?

Antes de entrenar modelos de Machine Learning, construir visualizaciones o realizar análisis estadísticos, es imprescindible conocer la estructura, el contenido y el estado del conjunto de datos. Un modelo predictivo será tan bueno como la calidad de la información utilizada para entrenarlo, por lo que identificar problemas desde el inicio puede ahorrar muchas horas de trabajo y evitar decisiones incorrectas durante las etapas posteriores del proyecto.

El Data Profiling constituye la primera fase del proceso de preparación de datos. Su objetivo es realizar una evaluación objetiva del conjunto de datos para conocer su estructura, calidad y características principales antes de comenzar el Análisis Exploratorio de Datos (EDA), la ingeniería de características o el entrenamiento de modelos.

¿Qué es el Data Profiling?

El Data Profiling (perfilado de datos) es el proceso sistemático de inspeccionar, analizar y resumir las características estructurales y de calidad de un conjunto de datos.

Durante esta fase se recopilan estadísticas y métricas que permiten describir objetivamente el estado del dataset sin realizar todavía un análisis profundo de su contenido o de las relaciones entre variables.

El Data Profiling responde preguntas como:

• ¿Cuántos registros y variables contiene el conjunto de datos?
• ¿Qué tipo de dato tiene cada columna?
• ¿Existen valores faltantes?
• ¿Hay registros duplicados?
• ¿Cuál es la cardinalidad de cada variable?
• ¿Existen variables constantes o con muy poca variabilidad?
• ¿Se observan problemas evidentes de calidad de los datos?
• ¿Qué estadísticas descriptivas presentan las variables numéricas?

En otras palabras, el Data Profiling proporciona una radiografía del conjunto de datos, permitiendo conocer su estado antes de comenzar cualquier análisis.

Es importante destacar que el Data Profiling no busca descubrir patrones ni relaciones entre variables. Ese trabajo corresponde al Análisis Exploratorio de Datos (EDA), cuya finalidad es comprender el comportamiento del dataset y fundamentar las decisiones de preprocesamiento y modelado.

¿Por qué es importante el Data Profiling?

En la mayoría de proyectos los datos proceden de múltiples fuentes:

• Bases de datos relacionales.
• Sistemas ERP.
• CRM.
• APIs.
• Archivos CSV o Excel.
• Sensores IoT.
• Aplicaciones web.
• Plataformas de recopilación de datos.

Cada una de estas fuentes puede introducir problemas distintos:

• Valores faltantes.
• Registros duplicados.
• Tipos de datos incorrectos.
• Variables con escasa variabilidad.
• Categorías inconsistentes.
• Errores de codificación.
• Variables innecesarias.

Si estos problemas no se detectan desde el principio, pueden propagarse durante todo el proyecto y afectar negativamente a las etapas posteriores.

El Data Profiling permite detectar estas incidencias antes de invertir tiempo en limpieza de datos, ingeniería de características o entrenamiento de modelos.

¿Cómo funciona el Data Profiling?

El perfilado de datos consiste en calcular automáticamente un conjunto de métricas descriptivas sobre el dataset.

Entre las comprobaciones más habituales se encuentran:

• Dimensiones del conjunto de datos.
• Tipos de datos de cada variable.
• Estadísticas descriptivas.
• Número de valores únicos.
• Cardinalidad.
• Valores faltantes.
• Registros duplicados.
• Variables constantes.
• Consumo de memoria.
• Distribución básica de las categorías.

Toda esta información se recopila en un informe que resume el estado inicial del conjunto de datos y sirve como punto de partida para el resto del proyecto.

El objetivo no es decidir todavía cómo tratar los problemas detectados, sino identificarlos y documentarlos.

Objetivos del Data Profiling

El Data Profiling persigue varios objetivos fundamentales:

• Comprender la estructura del conjunto de datos.
• Evaluar la calidad de los datos disponibles.
• Detectar problemas evidentes antes del análisis.
• Identificar variables problemáticas.
• Documentar las características del dataset.
• Facilitar la planificación del proceso de limpieza.
• Reducir errores durante las etapas posteriores del proyecto.

En esta fase todavía no se decide cómo imputar valores faltantes, eliminar variables o construir nuevas características. Esas decisiones se tomarán posteriormente durante el EDA y la fase de ingeniería de características.

Tipos de Data Profiling

Dependiendo del objetivo del análisis, el perfilado puede centrarse en distintos aspectos del conjunto de datos.

• Perfilado estructural: Analiza la organización general del dataset. Su objetivo es comprender cómo está construido el conjunto de datos. Incluye aspectos como:
  • Número de registros.
  • Número de variables.
  • Tipos de datos.
  • Consumo de memoria.
  • Longitud de campos.
  • Clasificación de variables.
• Perfilado de contenido: Examina la información almacenada en cada variable. Este análisis permite detectar posibles anomalías en el contenido de las variables sin estudiar todavía su relación con otras variables. Normalmente incluye:
  • Valores mínimos y máximos.
  • Media, mediana y desviación estándar.
  • Valores únicos.
  • Cardinalidad.
  • Distribución de frecuencias.
  • Variables constantes.
• Perfilado de calidad: Evalúa el estado general del conjunto de datos. Este perfilado proporciona una visión objetiva de la calidad de los datos disponibles y ayuda a planificar el proceso de limpieza. Entre las métricas más habituales se encuentran:
  • Completitud.
  • Unicidad.
  • Consistencia.
  • Validez.
  • Valores faltantes.
  • Registros duplicados.

Secuencia de tareas del Data Profiling

Aunque cada proyecto puede presentar necesidades específicas, el Data Profiling suele seguir una secuencia de trabajo bastante estable.

Una metodología reproducible podría ser la siguiente:

1. Cargar el conjunto de datos.
2. Comprobar las dimensiones del dataset.
3. Inspeccionar la estructura general mediante info().
4. Clasificar las variables según su naturaleza (numéricas, categóricas, ordinales, binarias, identificadores, etc.).
5. Obtener estadísticas descriptivas de las variables numéricas.
6. Analizar la cardinalidad y los valores únicos de las variables categóricas.
7. Detectar registros duplicados.
8. Calcular el número y porcentaje de valores faltantes.
9. Identificar variables constantes o con muy poca variabilidad.
10. Documentar todos los hallazgos obtenidos.

Esta secuencia permite construir un informe objetivo del estado inicial del conjunto de datos y constituye la base para las siguientes fases del proyecto.

Resultado esperado del Data Profiling

Al finalizar el Data Profiling debe disponerse de un conocimiento completo de la estructura y calidad del conjunto de datos. Concretamente, el analista debería ser capaz de responder a preguntas como:

• ¿Cuál es el tamaño del dataset?
• ¿Qué tipo de variables contiene?
• ¿Qué variables presentan valores faltantes?
• ¿Qué porcentaje de valores faltantes existe en cada variable?
• ¿Existen registros duplicados?
• ¿Hay variables constantes o con escasa variabilidad?
• ¿Cuál es la cardinalidad de las variables categóricas?
• ¿Se observan problemas de calidad que deban resolverse posteriormente?

Es importante destacar que el resultado del Data Profiling no es un conjunto de datos limpio, sino un informe técnico que describe el estado inicial del dataset.

Este informe constituye el punto de partida para la siguiente fase del proyecto: el Análisis Exploratorio de Datos (EDA). Mientras que el Data Profiling responde a la pregunta “¿Qué datos tengo?”, el EDA tratará de responder “¿Qué información contienen estos datos y cómo debo prepararlos para el modelado?”.

Beneficios del Data Profiling

Realizar un Data Profiling al inicio de un proyecto aporta numerosas ventajas, tanto desde el punto de vista técnico como organizativo.

Entre sus principales beneficios destacan:

• Comprender rápidamente la estructura del conjunto de datos.
• Detectar problemas de calidad antes de iniciar el análisis.
• Identificar variables que requieren limpieza o transformación.
• Reducir errores durante las etapas de preparación de datos.
• Facilitar la documentación del proyecto.
• Establecer una base sólida para el Análisis Exploratorio de Datos (EDA).
• Mejorar la reproducibilidad del flujo de trabajo.

En proyectos complejos, dedicar tiempo al perfilado suele traducirse en una reducción significativa del tiempo invertido posteriormente en depuración y limpieza de datos.

¿Cuándo utilizar el Data Profiling?

El Data Profiling debe realizarse siempre que se trabaje con un nuevo conjunto de datos o cuando éste haya sufrido modificaciones importantes.

Los casos más habituales son:

• Al iniciar un proyecto de Ciencia de Datos.
• Antes del Análisis Exploratorio de Datos (EDA).
• Antes de comenzar la limpieza de datos.
• Durante procesos ETL (Extract, Transform and Load).
• Al integrar nuevas fuentes de información.
• Antes del entrenamiento de modelos de Machine Learning.
• Durante auditorías de calidad de datos.

En la práctica, el Data Profiling constituye el primer paso de cualquier flujo de trabajo de preparación de datos.

Ventajas

Entre las principales ventajas del Data Profiling destacan:

• Proporciona una visión global del conjunto de datos.
• Detecta problemas de calidad de forma temprana.
• Reduce el riesgo de errores durante el análisis.
• Facilita la planificación de la limpieza de datos.
• Mejora la documentación del proyecto.
• Puede automatizarse mediante herramientas especializadas.
• Favorece la reproducibilidad del análisis.

Desventajas

Aunque resulta una etapa imprescindible, también presenta algunas limitaciones prácticas:

• Puede generar una gran cantidad de información en datasets muy extensos.
• Requiere tiempo cuando el número de variables es elevado.
• Algunas anomalías necesitan una revisión manual.
• No determina automáticamente la mejor estrategia de tratamiento de los datos.
• Determinadas comprobaciones requieren conocimiento del dominio del problema.

Limitaciones

Es importante comprender qué puede y qué no puede hacer el Data Profiling.

El perfilado de datos:

• Identifica problemas, pero no los corrige.
• Describe la estructura del dataset, pero no descubre relaciones complejas entre variables.
• No determina automáticamente qué variables deben eliminarse.
• No decide cómo imputar los valores faltantes.
• No sustituye al Análisis Exploratorio de Datos (EDA).

Por este motivo, el Data Profiling debe considerarse una fase de diagnóstico cuyo objetivo es describir objetivamente el estado del conjunto de datos antes de iniciar su análisis.

Comparación entre Data Profiling y EDA

Aunque ambos procesos se realizan al comienzo de un proyecto de Ciencia de Datos, persiguen objetivos diferentes.

El Data Profiling responde a la pregunta:

¿Qué datos tengo?

Mientras que el Análisis Exploratorio de Datos (EDA) intenta responder:

¿Qué información contienen estos datos y qué decisiones debo tomar para preparar el modelo?

En otras palabras, el Data Profiling identifica los posibles problemas, mientras que el EDA estudia su impacto y permite decidir cómo resolverlos.

Métricas habituales en el Data Profiling

Durante el perfilado suelen calcularse diversas métricas que permiten evaluar rápidamente la estructura y la calidad del conjunto de datos.

Porcentaje de valores faltantes

Mide la proporción de datos ausentes en una variable.

[
\text{Nulos (%)}=\frac{\text{Valores nulos}}{\text{Valores totales}}\times100
]

Completitud

Indica el porcentaje de valores disponibles.

[
\text{Completitud}=\frac{\text{Valores no nulos}}{\text{Valores totales}}\times100
]

Porcentaje de registros duplicados

Permite evaluar la existencia de observaciones repetidas.

[
\text{Duplicados (%)}=\frac{\text{Registros duplicados}}{\text{Registros totales}}\times100
]

Cardinalidad

Representa el número de valores distintos presentes en una variable.

Una cardinalidad muy elevada puede indicar identificadores, códigos o variables que requieran un tratamiento específico durante el preprocesamiento.

Implementación en Python

Una secuencia típica de Data Profiling puede implementarse de la siguiente manera.

Cargar el conjunto de datos

df = pd.read_csv("datos.csv")

df = pd.read_csv("datos.csv")

Obtener las dimensiones

print(df.shape)

print(df.shape)

Información general

df.info()

df.info()

Tipos de datos

print(df.dtypes)

print(df.dtypes)

Estadísticas descriptivas

Variables numéricas:

df.describe()

df.describe()

Variables categóricas:

df.describe(include="object")

df.describe(include="object")

Valores únicos

df.nunique()

df.nunique()

Cardinalidad de variables categóricas

for col in df.select_dtypes(include="object"):
    print(col, df[col].nunique())

for col in df.select_dtypes(include="object"):
    print(col, df[col].nunique())

Registros duplicados

duplicados = df.duplicated().sum()
print(f"Duplicados: {duplicados}")

duplicados = df.duplicated().sum()
print(f"Duplicados: {duplicados}")

Valores faltantes

Número de valores faltantes:

df.isnull().sum()

df.isnull().sum()

Porcentaje de valores faltantes:

(df.isnull().mean() * 100).sort_values(ascending=False)

(df.isnull().mean() * 100).sort_values(ascending=False)

Distribución básica de una variable

df["ciudad"].value_counts()

df["ciudad"].value_counts()

Perfilado automático con ydata-profiling

Cuando se desea obtener un informe completo de forma automática, una de las herramientas más utilizadas es ydata-profiling.

Instalación

pip install ydata-profiling

pip install ydata-profiling

Generación del informe

from ydata_profiling import ProfileReport

profile = ProfileReport(
    df,
    title="Informe de Data Profiling"
)

profile.to_file("data_profiling.html")

from ydata_profiling import ProfileReport

profile = ProfileReport(
    df,
    title="Informe de Data Profiling"
)

profile.to_file("data_profiling.html")

El informe generado incluye automáticamente:

• Información general del dataset.
• Estadísticas descriptivas.
• Distribuciones de variables.
• Valores faltantes.
• Cardinalidad.
• Variables constantes.
• Duplicados.
• Consumo de memoria.
• Alertas sobre posibles problemas de calidad.

Aunque la herramienta también calcula correlaciones y otras métricas avanzadas, estas suelen utilizarse como apoyo durante el EDA y no sustituyen el análisis exploratorio realizado por el científico de datos.

Buenas prácticas

Al realizar un Data Profiling es recomendable:

• Mantener separados el Data Profiling y el EDA.
• Documentar todos los hallazgos relevantes.
• Verificar los tipos de datos antes de comenzar el análisis.
• Analizar siempre la presencia de valores faltantes y duplicados.
• Identificar variables constantes o con escasa variabilidad.
• Revisar la cardinalidad de las variables categóricas.
• Automatizar el proceso cuando sea posible.
• Repetir el perfilado tras cambios importantes en el conjunto de datos.

Conclusión

El Data Profiling constituye la primera etapa de cualquier proyecto de Ciencia de Datos. Su finalidad es describir objetivamente la estructura y la calidad del conjunto de datos mediante un conjunto de métricas y estadísticas que permiten conocer su estado inicial.

A diferencia del Análisis Exploratorio de Datos (EDA), el Data Profiling no busca descubrir patrones ni tomar decisiones sobre el tratamiento de los datos. Su función es proporcionar un diagnóstico fiable que sirva como base para las siguientes fases del proyecto.

Realizar un Data Profiling sistemático permite detectar problemas desde el inicio, documentar adecuadamente el conjunto de datos y establecer un flujo de trabajo reproducible. Una vez finalizada esta etapa, el proyecto está preparado para abordar el EDA, donde se estudiarán las relaciones entre variables, se analizará la variable objetivo y se definirán las estrategias de preprocesamiento e ingeniería de características que darán paso al entrenamiento de los modelos de Machine Learning.

¿Qué es la calidad de los datos en Data Science?

La calidad de los datos (Data Quality) es el grado en que un conjunto de datos cumple los requisitos necesarios para ser utilizado de forma fiable en análisis, informes, procesos de negocio o modelos de Machine Learning.

Un conjunto de datos de alta calidad debe reflejar la realidad de manera precisa, consistente y completa. Por el contrario, los datos con errores, inconsistencias o información incompleta pueden conducir a conclusiones incorrectas y decisiones equivocadas.

En Data Science, suele decirse que un modelo es tan bueno como los datos con los que ha sido entrenado. Por esta razón, la calidad de los datos constituye uno de los pilares fundamentales de cualquier proyecto basado en datos.

¿Por qué es importante la calidad de los datos?

Las organizaciones toman decisiones utilizando información procedente de múltiples fuentes:

• Bases de datos.
• Sistemas ERP.
• CRM.
• Aplicaciones web.
• Sensores IoT.
• APIs externas.
• Redes sociales.

Si los datos contienen errores o inconsistencias, las decisiones derivadas de ellos también pueden verse afectadas.

Por ejemplo:

La edad negativa de Pedro representa un problema de calidad que puede distorsionar análisis estadísticos y modelos predictivos.

¿Cómo funciona la gestión de la calidad de los datos?

La calidad de los datos no es una técnica específica, sino un conjunto de procesos destinados a evaluar, monitorizar y mejorar los datos.

El proceso suele incluir:

• Definición de estándares de calidad.
• Evaluación de los datos.
• Detección de errores.
• Limpieza de datos.
• Validación de reglas de negocio.
• Monitorización continua.
• Corrección de incidencias.

El objetivo es garantizar que los datos sean adecuados para el uso previsto.

Dimensiones de la calidad de los datos

La calidad de los datos suele evaluarse mediante varias dimensiones.

• Exactitud: mide si los datos representan correctamente la realidad. Se refiere a datos que no representan el valor real de un registro, puede deberse a un error de registro u otros.
• Completitud: Evalúa si los datos contienen toda la información necesaria. Registros incompletos
• Consistencia: Verifica que los datos mantengan coherencia entre sistemas y registros. Ejemplo: Madrid / Madird, existe una inconsistencia que debe corregirse.
• Validez: Comprueba que los datos cumplen las reglas definidas. Por ejemplo: edad negativa (-35)
• Unicidad: Garantiza que no existan registros duplicados.
• Actualidad: Evalúa si los datos están actualizados.

Ejemplo práctico

Supongamos el siguiente conjunto de datos:

Beneficios de una alta calidad de datos

Entre los principales beneficios destacan:

• Mayor fiabilidad de los análisis.
• Mejor toma de decisiones.
• Incremento de la precisión de los modelos.
• Reducción de errores operativos.
• Mayor confianza en los resultados.
• Cumplimiento normativo más sencillo.
• Menores costes derivados de datos incorrectos.

¿Cuándo evaluar la calidad de los datos?

La calidad de los datos debe evaluarse:

• Antes de iniciar un análisis.
• Antes de entrenar modelos de Machine Learning.
• Durante procesos ETL.
• Al integrar nuevas fuentes de información.
• Antes de generar informes ejecutivos.
• De forma periódica en entornos productivos.

La evaluación continua suele ser una práctica recomendada en organizaciones orientadas a los datos.

Ventajas

Las principales ventajas de trabajar con datos de alta calidad son:

• Resultados más precisos.
• Modelos más robustos.
• Menor riesgo de errores.
• Mejor experiencia de usuario.
• Mayor eficiencia operativa.
• Decisiones mejor fundamentadas.
• Reducción de retrabajo.

Desventajas

Mantener altos niveles de calidad también implica algunos desafíos:

• Requiere tiempo y recursos.
• Puede implicar procesos complejos.
• Necesita monitorización constante.
• Puede requerir herramientas especializadas.
• Algunas correcciones necesitan conocimiento del negocio.

Limitaciones

Aunque la calidad de los datos es fundamental, presenta ciertas limitaciones:

• No elimina completamente el riesgo de errores.
• No garantiza el éxito de un proyecto analítico.
• Algunos problemas son difíciles de detectar.
• La calidad puede degradarse con el tiempo.
• Los criterios de calidad pueden variar según el contexto.

Un conjunto de datos puede ser excelente para una aplicación y resultar insuficiente para otra.

Comparación entre datos de alta y baja calidad

Calidad de los datos vs Limpieza de datos

Estos conceptos suelen confundirse, pero no son equivalentes.

La limpieza de datos es una de las herramientas utilizadas para mejorar la calidad de los datos.

Aplicaciones en Data Science y Machine Learning

La calidad de los datos es crítica en:

• Machine Learning supervisado.
• Machine Learning no supervisado.
• Business Intelligence.
• Sistemas de recomendación.
• Detección de fraude.
• Analítica financiera.
• Predicción de demanda.
• Procesamiento de lenguaje natural.
• Visión por computador.
• Analítica de clientes.

Prácticamente cualquier proyecto basado en datos depende de la calidad de la información disponible.

Impacto en los modelos de Machine Learning

Los problemas de calidad pueden afectar directamente al rendimiento de los modelos.

Por ejemplo:

• Valores faltantes pueden impedir el entrenamiento.
• Duplicados pueden introducir sesgos.
• Etiquetas incorrectas reducen la precisión.
• Outliers pueden distorsionar algunos algoritmos.
• Datos inconsistentes generan ruido.

En muchos proyectos, mejorar la calidad de los datos produce mayores beneficios que cambiar de algoritmo.

Métricas de calidad de los datos

Algunas métricas utilizadas para evaluar la calidad son:

Porcentaje de completitud

$$Completitud=\frac{Valores\ no\ nulos}{Valores\ totales}\times100$$

Tasa de duplicados

$$Duplicados=\frac{Registros\ duplicados}{Registros\ totales}\times100$$

Porcentaje de validez

$$Validez=\frac{Registros\ válidos}{Registros\ totales}\times100$$

Estas métricas ayudan a monitorizar la evolución de la calidad de los datos a lo largo del tiempo.

Buenas prácticas

Al gestionar la calidad de los datos es recomendable:

• Definir reglas de calidad desde el inicio.
• Automatizar validaciones.
• Monitorizar métricas periódicamente.
• Documentar incidencias.
• Mantener procesos reproducibles.
• Validar nuevas fuentes de datos.
• Establecer estándares de gobernanza.

Conclusión

La calidad de los datos es un factor esencial para garantizar que la información utilizada en análisis, informes y modelos de Machine Learning sea fiable, consistente y útil. No se trata únicamente de corregir errores, sino de establecer procesos que permitan evaluar, controlar y mejorar continuamente la información disponible.

Invertir en calidad de datos mejora la precisión de los análisis, incrementa la confianza en los resultados y contribuye al desarrollo de modelos más robustos y eficaces. En cualquier proyecto de Data Science, la calidad de los datos constituye una base imprescindible sobre la que construir decisiones y soluciones fundamentadas en evidencia.

¿Qué es la limpieza de datos?

La limpieza de datos (Data Cleaning o Data Cleansing) es el proceso de identificar, corregir o eliminar errores, inconsistencias e información incorrecta dentro de un conjunto de datos con el objetivo de mejorar su calidad y fiabilidad.

En Data Science y Machine Learning, la calidad de los datos es uno de los factores más importantes para el éxito de un proyecto. Un modelo entrenado con datos erróneos, incompletos o inconsistentes producirá resultados poco fiables, independientemente de la complejidad del algoritmo utilizado.

Por este motivo, la limpieza de datos constituye una de las primeras etapas del proceso de preparación de datos y suele consumir una parte significativa del tiempo dedicado a un proyecto analítico.

¿Por qué es importante la limpieza de datos?

Los datos procedentes de sistemas reales suelen contener problemas derivados de:

• Errores humanos durante la introducción de información.
• Fallos en sensores o dispositivos.
• Integraciones entre múltiples sistemas.
• Registros incompletos.
• Problemas de formato.
• Duplicidades.
• Valores atípicos o anómalos.

Por ejemplo:

Los valores -10 y 150 probablemente representan errores que deben revisarse antes de utilizar los datos en un análisis.

¿Cómo funciona la limpieza de datos?

El proceso de limpieza suele incluir varias tareas:

• Identificación de valores faltantes.
• Detección de registros duplicados.
• Corrección de errores de formato.
• Estandarización de categorías.
• Tratamiento de valores atípicos.
• Validación de rangos permitidos.
• Conversión de tipos de datos.
• Eliminación de inconsistencias.

El objetivo es transformar un conjunto de datos bruto en un conjunto de datos preparado para el análisis o el modelado.

Ejemplo de limpieza de datos

Supongamos el siguiente conjunto de datos:

Durante el proceso de limpieza podríamos:

• Imputar el valor faltante de Pedro.
• Eliminar el registro duplicado de Ana.
• Corregir la edad de Luis.
• Estandarizar “Barcelona” y “barcelona”.

Resultado:

El conjunto de datos ahora presenta una mayor consistencia y calidad.

Principales problemas que aborda la limpieza de datos

La limpieza de datos se centra en resolver problemas frecuentes como:

• Valores faltantes: Ocurren cuando una observación carece de información en una o varias variables. Ejemplos:
  • Campos vacíos.
  • Valores nulos.
  • Registros incompletos.
• Datos duplicados: Se producen cuando una misma observación aparece más de una vez en el conjunto de datos. Esto puede generar sesgos y distorsionar los análisis.
• Inconsistencias de formato: Algunos ejemplos son:
  • Fechas con formatos diferentes.
  • Variaciones de mayúsculas y minúsculas.
  • Unidades de medida distintas.
• Valores atípicos: Son observaciones que se alejan significativamente del comportamiento habitual de los datos. Pueden representar:
  • Errores.
  • Casos excepcionales.
  • Fenómenos reales.
• Errores tipográficos: Ejemplos:
  • “Madird” en lugar de “Madrid”.
  • “Barcelna” en lugar de “Barcelona”.

Beneficios de la limpieza de datos

• Mejora la calidad de los datos.
• Incrementa la precisión de los modelos.
• Reduce errores analíticos.
• Facilita la toma de decisiones.
• Mejora la consistencia de la información.
• Reduce sesgos producidos por errores.
• Incrementa la confianza en los resultados.

¿Cuándo realizar la limpieza de datos?

• Antes del análisis exploratorio.
• Antes de construir modelos predictivos.
• Antes de generar informes o dashboards.
• Durante procesos ETL.
• Antes de integrar múltiples fuentes de datos.
• Siempre que se detecten problemas de calidad.

En la práctica, la limpieza suele ser una actividad continua durante todo el ciclo de vida del proyecto.

Ventajas de la limpieza de datos

• Datos más fiables.
• Modelos más precisos.
• Mejor interpretabilidad.
• Menor riesgo de errores.
• Mayor consistencia.
• Mejor rendimiento de algoritmos.
• Mayor calidad de los análisis.

Desventajas

Aunque es una actividad fundamental, también presenta algunos inconvenientes:

• Puede requerir mucho tiempo.
• Algunas correcciones requieren conocimiento del negocio.
• Existe riesgo de eliminar información valiosa.
• Determinadas decisiones pueden introducir sesgos.
• No siempre es posible identificar todos los errores.

Limitaciones

La limpieza de datos no resuelve todos los problemas de un conjunto de datos. Entre sus limitaciones se encuentran:

• No corrige sesgos inherentes a la recopilación de datos.
• No crea información que no existe.
• No garantiza modelos perfectos.
• Algunas anomalías pueden pasar desapercibidas.
• La calidad final depende de las decisiones tomadas durante el proceso.

Además, una limpieza excesiva puede eliminar información relevante para el análisis.

Comparación entre datos limpios y datos sin limpiar

Aplicaciones en Data Science y Machine Learning

La limpieza de datos es una etapa fundamental en:

• Machine Learning supervisado.
• Machine Learning no supervisado.
• Business Intelligence.
• Análisis exploratorio de datos.
• Sistemas de recomendación.
• Procesamiento de lenguaje natural.
• Analítica financiera.
• Predicción de demanda.
• Detección de fraude.
• Visión por computador.

Prácticamente cualquier proyecto basado en datos requiere algún nivel de limpieza antes de comenzar el análisis.

Impacto en los modelos de Machine Learning

Los algoritmos de Machine Learning suelen ser sensibles a problemas de calidad en los datos. Por ejemplo:

• Los valores faltantes pueden impedir el entrenamiento.
• Los duplicados pueden introducir sesgos.
• Los errores tipográficos generan categorías innecesarias.
• Los outliers pueden distorsionar algunos modelos.

Por esta razón, la calidad de los datos suele influir tanto o más que la elección del algoritmo.

Flujo típico de limpieza de datos

Un proceso habitual puede seguir los siguientes pasos:

1. Explorar los datos.
2. Detectar valores faltantes.
3. Identificar duplicados.
4. Corregir formatos.
5. Revisar valores atípicos.
6. Estandarizar categorías.
7. Validar reglas de negocio.
8. Verificar la calidad final.

Este flujo puede variar según el tipo de proyecto y los datos disponibles.

Buenas prácticas

Al realizar limpieza de datos es recomendable:

• Conservar siempre una copia de los datos originales.
• Documentar todas las transformaciones realizadas.
• Comprender el contexto de negocio antes de eliminar registros.
• Automatizar procesos repetitivos.
• Validar los resultados después de cada modificación.
• Utilizar pipelines reproducibles.

Conclusión

La limpieza de datos es una de las etapas más importantes dentro de cualquier proyecto de Data Science y Machine Learning. Su objetivo es detectar y corregir problemas de calidad que puedan afectar al análisis, la interpretación de los datos o el rendimiento de los modelos predictivos.

Aunque suele requerir tiempo y conocimiento del dominio, sus beneficios superan ampliamente los costes asociados. Un conjunto de datos limpio, consistente y fiable constituye la base sobre la que se construyen análisis precisos, modelos robustos y decisiones basadas en evidencia. Por este motivo, la limpieza de datos debe considerarse un paso imprescindible antes de cualquier proceso de análisis o modelado.

¿Qué es Binary Encoding?

Binary Encoding es una técnica de codificación de variables categóricas diseñada para representar categorías mediante números binarios. Su objetivo principal es reducir la dimensionalidad generada por técnicas como One-Hot Encoding sin perder la capacidad de transformar variables categóricas en datos numéricos utilizables por algoritmos de Machine Learning.

Esta técnica combina conceptos de Label Encoding y representación binaria. Primero asigna un identificador numérico a cada categoría y posteriormente convierte dicho identificador a formato binario.

Cada bit de la representación binaria se almacena en una columna independiente.

Binary Encoding es especialmente útil cuando se trabaja con variables categóricas de alta cardinalidad, es decir, variables que contienen un gran número de categorías distintas.

¿Cómo funciona?

El proceso consiste en:

• Identificar las categorías únicas de la variable.
• Asignar un identificador numérico a cada categoría.
• Convertir cada identificador a representación binaria.
• Crear una columna para cada bit generado.
• Sustituir la variable original por las nuevas columnas binarias.

La conversión de un número decimal a binario puede expresarse como:

$$13_{10}=1101_{2}$$

Por ejemplo:

Cada dígito binario se convierte en una nueva característica.

Ejemplo de Binary Encoding

Supongamos la siguiente variable:

Asignamos un identificador:

Convertimos cada código a binario:

Finalmente, cada bit se almacena en una columna independiente:

La variable categórica original queda completamente transformada en variables numéricas.

¿Por qué utilizar Binary Encoding?

Cuando una variable posee muchas categorías, One-Hot Encoding puede generar una enorme cantidad de columnas.

Por ejemplo:

• 1.000 categorías → 1.000 columnas con One-Hot Encoding.
• 1.000 categorías → aproximadamente 10 columnas con Binary Encoding.

Esto ocurre porque el número de columnas necesarias crece de forma logarítmica:

$$Columnas=\lceil\log_2(k)\rceil$$

Donde:

• (k) es el número de categorías.
• (\lceil \cdot \rceil) representa el redondeo hacia arriba.

Esta propiedad convierte a Binary Encoding en una técnica muy eficiente para variables de alta cardinalidad.

Beneficios de Binary Encoding

• Reduce significativamente la dimensionalidad.
• Genera menos columnas que One-Hot Encoding.
• Funciona bien con variables de alta cardinalidad.
• Disminuye el consumo de memoria.
• Mantiene una representación numérica compacta.
• Facilita el entrenamiento de modelos sobre grandes datasets.
• Puede mejorar el rendimiento computacional.

¿Cuándo utilizar Binary Encoding?

• Existen muchas categorías distintas.
• One-Hot Encoding genera demasiadas columnas.
• Se busca un equilibrio entre simplicidad y eficiencia.
• Se trabaja con conjuntos de datos grandes.
• La variable presenta alta cardinalidad.

Casos habituales:

• Ciudades.
• Códigos postales.
• Productos.
• Clientes.
• Identificadores de usuario.
• Categorías de comercio electrónico.

Ventajas

• Menor dimensionalidad que One-Hot Encoding.
• Escalabilidad para miles de categorías.
• Bajo consumo de memoria.
• Fácil integración en pipelines.
• Compatible con la mayoría de algoritmos.
• Reduce el riesgo de matrices extremadamente dispersas.
• Conserva más información que algunas técnicas basadas en frecuencia.

Desventajas

• Menos interpretable que One-Hot Encoding.
• Introduce relaciones numéricas artificiales derivadas de la codificación.
• Puede resultar difícil explicar cada columna generada.
• Algunas categorías comparten parte de sus bits.
• No incorpora información sobre la variable objetivo.

Por ejemplo:

Ambas categorías comparten parte de la representación binaria, aunque no exista relación real entre ellas.

Limitaciones

• No refleja similitudes semánticas entre categorías.
• No utiliza información de la variable objetivo.
• La interpretación de los bits no es intuitiva.
• Puede generar relaciones artificiales entre categorías.
• No siempre supera a One-Hot Encoding en rendimiento predictivo.

Además, algunos modelos lineales pueden verse afectados por las dependencias implícitas introducidas por la representación binaria.

Comparación con otras técnicas de codificación

Binary Encoding vs One-Hot Encoding

Binary Encoding suele ser una alternativa muy atractiva cuando el número de categorías es elevado.

Binary Encoding vs Ordinal Encoding

Aplicaciones en Data Science y Machine Learning

Binary Encoding aparece frecuentemente en:

• Sistemas de recomendación.
• Comercio electrónico.
• Marketing digital.
• Predicción de fraude.
• Segmentación de clientes.
• Modelos de scoring.
• Analítica de usuarios.
• Predicción de abandono.
• Sistemas de clasificación.

Es especialmente útil en proyectos donde las variables categóricas contienen cientos o miles de categorías.

Algoritmos donde suele utilizarse

Binary Encoding puede utilizarse antes de algoritmos como:

• Regresión logística.
• Árboles de decisión.
• Random Forest.
• Gradient Boosting.
• XGBoost.
• LightGBM.
• Redes neuronales.
• Máquinas de vectores de soporte (SVM).
• K-Nearest Neighbors (KNN).

Su capacidad para reducir dimensionalidad lo convierte en una opción interesante para muchos tipos de modelos.

Implementación en Python

La forma más sencilla de aplicar Binary Encoding es mediante la biblioteca category_encoders.

pip install category_encoders

pip install category_encoders

Ejemplo básico

import pandas as pd
import category_encoders as ce

df = pd.DataFrame({
    "ciudad": [
        "Madrid",
        "Barcelona",
        "Sevilla",
        "Valencia"
    ]
})

encoder = ce.BinaryEncoder(
    cols=["ciudad"]
)

df_encoded = encoder.fit_transform(df)

print(df_encoded)

import pandas as pd
import category_encoders as ce

df = pd.DataFrame({
    "ciudad": [
        "Madrid",
        "Barcelona",
        "Sevilla",
        "Valencia"
    ]
})

encoder = ce.BinaryEncoder(
    cols=["ciudad"]
)

df_encoded = encoder.fit_transform(df)

print(df_encoded)

   ciudad_0  ciudad_1  ciudad_2
0         0         0         1
1         0         1         0
2         0         1         1
3         1         0         0

   ciudad_0  ciudad_1  ciudad_2
0         0         0         1
1         0         1         0
2         0         1         1
3         1         0         0

Codificación de múltiples variables

import category_encoders as ce

encoder = ce.BinaryEncoder(
    cols=["ciudad", "producto"]
)

df_encoded = encoder.fit_transform(df)

import category_encoders as ce

encoder = ce.BinaryEncoder(
    cols=["ciudad", "producto"]
)

df_encoded = encoder.fit_transform(df)

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier
import category_encoders as ce

pipeline = Pipeline([
    ("encoder",
     ce.BinaryEncoder(cols=["ciudad"])),
    ("modelo",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier
import category_encoders as ce

pipeline = Pipeline([
    ("encoder",
     ce.BinaryEncoder(cols=["ciudad"])),
    ("modelo",
     RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Este enfoque garantiza que la misma transformación se aplique tanto en entrenamiento como en producción.

Buenas prácticas

Al utilizar Binary Encoding es recomendable:

• Aplicar la codificación únicamente sobre variables categóricas.
• Ajustar el encoder usando exclusivamente los datos de entrenamiento.
• Gestionar adecuadamente categorías no vistas.
• Comparar su rendimiento con One-Hot Encoding y Target Encoding.
• Evaluar el impacto sobre la interpretabilidad del modelo.

Conclusión

Binary Encoding es una técnica eficiente para transformar variables categóricas mediante representaciones binarias compactas. Su principal ventaja es la reducción significativa de dimensionalidad respecto a One-Hot Encoding, lo que la convierte en una excelente opción para variables de alta cardinalidad.

Aunque introduce cierta complejidad en la interpretación de los datos y puede generar relaciones artificiales entre categorías, ofrece un equilibrio muy interesante entre eficiencia computacional, consumo de memoria y capacidad predictiva. Por ello, es una técnica ampliamente utilizada en proyectos de Data Science y Machine Learning que manejan grandes volúmenes de categorías.

¿Qué es Count Encoding?

Count Encoding es una técnica de codificación de variables categóricas que sustituye cada categoría por el número de veces que aparece en el conjunto de datos.

En lugar de crear múltiples columnas, como ocurre con One-Hot Encoding, o asignar identificadores arbitrarios, como en Label Encoding, Count Encoding utiliza información estadística real para representar las categorías mediante su frecuencia absoluta de aparición.

Esta técnica resulta especialmente útil cuando se trabaja con variables de alta cardinalidad, es decir, variables que contienen un gran número de categorías distintas.

Por ejemplo, si una categoría aparece 500 veces en el conjunto de datos, será reemplazada por el valor 500.

¿Cómo funciona?

El proceso consiste en:

• Identificar todas las categorías únicas de una variable.
• Contar el número de apariciones de cada categoría.
• Crear un diccionario de correspondencia entre categoría y número de ocurrencias.
• Sustituir cada categoría por su conteo correspondiente.

La transformación puede expresarse como:

$$Count(c)=\sum_{i=1}^{N}I(x_i=c)$$

Donde:

• (c) representa una categoría.
• (I(x_i=c)) es una función indicadora que vale 1 cuando la observación pertenece a la categoría (c).
• (N) es el número total de observaciones.

El resultado es un valor numérico que representa cuántas veces aparece cada categoría dentro del conjunto de datos.

Ejemplo de Count Encoding

Supongamos la siguiente variable:

Calculamos el número de apariciones:

Tras aplicar Count Encoding:

Cada categoría queda representada por su número total de apariciones.

Diferencia entre Count Encoding y Frequency Encoding

Ambas técnicas son muy similares, pero utilizan escalas distintas.

Por ejemplo:

Ambas técnicas contienen la misma información, pero representada de forma diferente.

¿Por qué utilizar Count Encoding?

Cuando una variable contiene cientos o miles de categorías, One-Hot Encoding puede generar una enorme cantidad de columnas.

Por ejemplo:

• Código postal.
• Ciudad.
• Producto.
• Cliente.
• Proveedor.
• Marca.

Count Encoding permite mantener una única columna y reducir significativamente el tamaño del conjunto de datos.

Beneficios de Count Encoding

• Reduce la dimensionalidad.
• Mantiene una sola columna por variable.
• Es sencillo de implementar.
• Utiliza información estadística real.
• Funciona bien con variables de alta cardinalidad.
• Reduce el consumo de memoria.
• Puede acelerar el entrenamiento de modelos.

¿Cuándo utilizar Count Encoding?

• Existen muchas categorías distintas.
• Se desea evitar la explosión dimensional.
• El número de apariciones de una categoría aporta información relevante.
• Se trabaja con grandes volúmenes de datos.
• Se busca una representación compacta.

Casos habituales:

• Comercio electrónico.
• Sistemas de recomendación.
• Marketing digital.
• Predicción de fraude.
• Segmentación de clientes.
• Modelos de scoring.

Ventajas

• Bajo consumo de memoria.
• No genera columnas adicionales.
• Escala bien en datasets grandes.
• Compatible con la mayoría de algoritmos.
• Aprovecha información estadística de la variable.
• Adecuado para variables de alta cardinalidad.

Desventajas

• Categorías diferentes pueden recibir exactamente el mismo valor.
• Se pierde parte de la identidad de las categorías.
• No captura relaciones semánticas.
• No utiliza información de la variable objetivo.
• Puede generar ambigüedad cuando varias categorías tienen el mismo conteo.

Por ejemplo:

Tras la codificación, ambas categorías serán indistinguibles para el modelo.

Limitaciones

• No incorpora información predictiva de la variable objetivo.
• No refleja similitud entre categorías.
• Puede perder capacidad discriminativa.
• Las categorías raras pueden quedar infrarrepresentadas.
• Los conteos dependen del conjunto de entrenamiento.

Además, si la distribución de categorías cambia con el tiempo, los valores calculados inicialmente pueden dejar de representar adecuadamente los datos futuros.

Comparación con otras técnicas de codificación

Count Encoding vs One-Hot Encoding

Count Encoding vs Frequency Encoding

En muchos problemas ambos métodos ofrecen resultados muy similares.

Aplicaciones en Data Science y Machine Learning

Count Encoding aparece frecuentemente en:

• Sistemas de recomendación.
• Predicción de fraude.
• Marketing analítico.
• Comercio electrónico.
• Segmentación de clientes.
• Predicción de abandono.
• Scoring crediticio.
• Análisis de comportamiento de usuarios.
• Modelos de clasificación.

Es especialmente útil cuando se trabaja con variables categóricas de alta cardinalidad que hacen inviable el uso de One-Hot Encoding.

Algoritmos donde suele utilizarse

Count Encoding puede utilizarse antes de algoritmos como:

• Regresión logística.
• Árboles de decisión.
• Random Forest.
• Gradient Boosting.
• XGBoost.
• LightGBM.
• CatBoost.
• Redes neuronales.
• Máquinas de vectores de soporte (SVM).

Al mantener una representación compacta, suele facilitar el entrenamiento en grandes conjuntos de datos.

Implementación en Python

Utilizando Pandas

import pandas as pd

df = pd.DataFrame({
    "ciudad": [
        "Madrid",
        "Barcelona",
        "Madrid",
        "Sevilla",
        "Madrid",
        "Barcelona"
    ]
})

conteos = df["ciudad"].value_counts()

df["ciudad_count"] = df["ciudad"].map(conteos)

print(df)

import pandas as pd

df = pd.DataFrame({
    "ciudad": [
        "Madrid",
        "Barcelona",
        "Madrid",
        "Sevilla",
        "Madrid",
        "Barcelona"
    ]
})

conteos = df["ciudad"].value_counts()

df["ciudad_count"] = df["ciudad"].map(conteos)

print(df)

      ciudad  ciudad_count
0     Madrid             3
1  Barcelona             2
2     Madrid             3
3    Sevilla             1
4     Madrid             3
5  Barcelona             2

      ciudad  ciudad_count
0     Madrid             3
1  Barcelona             2
2     Madrid             3
3    Sevilla             1
4     Madrid             3
5  Barcelona             2

Aplicación sobre múltiples columnas

import pandas as pd

columnas = ["ciudad", "producto"]

for columna in columnas:
    conteos = df[columna].value_counts()
    df[columna] = df[columna].map(conteos)

import pandas as pd

columnas = ["ciudad", "producto"]

for columna in columnas:
    conteos = df[columna].value_counts()
    df[columna] = df[columna].map(conteos)

Creando un transformador personalizado

from sklearn.base import BaseEstimator, TransformerMixin

class CountEncoder(
    BaseEstimator,
    TransformerMixin
):

    def fit(self, X, y=None):
        self.count_map = (
            X.iloc[:, 0]
            .value_counts()
            .to_dict()
        )
        return self

    def transform(self, X):
        return X.iloc[:, 0].map(
            self.count_map
        ).to_frame()

from sklearn.base import BaseEstimator, TransformerMixin

class CountEncoder(
    BaseEstimator,
    TransformerMixin
):

    def fit(self, X, y=None):
        self.count_map = (
            X.iloc[:, 0]
            .value_counts()
            .to_dict()
        )
        return self

    def transform(self, X):
        return X.iloc[:, 0].map(
            self.count_map
        ).to_frame()

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("encoder", CountEncoder()),
    ("modelo", RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("encoder", CountEncoder()),
    ("modelo", RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Este enfoque garantiza que el mismo mapeo calculado durante el entrenamiento se aplique posteriormente a nuevos datos.

Buenas prácticas

Al utilizar Count Encoding es recomendable:

• Calcular los conteos únicamente sobre el conjunto de entrenamiento.
• Aplicar exactamente el mismo mapeo al conjunto de prueba.
• Definir una estrategia para categorías no vistas.
• Evaluar posibles colisiones entre categorías con igual conteo.
• Comparar su rendimiento frente a Frequency Encoding y One-Hot Encoding.

Conclusión

Count Encoding es una técnica de codificación eficiente que sustituye cada categoría por su número de apariciones dentro del conjunto de datos. Gracias a su simplicidad y capacidad para manejar variables de alta cardinalidad, se ha convertido en una alternativa muy útil cuando One-Hot Encoding resulta costoso en términos de memoria y dimensionalidad.

Aunque puede perder información cuando varias categorías comparten el mismo conteo y no incorpora información de la variable objetivo, sigue siendo una herramienta valiosa para representar variables categóricas de forma compacta y eficiente en numerosos proyectos de Data Science y Machine Learning.

¿Qué es Frequency Encoding?

Frequency Encoding es una técnica de codificación de variables categóricas que sustituye cada categoría por la frecuencia con la que aparece en el conjunto de datos.

A diferencia de técnicas como One-Hot Encoding o Ordinal Encoding, no crea nuevas columnas ni asigna valores arbitrarios. En su lugar, utiliza información estadística real de los datos para representar cada categoría mediante su número de apariciones o su frecuencia relativa.

Esta técnica resulta especialmente útil cuando una variable contiene un gran número de categorías, ya que permite reducir la dimensionalidad sin perder información relacionada con la distribución de los datos.

¿Cómo funciona?

El proceso consiste en:

• Identificar todas las categorías únicas de una variable.
• Contar cuántas veces aparece cada categoría.
• Calcular la frecuencia absoluta o relativa de cada una.
• Sustituir cada categoría por su frecuencia correspondiente.

La frecuencia absoluta se calcula como:

$$Frecuencia(c)=Conteo(c)$$

La frecuencia relativa se obtiene mediante:

$$Frecuencia\ Relativa(c)=\frac{Conteo(c)}{N}$$

Donde:

• (c) representa una categoría.
• (Conteo(c)) es el número de veces que aparece la categoría.
• (N) es el número total de observaciones.

Ejemplo de Frequency Encoding

Supongamos la siguiente variable:

Calculamos las frecuencias:

Tras aplicar Frequency Encoding:

Si se utiliza frecuencia relativa:

¿Por qué utilizar Frequency Encoding?

Cuando una variable contiene muchas categorías, técnicas como One-Hot Encoding pueden generar cientos o miles de nuevas columnas.

Por ejemplo:

• Código postal.
• Ciudad.
• Producto.
• Usuario.
• Categoría de negocio.

En estos escenarios, Frequency Encoding permite mantener una única columna y reducir considerablemente el tamaño del dataset.

Beneficios de Frequency Encoding

• Reduce la dimensionalidad.
• Mantiene una única columna por variable.
• Es sencillo de implementar.
• Aprovecha información estadística real de los datos.
• Escala bien con variables de alta cardinalidad.
• Requiere poca memoria.
• Puede mejorar la eficiencia computacional.

¿Cuándo utilizar Frequency Encoding?

• Existen muchas categorías distintas.
• Se desea evitar la explosión dimensional de One-Hot Encoding.
• La frecuencia de aparición contiene información relevante.
• Se trabaja con grandes volúmenes de datos.
• La variable tiene alta cardinalidad.

Algunos ejemplos habituales son:

• Códigos postales.
• Ciudades.
• Productos.
• Clientes.
• Identificadores de negocio.
• Categorías de comercio electrónico.

Ventajas

Las principales ventajas son:

• No incrementa el número de columnas.
• Funciona bien con variables de alta cardinalidad.
• Bajo consumo de memoria.
• Fácil de interpretar.
• Implementación sencilla.
• Compatible con la mayoría de algoritmos de Machine Learning.
• Captura información sobre la distribución de las categorías.

Desventajas

• Categorías diferentes pueden recibir el mismo valor.
• Se pierde la identidad original de algunas categorías.
• No incorpora información directa sobre la variable objetivo.
• Puede generar ambigüedad cuando varias categorías comparten frecuencia.
• No representa relaciones semánticas entre categorías.

Por ejemplo:

Tras la codificación, ambas categorías serán idénticas para el modelo.

Limitaciones

Antes de aplicar esta técnica conviene considerar que:

• No refleja similitud entre categorías.
• No captura relaciones con la variable objetivo.
• Puede perder información discriminativa.
• Los valores dependen del conjunto de entrenamiento.
• Nuevas categorías requieren un tratamiento especial.

Además, cuando la distribución de categorías cambia con el tiempo, las frecuencias calculadas inicialmente pueden dejar de ser representativas.

Comparación con otras técnicas de codificación

Frequency Encoding vs One-Hot Encoding

Frequency Encoding vs Target Encoding

Aplicaciones en Data Science y Machine Learning

• Sistemas de recomendación.
• Predicción de abandono de clientes.
• Detección de fraude.
• Marketing analítico.
• Comercio electrónico.
• Segmentación de clientes.
• Modelos de scoring.
• Predicción de demanda.
• Sistemas de clasificación.

Es especialmente útil cuando se trabaja con variables categóricas de alta cardinalidad que dificultan la aplicación de One-Hot Encoding.

Algoritmos donde suele utilizarse

• Regresión logística.
• Árboles de decisión.
• Random Forest.
• Gradient Boosting.
• XGBoost.
• LightGBM.
• CatBoost.
• Redes neuronales.
• Máquinas de vectores de soporte (SVM).

Al reducir la dimensionalidad, suele facilitar el entrenamiento de modelos sobre grandes volúmenes de datos.

Implementación en Python

Utilizando Pandas

import pandas as pd

df = pd.DataFrame({
    "ciudad": [
        "Madrid",
        "Barcelona",
        "Madrid",
        "Sevilla",
        "Madrid",
        "Barcelona"
    ]
})

frecuencias = df["ciudad"].value_counts()

df["ciudad_frequency"] = df["ciudad"].map(frecuencias)

print(df)

import pandas as pd

df = pd.DataFrame({
    "ciudad": [
        "Madrid",
        "Barcelona",
        "Madrid",
        "Sevilla",
        "Madrid",
        "Barcelona"
    ]
})

frecuencias = df["ciudad"].value_counts()

df["ciudad_frequency"] = df["ciudad"].map(frecuencias)

print(df)

      ciudad  ciudad_frequency
0     Madrid                 3
1  Barcelona                 2
2     Madrid                 3
3    Sevilla                 1
4     Madrid                 3
5  Barcelona                 2

      ciudad  ciudad_frequency
0     Madrid                 3
1  Barcelona                 2
2     Madrid                 3
3    Sevilla                 1
4     Madrid                 3
5  Barcelona                 2

Utilizando frecuencia relativa

import pandas as pd

frecuencias = (
    df["ciudad"]
    .value_counts(normalize=True)
)

df["ciudad_frequency"] = (
    df["ciudad"]
    .map(frecuencias)
)

print(df)

import pandas as pd

frecuencias = (
    df["ciudad"]
    .value_counts(normalize=True)
)

df["ciudad_frequency"] = (
    df["ciudad"]
    .map(frecuencias)
)

print(df)

      ciudad  ciudad_frequency
0     Madrid             0.50
1  Barcelona             0.33
2     Madrid             0.50
3    Sevilla             0.17
4     Madrid             0.50
5  Barcelona             0.33

      ciudad  ciudad_frequency
0     Madrid             0.50
1  Barcelona             0.33
2     Madrid             0.50
3    Sevilla             0.17
4     Madrid             0.50
5  Barcelona             0.33

Creando un transformador para Scikit-Learn

from sklearn.base import BaseEstimator, TransformerMixin

class FrequencyEncoder(
    BaseEstimator,
    TransformerMixin
):

    def fit(self, X, y=None):
        self.freq_map = (
            X.iloc[:, 0]
            .value_counts()
            .to_dict()
        )
        return self

    def transform(self, X):
        return X.iloc[:, 0].map(
            self.freq_map
        ).to_frame()

from sklearn.base import BaseEstimator, TransformerMixin

class FrequencyEncoder(
    BaseEstimator,
    TransformerMixin
):

    def fit(self, X, y=None):
        self.freq_map = (
            X.iloc[:, 0]
            .value_counts()
            .to_dict()
        )
        return self

    def transform(self, X):
        return X.iloc[:, 0].map(
            self.freq_map
        ).to_frame()

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("encoder", FrequencyEncoder()),
    ("modelo", RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("encoder", FrequencyEncoder()),
    ("modelo", RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Buenas prácticas

Al utilizar Frequency Encoding es recomendable:

• Calcular las frecuencias únicamente sobre el conjunto de entrenamiento.
• Aplicar exactamente el mismo mapeo al conjunto de prueba.
• Definir una estrategia para categorías no vistas.
• Evaluar posibles colisiones entre categorías con igual frecuencia.
• Comparar su rendimiento frente a One-Hot Encoding y Target Encoding.

Conclusión

Frequency Encoding es una técnica eficiente para transformar variables categóricas sustituyendo cada categoría por su frecuencia de aparición en los datos. Su principal ventaja es que permite manejar variables de alta cardinalidad sin aumentar la dimensionalidad del conjunto de datos, manteniendo una representación compacta y fácil de implementar.

Aunque puede perder información cuando distintas categorías comparten la misma frecuencia, sigue siendo una alternativa muy útil en proyectos de Data Science y Machine Learning donde el tamaño del dataset y la eficiencia computacional son factores importantes. Utilizada correctamente, puede proporcionar una representación simple y efectiva de variables categóricas complejas sin incurrir en los problemas de dimensionalidad asociados a otras técnicas de codificación.

¿Qué es Ordinal Encoding?

Ordinal Encoding es una técnica de transformación de datos utilizada para convertir variables categóricas en valores numéricos cuando existe un orden o jerarquía natural entre las categorías.

Muchos algoritmos de Machine Learning trabajan exclusivamente con datos numéricos y no pueden procesar directamente valores de texto como “Bajo”, “Medio” o “Alto”. Ordinal Encoding resuelve este problema asignando un número entero a cada categoría respetando su orden lógico.

Por ejemplo:

En este caso, el modelo puede interpretar correctamente que “Alto” representa una categoría superior a “Medio” y “Medio” es superior a “Bajo”.

¿Cómo funciona Ordinal Encoding?

El proceso consiste en:

• Identificar una variable categórica ordinal.
• Definir el orden correcto de las categorías.
• Asignar un valor numérico a cada nivel.
• Sustituir las categorías originales por sus códigos numéricos.

Supongamos la siguiente variable:

Se puede codificar como:

De esta forma se conserva la relación jerárquica entre categorías.

Ejemplo práctico

Imaginemos un conjunto de datos de evaluación de clientes:

Aplicando Ordinal Encoding:

Ahora la variable puede utilizarse directamente en algoritmos de Machine Learning.

¿Por qué es necesario codificar variables categóricas?

Los modelos matemáticos trabajan con números y operaciones aritméticas. Cuando una variable contiene texto el algoritmo no puede calcular distancias, correlaciones o coeficientes. La codificación transforma estas categorías en valores numéricos manteniendo la información relevante para el modelo.

¿Cuándo utilizar Ordinal Encoding?

Esta técnica es recomendable cuando:

• Existe una relación jerárquica entre categorías.
• El orden de las categorías tiene significado.
• Se desea conservar la información de ranking.
• Las categorías representan niveles o escalas.

Ejemplos comunes:

• Nivel educativo.
• Grado de satisfacción.
• Clasificación de riesgo.
• Prioridad de incidencias.
• Tallas de ropa.
• Nivel de experiencia profesional.
• Escalas de calidad.
• Calificaciones académicas.

Casos donde NO debe utilizarse

No es recomendable cuando las categorías no tienen un orden natural.

Por ejemplo:

Si se codifican como:

el modelo podría interpretar incorrectamente que Verde es “mayor” que Azul y Azul es “mayor” que Rojo. En estos casos suele ser preferible utilizar One-Hot Encoding.

Beneficios de Ordinal Encoding

Entre sus principales beneficios destacan:

• Convierte variables categóricas en datos numéricos.
• Conserva el orden natural de las categorías.
• Reduce la dimensionalidad.
• Genera una única columna por variable.
• Es fácil de interpretar.
• Tiene bajo coste computacional.
• Resulta eficiente para grandes volúmenes de datos.

Ventajas de Ordinal Encoding

Las principales ventajas son:

• Implementación sencilla.
• Consumo mínimo de memoria.
• Compatible con prácticamente cualquier algoritmo.
• Mantiene la información jerárquica.
• Evita la explosión de dimensiones.
• Facilita el procesamiento de grandes datasets.

Además, al generar una sola columna codificada, resulta especialmente útil cuando existen muchas observaciones.

Desventajas de Ordinal Encoding

También presenta algunas limitaciones:

• Puede introducir relaciones numéricas artificiales.
• Algunos algoritmos interpretan las diferencias entre categorías como distancias reales.
• La asignación incorrecta del orden puede degradar el rendimiento del modelo.
• No es adecuada para variables nominales.

Por ejemplo:

El algoritmo podría asumir que la diferencia entre Bajo y Medio es exactamente igual que entre Medio y Alto, lo cual no siempre es cierto.

Limitaciones

Antes de aplicar esta técnica conviene considerar que:

• Requiere conocer el orden correcto de las categorías.
• No refleja necesariamente distancias reales entre niveles.
• Puede inducir sesgos en algunos modelos.
• No resulta adecuada para variables sin jerarquía.
• La codificación puede depender del contexto del problema.

Por ejemplo, una escala de satisfacción podría tener diferencias subjetivas entre categorías que no son uniformes.

Comparación con otras técnicas de codificación

Ordinal Encoding vs One-Hot Encoding

La regla general es sencilla:

• Variables ordinales → Ordinal Encoding.
• Variables nominales → One-Hot Encoding.

Aplicaciones en Data Science y Machine Learning

Ordinal Encoding aparece frecuentemente en:

• Modelos de scoring crediticio.
• Predicción de abandono de clientes.
• Sistemas de evaluación de riesgos.
• Recursos humanos.
• Marketing analítico.
• Segmentación de clientes.
• Modelos de satisfacción del cliente.
• Análisis educativo.
• Predicción de calidad de productos.

También es habitual en datasets que contienen:

• Niveles de satisfacción.
• Rangos de ingresos.
• Clasificaciones de riesgo.
• Prioridades operativas.
• Escalas de calidad.

Algoritmos donde suele utilizarse

Ordinal Encoding puede emplearse antes de algoritmos como:

• Regresión logística.
• Regresión lineal.
• Árboles de decisión.
• Random Forest.
• Gradient Boosting.
• XGBoost.
• LightGBM.
• Redes neuronales.
• Máquinas de vectores de soporte (SVM).

No obstante, los algoritmos basados en distancias deben utilizarse con precaución, ya que podrían interpretar los códigos como magnitudes reales.

Implementación en Python

Scikit-Learn incluye la clase OrdinalEncoder para realizar esta transformación.

Ejemplo básico

import pandas as pd
from sklearn.preprocessing import OrdinalEncoder

df = pd.DataFrame({
    "satisfaccion": ["Baja", "Media", "Alta", "Media"]
})

encoder = OrdinalEncoder(
    categories=[["Baja", "Media", "Alta"]]
)

df["satisfaccion_codificada"] = encoder.fit_transform(
    df[["satisfaccion"]]
)

print(df)

import pandas as pd
from sklearn.preprocessing import OrdinalEncoder

df = pd.DataFrame({
    "satisfaccion": ["Baja", "Media", "Alta", "Media"]
})

encoder = OrdinalEncoder(
    categories=[["Baja", "Media", "Alta"]]
)

df["satisfaccion_codificada"] = encoder.fit_transform(
    df[["satisfaccion"]]
)

print(df)

Resultado:

  satisfaccion  satisfaccion_codificada
0        Baja                      0.0
1       Media                      1.0
2        Alta                      2.0
3       Media                      1.0

  satisfaccion  satisfaccion_codificada
0        Baja                      0.0
1       Media                      1.0
2        Alta                      2.0
3       Media                      1.0

Codificación de múltiples variables

import pandas as pd
from sklearn.preprocessing import OrdinalEncoder

df = pd.DataFrame({
    "riesgo": ["Bajo", "Medio", "Alto"],
    "prioridad": ["Baja", "Media", "Alta"]
})

encoder = OrdinalEncoder(
    categories=[
        ["Bajo", "Medio", "Alto"],
        ["Baja", "Media", "Alta"]
    ]
)

df_codificado = encoder.fit_transform(df)

print(df_codificado)

import pandas as pd
from sklearn.preprocessing import OrdinalEncoder

df = pd.DataFrame({
    "riesgo": ["Bajo", "Medio", "Alto"],
    "prioridad": ["Baja", "Media", "Alta"]
})

encoder = OrdinalEncoder(
    categories=[
        ["Bajo", "Medio", "Alto"],
        ["Baja", "Media", "Alta"]
    ]
)

df_codificado = encoder.fit_transform(df)

print(df_codificado)

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OrdinalEncoder
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("encoder", OrdinalEncoder(
        categories=[["Bajo", "Medio", "Alto"]]
    )),
    ("modelo", RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import OrdinalEncoder
from sklearn.ensemble import RandomForestClassifier

pipeline = Pipeline([
    ("encoder", OrdinalEncoder(
        categories=[["Bajo", "Medio", "Alto"]]
    )),
    ("modelo", RandomForestClassifier())
])

pipeline.fit(X_train, y_train)

Este enfoque garantiza que la misma codificación se aplique tanto en entrenamiento como en producción.

Buenas prácticas

Al utilizar Ordinal Encoding es recomendable:

• Verificar que existe un orden real entre categorías.
• Definir explícitamente el orden.
• Documentar la codificación utilizada.
• Evitar aplicarlo a variables nominales.
• Validar el impacto de la codificación sobre el rendimiento del modelo.
• Utilizar pipelines para evitar inconsistencias.

Conclusión

Ordinal Encoding es una técnica fundamental de preparación de datos que permite transformar variables categóricas ordinales en valores numéricos preservando su estructura jerárquica. Su simplicidad, eficiencia y bajo consumo de memoria la convierten en una excelente opción cuando las categorías poseen un orden natural que aporta información relevante al modelo.

Sin embargo, debe utilizarse únicamente cuando existe una relación ordinal real entre las categorías. Aplicarla sobre variables nominales puede introducir relaciones artificiales y afectar negativamente al rendimiento de los algoritmos. Cuando se emplea correctamente, constituye una herramienta sencilla y eficaz para preparar datos categóricos en proyectos de Data Science y Machine Learning.

¿Qué es Unit Vector Scaling?

Unit Vector Scaling, también conocido como Normalization o Normalización por Vector Unitario, es una técnica de escalado que transforma cada observación de un conjunto de datos para que tenga una longitud o norma igual a 1.

A diferencia de otros métodos de escalado como Min-Max Scaling o Standard Scaling, que operan sobre las características (columnas), la normalización por vector unitario actúa sobre las observaciones (filas). Esto significa que cada registro es escalado de forma independiente.

El objetivo principal es conservar la dirección del vector mientras se elimina el efecto de su magnitud. En otras palabras, importa cómo están distribuidos los valores dentro de una observación, no el tamaño absoluto de esos valores.

Esta técnica es ampliamente utilizada en procesamiento de texto, sistemas de recomendación, análisis de similitud y algoritmos basados en distancia o ángulos.

¿Cómo funciona Unit Vector Scaling?

La normalización consiste en dividir cada valor de una observación por la norma del vector al que pertenece. La forma más habitual es utilizar la norma L2 (Euclidiana):

$$x_i^{‘}=\frac{x_i}{\sqrt{x_1^2+x_2^2+\cdots+x_n^2}}$$

Donde:

• \(x_i\) es un valor de la observación.
• El denominador representa la norma L2 del vector.
• \(x_i’\) es el valor normalizado.

Después de la transformación, la longitud del vector será exactamente igual a 1. Matemáticamente: \(|x|_2=1\)

Tipos de normalización más comunes

Scikit-Learn permite utilizar distintas métricas de normalización.

Norma L2

Es la más utilizada en Machine Learning.

$$||x||2=\sqrt{\sum{i=1}^{n}x_i^2}$$

Características:

• Mantiene la dirección del vector.
• Produce vectores de longitud 1.
• Muy utilizada en NLP y similitud coseno.

Norma L1

Se basa en la suma de valores absolutos.

$$||x||1=\sum{i=1}^{n}|x_i|$$

Características:

• Más robusta frente a valores extremos.
• Produce vectores cuya suma absoluta es 1.

Norma Max

Utiliza el valor máximo absoluto del vector.

$$||x||_{\infty}=max(|x_i|)$$

Características:

• Escala usando únicamente el valor de mayor magnitud.
• Menos utilizada en aplicaciones prácticas.

Ejemplo de Unit Vector Scaling

Supongamos la siguiente observación:

Calculamos la norma L2:

$$\sqrt{3^2+4^2}$$

$$\sqrt{9+16}$$

$$\sqrt{25}=5$$

Ahora dividimos cada valor por 5:

La longitud del nuevo vector es: \(\sqrt{0.6^2+0.8^2}=1\). La dirección se mantiene exactamente igual, pero la magnitud desaparece.

Diferencia entre escalado y normalización

Es frecuente confundir ambos conceptos.

• Escalado: Modifica la escala de las variables, actúa sobre columnas. Ejemplos:
  • Min-Max Scaling
  • Standard Scaling
  • Robust Scaling
  • MaxAbs Scaling

• Normalización: Modifica cada observación individualmente, actúa sobre filas. La normalización busca igualar la longitud de todos los vectores. Ejemplos:
  • L1 Normalization
  • L2 Normalization
  • Max Normalization

Beneficios de Unit Vector Scaling

• Elimina el efecto de la magnitud.
• Conserva la dirección de los datos.
• Facilita cálculos de similitud.
• Mejora algoritmos basados en distancia angular.
• Resulta especialmente útil en datos de alta dimensionalidad.
• Permite comparar observaciones independientemente de su tamaño.
• Reduce el impacto de diferencias de escala entre registros.

¿Cuándo utilizar Unit Vector Scaling?

• Se utilizan métricas de similitud.
• Se trabaja con vectores de texto.
• La dirección es más importante que la magnitud.
• Se emplea similitud coseno.
• Existen observaciones con tamaños muy diferentes.
• Se procesan datos de alta dimensionalidad.

Casos habituales:

• Motores de búsqueda.
• Sistemas de recomendación.
• Clasificación de documentos.
• Recuperación de información.
• Procesamiento de lenguaje natural.

Ventajas de Unit Vector Scaling

• Fácil de implementar.
• Mantiene la estructura relativa de cada observación.
• Muy útil para análisis de similitud.
• Funciona bien en espacios de alta dimensionalidad.
• Compatible con matrices dispersas.
• Reduce diferencias de magnitud entre registros.
• Mejora el rendimiento de algunos algoritmos de clustering y clasificación.

Desventajas de Unit Vector Scaling

• No reduce la influencia de outliers.
• No corrige distribuciones sesgadas.
• No centra los datos.
• Puede eliminar información útil relacionada con la magnitud.
• No siempre mejora el rendimiento predictivo.

En algunos problemas la magnitud contiene información importante que se perderá tras la normalización.

Limitaciones

Antes de aplicar esta técnica conviene considerar que:

• No elimina ruido.
• No trata valores faltantes.
• No corrige asimetrías.
• No transforma distribuciones no normales.
• No reduce la dimensionalidad.
• No es adecuada cuando la magnitud tiene significado predictivo.

Por ejemplo, en modelos financieros o de ventas, el tamaño absoluto de una variable puede ser tan importante como su proporción respecto a otras.

Comparación con otros métodos de escalado

Unit Vector Scaling vs Min-Max Scaling

Min-Max Scaling:

• Escala columnas.
• Lleva los datos a un rango determinado.
• Conserva diferencias de magnitud.

Unit Vector Scaling:

• Escala filas.
• Elimina la magnitud.
• Conserva únicamente la dirección.

Unit Vector Scaling vs Standard Scaling

Standard Scaling:

• Centra los datos en media cero.
• Utiliza la desviación estándar.

Unit Vector Scaling:

• No utiliza media ni desviación.
• Escala cada observación individualmente.

Unit Vector Scaling vs MaxAbs Scaling

MaxAbs Scaling:

• Escala variables.
• Mantiene la distribución original.

Unit Vector Scaling:

• Escala observaciones.
• Modifica completamente la magnitud de cada registro.

Aplicaciones en Data Science y Machine Learning

La normalización por vector unitario es especialmente importante en:

• Procesamiento de lenguaje natural (NLP).
• Análisis de documentos.
• Sistemas de recomendación.
• Recuperación de información.
• Análisis de similitud.
• Búsquedas semánticas.
• Embeddings de texto.
• Visión por computador.
• Detección de duplicados.

También suele utilizarse antes de algoritmos como:

• K-Nearest Neighbors (KNN).
• K-Means.
• Clustering jerárquico.
• Máquinas de vectores de soporte (SVM).
• Análisis de similitud coseno.
• Sistemas basados en embeddings.

Relación con la similitud coseno

Uno de los usos más importantes de la normalización es el cálculo de la similitud coseno. La similitud coseno mide el ángulo entre dos vectores y no depende de su tamaño. Su fórmula es:

$$\cos(\theta)=\frac{A\cdot B}{|A||B|}$$

Cuando ambos vectores han sido normalizados previamente, el cálculo se simplifica considerablemente porque sus normas son iguales a 1. Por esta razón, la normalización L2 es una práctica habitual en motores de búsqueda, sistemas de recomendación y modelos de lenguaje.

Implementación en Python

Scikit-Learn proporciona la función normalize y el transformador Normalizer.

Utilizando normalize()

from sklearn.preprocessing import normalize
import numpy as np

X = np.array([
    [3, 4],
    [1, 2],
    [5, 12]
])

X_norm = normalize(X, norm='l2')

print(X_norm)

from sklearn.preprocessing import normalize
import numpy as np

X = np.array([
    [3, 4],
    [1, 2],
    [5, 12]
])

X_norm = normalize(X, norm='l2')

print(X_norm)

[[0.6        0.8       ]
 [0.4472136  0.89442719]
 [0.38461538 0.92307692]]

[[0.6        0.8       ]
 [0.4472136  0.89442719]
 [0.38461538 0.92307692]]

Utilizando Normalizer

from sklearn.preprocessing import Normalizer

normalizer = Normalizer(norm='l2')

X_norm = normalizer.fit_transform(X)

print(X_norm)

from sklearn.preprocessing import Normalizer

normalizer = Normalizer(norm='l2')

X_norm = normalizer.fit_transform(X)

print(X_norm)

[[0.6        0.8       ]
 [0.4472136  0.89442719]
 [0.38461538 0.92307692]]

[[0.6        0.8       ]
 [0.4472136  0.89442719]
 [0.38461538 0.92307692]]

Normalización L1

from sklearn.preprocessing import Normalizer

normalizer = Normalizer(norm='l1')

X_l1 = normalizer.fit_transform(X)

print(X_l1)

from sklearn.preprocessing import Normalizer

normalizer = Normalizer(norm='l1')

X_l1 = normalizer.fit_transform(X)

print(X_l1)

[[0.42857143 0.57142857]
 [0.33333333 0.66666667]
 [0.29411765 0.70588235]]

[[0.42857143 0.57142857]
 [0.33333333 0.66666667]
 [0.29411765 0.70588235]]

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import Normalizer
from sklearn.neighbors import KNeighborsClassifier

pipeline = Pipeline([
    ("normalizacion", Normalizer(norm='l2')),
    ("modelo", KNeighborsClassifier())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import Normalizer
from sklearn.neighbors import KNeighborsClassifier

pipeline = Pipeline([
    ("normalizacion", Normalizer(norm='l2')),
    ("modelo", KNeighborsClassifier())
])

pipeline.fit(X_train, y_train)

Este enfoque garantiza que todas las observaciones reciban exactamente la misma transformación tanto durante el entrenamiento como durante la predicción.

Conclusión

Unit Vector Scaling o Normalization es una técnica de transformación que convierte cada observación en un vector de longitud unitaria, preservando su dirección y eliminando las diferencias de magnitud. A diferencia de los métodos tradicionales de escalado, opera sobre filas en lugar de columnas, lo que la hace especialmente útil cuando el interés se centra en las relaciones relativas entre variables dentro de cada observación.

Su aplicación es fundamental en áreas como procesamiento de lenguaje natural, recuperación de información, sistemas de recomendación y análisis de similitud, donde la orientación de los vectores resulta más importante que su tamaño absoluto. Aunque no corrige problemas estadísticos como outliers o distribuciones sesgadas, sigue siendo una de las técnicas más utilizadas en entornos de Machine Learning basados en medidas de distancia y similitud.

¿Qué es MaxAbs Scaling?

MaxAbs Scaling es una técnica de escalado de datos que transforma las variables numéricas dividiendo cada valor por el valor absoluto máximo de su característica. Como resultado, todos los valores quedan dentro del rango comprendido entre -1 y 1.

A diferencia de otros métodos de escalado, MaxAbs Scaling no centra los datos alrededor de cero ni modifica la distribución original de la variable. Su principal objetivo es reducir la magnitud de los datos manteniendo intactas las relaciones entre los valores.

Esta técnica es especialmente útil cuando se trabaja con datos dispersos (sparse data), como matrices de texto generadas mediante Bag of Words (BoW) o TF-IDF, donde preservar los valores cero es fundamental.

¿Cómo funciona MaxAbs Scaling?

El procedimiento consiste en identificar el valor absoluto máximo de cada variable y dividir todos los valores de esa característica por dicho máximo. La transformación se define mediante la siguiente fórmula:

$$x_{scaled}=\frac{x}{|x_{max}|}$$

Donde:

• \(x\) es el valor original.
• \(|x_{max}|\) es el valor absoluto máximo de la característica.
• \(x_{scaled}\) es el valor transformado.

El resultado siempre se encuentra dentro del intervalo:

• -1 para el valor negativo de mayor magnitud.
• 1 para el valor positivo de mayor magnitud.
• 0 permanece exactamente en 0.

Ejemplo de MaxAbs Scaling

Supongamos la siguiente variable:

var = [-50, -25, 0, 25, 50]

var = [-50, -25, 0, 25, 50]

El valor absoluto máximo es: \(|50| = 50\). Aplicando la transformación:

var = [-1.0, -0.5, 0.0, 0.5, 1.0]

var = [-1.0, -0.5, 0.0, 0.5, 1.0]

Puede observarse que:

• La forma de la distribución permanece igual.
• Los signos positivos y negativos se conservan.
• Los valores quedan normalizados entre -1 y 1.

¿Por qué es importante escalar los datos?

Muchos algoritmos de Machine Learning son sensibles a la magnitud de las variables.

Por ejemplo:

• Una característica con valores entre 0 y 100.000 puede dominar a otra cuyos valores oscilan entre 0 y 10.
• Los cálculos de distancia pueden verse distorsionados.
• Los algoritmos de optimización pueden tardar más en converger.

MaxAbs Scaling permite equilibrar las escalas de las variables sin alterar la estructura original de los datos.

Beneficios de MaxAbs Scaling

• Mantiene los valores dentro del rango [-1,1].
• Conserva los valores cero.
• Preserva la dispersión original de los datos.
• No modifica la forma de la distribución.
• Es computacionalmente eficiente.
• Funciona muy bien con matrices dispersas.
• Reduce problemas derivados de escalas muy diferentes entre variables.

¿Cuándo utilizar MaxAbs Scaling?

• Se trabaja con datos dispersos (sparse matrices).
• Los valores cero tienen un significado importante.
• Se utilizan representaciones de texto como BoW o TF-IDF.
• Se desea mantener la distribución original.
• Existen variables positivas y negativas.
• Se busca una transformación rápida y sencilla.

Casos típicos:

• Procesamiento de lenguaje natural (NLP).
• Sistemas de recomendación.
• Motores de búsqueda.
• Clasificación de documentos.
• Análisis de grandes matrices dispersas.

Ventajas de MaxAbs Scaling

• Extremadamente rápido de calcular.
• Muy eficiente en memoria.
• Compatible con datos dispersos.
• No destruye la estructura de los datos.
• Conserva los ceros originales.
• Fácil de interpretar.
• Escala tanto valores positivos como negativos.

Además, es una de las pocas técnicas de escalado diseñadas específicamente para trabajar correctamente con matrices sparse.

Desventajas de MaxAbs Scaling

• Es muy sensible a valores atípicos.
• Un único outlier puede determinar toda la escala.
• No reduce la asimetría de la distribución.
• No corrige problemas de sesgo.
• No centra los datos alrededor de la media.
• Puede producir escalados poco representativos cuando existen valores extremos.

Limitaciones

Antes de utilizar MaxAbs Scaling es importante considerar que:

• No elimina ruido.
• No trata valores faltantes.
• No corrige distribuciones no normales.
• No mejora problemas de multicolinealidad.
• No es adecuado cuando existen outliers muy pronunciados.

Si la variable contiene valores extremos importantes, suelen funcionar mejor técnicas como:

• Robust Scaling.
• Transformación Logarítmica.
• Yeo-Johnson.
• Box-Cox.

Comparación con otros métodos de escalado

MaxAbs Scaling vs Min-Max Scaling

Min-Max Scaling transforma los datos a un rango específico, normalmente entre 0 y 1.

MaxAbs Scaling:

• Mantiene valores negativos.
• Escala entre -1 y 1.
• Conserva los ceros.
• Es más adecuado para matrices dispersas.

MaxAbs Scaling vs Standard Scaling

Standard Scaling:

• Centra los datos en media cero.
• Escala usando la desviación estándar.

MaxAbs Scaling:

• No centra los datos.
• Mantiene la distribución original.
• Es menos costoso computacionalmente.

MaxAbs Scaling vs Robust Scaling

Robust Scaling:

• Utiliza la mediana y el rango intercuartílico.
• Es resistente a outliers.

MaxAbs Scaling:

• Es mucho más sensible a valores extremos.
• Resulta más rápido cuando los datos están relativamente limpios.

Aplicaciones en Data Science y Machine Learning

MaxAbs Scaling aparece frecuentemente en:

• Procesamiento de lenguaje natural (NLP).
• Clasificación de textos.
• Análisis de sentimientos.
• Sistemas de recomendación.
• Motores de búsqueda.
• Detección de spam.
• Recuperación de información.
• Clustering sobre matrices dispersas.
• Modelos lineales de alta dimensionalidad.

También suele utilizarse antes de algoritmos como:

• Regresión logística.
• Máquinas de vectores de soporte (SVM).
• K-Means.
• Redes neuronales.
• Descenso por gradiente.

Implementación en Python

Scikit-Learn incluye una implementación optimizada mediante la clase MaxAbsScaler.

Ejemplo básico

import pandas as pd
from sklearn.preprocessing import MaxAbsScaler

datos = pd.DataFrame({
    "ingresos": [1000, 2500, 5000, 10000]
})

scaler = MaxAbsScaler()

datos_escalados = scaler.fit_transform(datos)

print(datos_escalados)

import pandas as pd
from sklearn.preprocessing import MaxAbsScaler

datos = pd.DataFrame({
    "ingresos": [1000, 2500, 5000, 10000]
})

scaler = MaxAbsScaler()

datos_escalados = scaler.fit_transform(datos)

print(datos_escalados)

[[0.10]
 [0.25]
 [0.50]
 [1.00]]

[[0.10]
 [0.25]
 [0.50]
 [1.00]]

Ejemplo con múltiples variables

import pandas as pd
from sklearn.preprocessing import MaxAbsScaler

df = pd.DataFrame({
    "edad": [20, 35, 50, 65],
    "ingresos": [1000, 5000, 10000, 20000]
})

scaler = MaxAbsScaler()

df_scaled = pd.DataFrame(
    scaler.fit_transform(df),
    columns=df.columns
)

print(df_scaled)

import pandas as pd
from sklearn.preprocessing import MaxAbsScaler

df = pd.DataFrame({
    "edad": [20, 35, 50, 65],
    "ingresos": [1000, 5000, 10000, 20000]
})

scaler = MaxAbsScaler()

df_scaled = pd.DataFrame(
    scaler.fit_transform(df),
    columns=df.columns
)

print(df_scaled)

       edad  ingresos
0  0.307692      0.05
1  0.538462      0.25
2  0.769231      0.50
3  1.000000      1.00

       edad  ingresos
0  0.307692      0.05
1  0.538462      0.25
2  0.769231      0.50
3  1.000000      1.00

Uso dentro de un Pipeline

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import MaxAbsScaler
from sklearn.linear_model import LogisticRegression

pipeline = Pipeline([
    ("scaler", MaxAbsScaler()),
    ("modelo", LogisticRegression())
])

pipeline.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import MaxAbsScaler
from sklearn.linear_model import LogisticRegression

pipeline = Pipeline([
    ("scaler", MaxAbsScaler()),
    ("modelo", LogisticRegression())
])

pipeline.fit(X_train, y_train)

Este enfoque garantiza que los datos de entrenamiento y predicción reciban exactamente la misma transformación.

Conclusión

MaxAbs Scaling es una técnica de escalado sencilla y eficiente que normaliza las variables utilizando el valor absoluto máximo de cada característica. Su principal fortaleza radica en que preserva la estructura original de los datos y mantiene intactos los valores cero, lo que la convierte en una herramienta especialmente útil para trabajar con matrices dispersas y aplicaciones de procesamiento de texto.

Aunque es rápida y fácil de implementar, su sensibilidad a los valores atípicos limita su utilidad en algunos escenarios. Por ello, suele ser una excelente opción para conjuntos de datos limpios y de alta dimensionalidad, especialmente en proyectos de NLP, sistemas de recomendación y modelos de Machine Learning que requieren variables escaladas sin alterar la distribución original de los datos.

Capturando Relaciones No Lineales en Machine Learning

Las Transformaciones de Ingeniería de Características Polinomiales (Polynomial Feature Engineering) son una técnica ampliamente utilizada en Data Science y Machine Learning para enriquecer un conjunto de datos mediante la creación de nuevas variables derivadas de las características originales.

Su objetivo principal es permitir que algoritmos lineales puedan modelar relaciones no lineales presentes en los datos sin necesidad de utilizar modelos más complejos. Esta técnica resulta especialmente útil cuando existe evidencia de que la relación entre las variables predictoras y la variable objetivo no sigue una tendencia lineal simple.

Las características polinomiales forman parte de las técnicas clásicas de ingeniería de características y suelen utilizarse como paso previo al entrenamiento de modelos predictivos.

¿Qué son las transformaciones de características polinomiales?

Las transformaciones polinomiales consisten en generar nuevas variables elevando las características originales a diferentes potencias y creando combinaciones entre ellas. Por ejemplo, si disponemos de una variable X. Podemos generar nuevas características como:

$$X, X^2, X^3, X^4$$

Si contamos con dos variables: \(X_1, X_2\), las nuevas características podrían incluir:

$$X_1, X_2, X_1^2, X_2^2, X_1X_2$$

Estas nuevas variables permiten representar patrones más complejos que no podrían capturarse utilizando únicamente las características originales.

¿Cómo funcionan las características polinomiales?

La idea fundamental consiste en ampliar el espacio de características. Supongamos una relación real entre una variable de entrada y una variable objetivo:

$$y=x^2+3x+2″$$

Si utilizamos únicamente la variable (x), un modelo lineal tendrá dificultades para representar correctamente la curva. Sin embargo, si añadimos la característica \(X_2\), el problema puede transformarse en una regresión lineal sobre las variables:

• \(x\)
• \(x^2\)

Desde la perspectiva del modelo, la relación sigue siendo lineal respecto a los coeficientes, aunque la función representada sea no lineal.

Generación de características polinomiales

Para un polinomio de grado 2 con dos variables: \(x_1,x_2\) las nuevas características serían:

$$1,x_1,x_2,x_1^2,x_1x_2,x_2^2$$

Para un polinomio de grado 3:

$$x_1^3,x_1^2x_2,x_1x_2^2,x_2^3$$

A medida que aumenta el grado del polinomio, también crece significativamente el número de variables generadas.

Ejemplo conceptual

Supongamos un problema inmobiliario donde queremos predecir el precio de una vivienda utilizando metros cuadrados. La relación real podría ser:

• Las viviendas pequeñas aumentan de precio rápidamente.
• Las viviendas medianas mantienen una tendencia estable.
• Las viviendas muy grandes muestran incrementos menos pronunciados.

Esta relación suele adoptar una forma curva. Al incorporar:

• Metros cuadrados.
• Metros cuadrados al cuadrado.

El modelo puede capturar mejor dicha curvatura.

Beneficios de las transformaciones polinomiales

• Permiten modelar relaciones no lineales.
• Mejoran la capacidad predictiva de modelos lineales.
• Son fáciles de implementar.
• Incrementan la flexibilidad del modelo.
• Facilitan la captura de interacciones entre variables.
• Pueden mejorar significativamente el rendimiento sin cambiar de algoritmo.

¿Cuándo utilizar características polinomiales?

• Existen relaciones no lineales evidentes.
• Los modelos lineales presentan bajo rendimiento.
• Se desea mantener la interpretabilidad.
• El número de variables originales es relativamente reducido.
• Se sospecha que existen interacciones entre variables.

Escenarios habituales:

• Predicción de precios.
• Modelos económicos.
• Series temporales simples.
• Análisis de comportamiento de clientes.
• Modelos de riesgo financiero.

Ejemplos prácticos

Predicción inmobiliaria

Variables originales:

• Superficie.
• Antigüedad.

Características adicionales:

• Superficie².
• Antigüedad².
• Superficie × Antigüedad.

Marketing

Variables originales:

• Inversión publicitaria.
• Frecuencia de exposición.

Características adicionales:

• Inversión².
• Frecuencia².
• Inversión × Frecuencia.

Salud

Variables originales:

• Edad.
• Índice de masa corporal.

Características adicionales:

• Edad².
• IMC².
• Edad × IMC.

Estas nuevas variables permiten capturar patrones más complejos en los datos.

Ventajas

• Fácil aplicación.
• Compatible con numerosos algoritmos.
• Mejora el ajuste de modelos lineales.
• Captura relaciones curvilíneas.
• Permite modelar interacciones.
• Mantiene cierta interpretabilidad.

Además, suele combinarse muy bien con algoritmos como:

• Regresión Lineal.
• Regresión Logística.
• Support Vector Machines.
• Redes neuronales.

Desventajas

• Incrementa rápidamente la dimensionalidad.
• Puede introducir ruido.
• Aumenta el riesgo de sobreajuste.
• Incrementa los tiempos de entrenamiento.
• Reduce la interpretabilidad cuando se generan muchas variables.

A medida que aumenta el grado polinomial, estos problemas suelen hacerse más evidentes.

Limitaciones

• Explosión combinatoria: El número de características generadas crece rápidamente: 10 variables originales es polinomio de grado 3. Pueden generar cientos de nuevas características. Esto aumenta: memoria utilizada, coste computacional y riesgo de sobreajuste.
• Sobreajuste: Los polinomios de grado elevado pueden ajustarse excesivamente a los datos de entrenamiento, como consecuencia, el rendimiento en entrenamiento mejora y la capacidad de generalización disminuye.
• Interpretación más compleja: Aunque el modelo siga siendo lineal, interpretar decenas o cientos de términos polinomiales puede resultar difícil.
• Sensibilidad a escalas: Las variables elevadas a potencias superiores generan valores mucho mayores. Por ello suele recomendarse aplicar previamente: estandarización y normalización.

Aplicaciones en Data Science y Machine Learning

Las transformaciones polinomiales tienen numerosas aplicaciones.

Modelos de regresión

• Predicción de precios.
• Predicción de demanda.
• Pronósticos económicos.

Clasificación

• Regresión logística enriquecida.
• Clasificación de clientes.
• Scoring crediticio.

Machine Learning tradicional

• Support Vector Machines.
• Redes neuronales.
• Gradient Boosting.

Ciencia de datos empresarial

• Marketing analítico.
• Predicción de abandono de clientes.
• Modelos de conversión.

Investigación científica

• Modelado físico.
• Sistemas biológicos.
• Análisis experimentales.

Buenas prácticas al utilizar características polinomiales

Para obtener mejores resultados es recomendable:

• Comenzar con grados bajos (2 o 3).
• Escalar las variables antes de la transformación.
• Utilizar validación cruzada.
• Evaluar posibles problemas de sobreajuste.
• Aplicar regularización cuando sea necesario.

Las técnicas de regularización más utilizadas son:

• Ridge Regression.
• Lasso Regression.
• Elastic Net.

Implementación en Python

Scikit-Learn proporciona la clase PolynomialFeatures para generar automáticamente estas variables.

Ejemplo básico

import numpy as np
from sklearn.preprocessing import PolynomialFeatures

X = np.array([
    [2],
    [3],
    [4]
])

poly = PolynomialFeatures(
    degree=2,
    include_bias=False
)

X_poly = poly.fit_transform(X)

print(X_poly)

import numpy as np
from sklearn.preprocessing import PolynomialFeatures

X = np.array([
    [2],
    [3],
    [4]
])

poly = PolynomialFeatures(
    degree=2,
    include_bias=False
)

X_poly = poly.fit_transform(X)

print(X_poly)

[[ 2.  4.]
 [ 3.  9.]
 [ 4. 16.]]

[[ 2.  4.]
 [ 3.  9.]
 [ 4. 16.]]

La segunda columna corresponde a: \(x^2\)

Ejemplo con múltiples variables

import numpy as np
from sklearn.preprocessing import PolynomialFeatures

X = np.array([
    [2, 3]
])

poly = PolynomialFeatures(
    degree=2,
    include_bias=False
)

X_poly = poly.fit_transform(X)

print(X_poly)

import numpy as np
from sklearn.preprocessing import PolynomialFeatures

X = np.array([
    [2, 3]
])

poly = PolynomialFeatures(
    degree=2,
    include_bias=False
)

X_poly = poly.fit_transform(X)

print(X_poly)

[[2. 3. 4. 6. 9.]]

[[2. 3. 4. 6. 9.]]

Las nuevas características son:

• x₁
• x₂
• x₁²
• x₁x₂
• x₂²

Uso con Regresión Lineal

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

modelo = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("regressor", LinearRegression())
])

modelo.fit(X_train, y_train)

predicciones = modelo.predict(X_test)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression

modelo = Pipeline([
    ("poly", PolynomialFeatures(degree=2)),
    ("regressor", LinearRegression())
])

modelo.fit(X_train, y_train)

predicciones = modelo.predict(X_test)

Este enfoque permite entrenar un modelo lineal capaz de representar relaciones no lineales.

Combinación con escalado

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import Ridge

modelo = Pipeline([
    ("scaler", StandardScaler()),
    ("poly", PolynomialFeatures(degree=3)),
    ("ridge", Ridge(alpha=1.0))
])

modelo.fit(X_train, y_train)

from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import Ridge

modelo = Pipeline([
    ("scaler", StandardScaler()),
    ("poly", PolynomialFeatures(degree=3)),
    ("ridge", Ridge(alpha=1.0))
])

modelo.fit(X_train, y_train)

Esta combinación suele ofrecer mejores resultados y reduce el riesgo de sobreajuste.

Conclusión

Las Transformaciones de Ingeniería de Características Polinomiales son una técnica fundamental para enriquecer conjuntos de datos y permitir que modelos lineales capturen relaciones no lineales complejas. Mediante la generación de potencias e interacciones entre variables, es posible aumentar significativamente la capacidad predictiva de numerosos algoritmos sin recurrir necesariamente a modelos más sofisticados.

Aunque presentan desafíos relacionados con la dimensionalidad y el sobreajuste, su correcta aplicación, acompañada de escalado y regularización, puede generar mejoras sustanciales en el rendimiento de modelos de Machine Learning. Por ello, constituyen una herramienta esencial dentro del proceso de ingeniería de características y preparación de datos en proyectos de Data Science.