Etiqueta: Introducción

  • Singularidad, dependencia lineal y el determinante

    Uno de los mayores errores al aprender álgebra lineal es pensar que trata de números, fórmulas y cálculos. Esa es solo la superficie. En realidad, lo que estás aprendiendo es algo mucho más poderoso: cómo interpretar y combinar información.

    El lenguaje de las ecuaciones

    Para entenderlo, hay que hacer un pequeño cambio de perspectiva. Una ecuación no es una operación. Es una afirmación sobre la realidad. Es una sentencia, \( x+y=10 \), está diciendo: “hay dos cantidades cuya suma es 10”.

    Con base en esta afirmación, piensa en una ecuación como una oración que describe al mundo:

    • El perro es negro.
    • El gato es naranja.

    Ambas son sentencias que aportan información y al combinarlas tienes un conjunto de afirmaciones que combinadas te permiten deducir información al igual que un sistema de acuaciones.

    Cuando aparece el sistema: combinar información

    Imagina que estás resolviendo un problema como si fuera un pequeño caso de investigación. Tienes varias pistas y cada una aporta información parcial. Una pista puede decirte algo genérico, otra puede acotar un poco más, y juntas empiezan a dibujar una imagen más precisa. Eso es exactamente lo que hace un sistema de ecuaciones: combinar piezas de información para reducir la incertidumbre.

    Pero no todas las combinaciones de información funcionan igual. Y aquí es donde el álgebra deja de ser mecánica y empieza a ser lógica. Cuando juntas varias sentencias, solo pueden pasar tres cosas:

    1. Que cada nueva ecuación aporte algo distinto y coherente con lo anterior. En ese caso, el sistema converge hacia una única solución, se denomina sistema no singular. En términos matemáticos, el sistema es completo, consistente y determinado. En términos prácticos, tienes suficiente información bien estructurada.
    2. Las sentencias no se contradicen, pero tampoco aportan nada nuevo. Es como si alguien repitiera la misma pista con otras palabras; se denomina sistema singular. En matemáticas esto se traduce en ecuaciones dependientes, y el resultado es que no hay una única solución, sino infinitas.
    3. Las sentencias se contradicen. Una dice una cosa y otra dice lo contrario, se denomina también sistema singular. En ese momento, el sistema deja de tener sentido. Has construido una realidad imposible.

    Los tres comportamientos posibles

    Sistema completo, no singular

    Cada ecuación aporta información nueva. No se repiten, no se contradicen. Se refuerzan. En ese caso, el sistema converge hacia una única solución. Esto significa que has descrito la realidad con suficiente precisión como para identificar un único resultado. Geométricamente, si quieres visualizarlo, es el punto donde las líneas se cruzan.

    En un sistema de ecuaciones, por ejemplo, que simula una compra de peras y bananas, donde tenemos que descubrir el precio de cada una. El primer día se compran 1 pera y 1 banana por 10€; el día 2 se compran 1 pera y 2 bananas por 12€.

    $$ a + b = 10$$

    $$ a + 2b = 12$$

    Solución única: \( a = 8, b = 2 \)

    Sistema redundante, singular

    Aquí ocurre algo más sutil. Las ecuaciones no están mal. No hay contradicción. Pero una no aporta nada nuevo respecto a la otra. En ese caso, el sistema no falla, pero tampoco se define completamente. Tienes infinitas soluciones. No porque el sistema sea incorrecto, sino porque no tienes suficiente información independiente.

    En este caso la compra se expresa así:

    $$ a + b = 10$$

    $$ 2a + 2b = 20$$

    Infinitas soluciones, todos los conjuntos de dos números que sumen 10.

    Sistema contradictorio, singular

    Aquí el sistema se rompe. Una ecuación afirma algo, la otra afirma lo contrario. No existe ningún valor que pueda satisfacer ambas simultáneamente. Y esto no es un problema de cálculo. Es un problema lógico.

    En este caso la compra se expresa así:

    $$ a + b = 10$$

    $$ 2a + 2b = 24$$

    No hay soluciones posibles.

    Veamos este sistema de sentencias en un pequeño test:

    • Entre el perro, el gato y el ave, uno es rojo
    • Entre el perro, el gato, uno es naranja
    • El perro es negro

    Preguntas:

    • ¿De qué color es el ave?
    • ¿Es un sistema singular o no singular?

    Cada sentencia del sistema va descubriendo con la solución de cada sentencia. Ninguna de las sentencias por sí sola permite llegar a la solución. Es la combinación progresiva de información la que va acotando el problema hasta hacerlo determinable.

    Desde el punto de vista del álgebra lineal, este sistema es no singular. ¿Por qué? Porque cada sentencia aporta información nueva y no redundante. No hay contradicciones ni repeticiones. El sistema está bien definido y conduce a una única solución posible.

    En un dataset real, cada registro funciona como una sentencia. Cada variable añade contexto, y el modelo lo único que hace es combinar esas “afirmaciones” para encontrar patrones. Si las sentencias son coherentes y aportan información distinta, el modelo puede aprender. Si son redundantes, el modelo se vuelve ineficiente. Y si son contradictorias, el modelo simplemente no puede construir una representación fiable de la realidad.

    Los sistemas de ecuaciones representados gráficamente

    La singularidad solo depende de la matriz de coeficientes:

    Las constantes no importan a la hora de determinar la singularidad. Si los lleváramos todos a 0, mantendrían la singularidad.

    Ecuaciones dependientes e independientes

    La dependencia lineal está relacionada con lo que vimos anteriormente sobre si las ecuaciones aportan información nueva o están repitiendo lo mismo.

    Dependencia Lineal

    Un conjunto de ecuaciones (o una matriz) es linealmente dependiente si:

    • Una de ellas puede obtenerse a partir de las otras mediante multiplicaciones o sumas.

    Ejemplo básico:

    $$ x + y = 1$$

    $$2x + 2y = 2$$

    o lo que es lo mismo

    $$A = \begin {bmatrix} 1 & 1 \\ 2 & 3 \end{bmatrix}$$

    Revela que la segunda ecuación es simplemente: \( 2 \cdot (x + y)\)

    • No aporta información nueva
    • Es redundante

    Conclusión: dependencia lineal

    Caso más sutil (nivel siguiente)

    No siempre es un múltiplo directo:

    $$\text{Fila 2} = \frac{\text{Fila 1} + \text{Fila 3}}{2}$$

    • Sigue siendo dependencia lineal
    • Porque una fila se construye con otras

    Independencia lineal

    Un conjunto de ecuaciones (o una matriz) es linealmente independiente si:

    • Ninguna ecuación puede construirse a partir de las demás

    Ejemplo básico:

    $$x + y = 1$$

    $$x – y = 3$$

    en forma matricial:

    $$A = \begin {bmatrix} 1 & 1 \\ 1 & 1 \end{bmatrix}$$

    No existe ningún número que permita convertir una ecuación en la otra.

    • Cada una aporta información diferente
    • Conclusión: independencia lineal

    Relación con singularidad

    • Dependencia lineal → matriz singular
    • Independencia lineal → matriz no singular

    En ciencia de datos:

    • Dependencia → variables redundantes
    • Independencia → variables útiles

    El rango: cómo medir la información de un sistema

    Hasta ahora has visto algo muy importante: no todas las frases (o ecuaciones) aportan lo mismo. Algunas añaden información nueva y otras simplemente repiten lo que ya sabemos. Pero en matemáticas —y especialmente en machine learning— necesitamos medir esa información de forma precisa. Esa información nos la brinda el rango de una matriz

    Recuerda los sistemas de frases que vimos:

    • “El perro es negro”
    • “El gato es naranja”

    Este sistema aporta dos piezas de información independientes.

    Sin embargo:

    • “El perro es negro”
    • “El perro es negro”

    Aquí solo hay una pieza de información real.

    Y en el caso más extremo, otros sistemas no aportan ninguna información útil para el problema que queremos resolver.

    ¿Qué es el rango?

    El rango traduce exactamente esa idea al lenguaje matemático: El rango de un sistema (o de su matriz) es la cantidad de información independiente que contiene.

    • Cuenta cuántas ecuaciones realmente aportan algo nuevo.
    • Ignora las que son redundantes o no aportan información útil.

    Conexión con sistemas de ecuaciones

    RangoQué significaSoluciones
    AltoMucha informaciónMuy restringidas
    MedioAlgo de redundanciaInfinitas soluciones
    BajoPoca o ninguna informaciónMáxima libertad

    Interpretación geométrica (clave en machine learning)

    Este concepto no es solo algebraico, también es geométrico:

    • Rango máximo → las soluciones se reducen a un punto
    • Rango intermedio → las soluciones forman una línea
    • Rango bajo → las soluciones ocupan un plano o más dimensiones

    Esto es exactamente lo que ocurre cuando entrenas modelos:

    • Más información → modelo más definido
    • Menos información → más incertidumbre

    Cómo se calcula el rango en la práctica

    Para calcular el rango no necesitas analizar ecuación por ecuación.

    En su lugar, haces lo siguiente:

    1. Transformas la matriz usando operaciones de fila
    2. La llevas a una forma más simple (forma escalonada)
    3. Cuentas cuántas filas siguen siendo útiles

    En machine learning, este concepto aparece constantemente:

    • Compresión de imágenes
    • Reducción de dimensionalidad
    • Eliminación de ruido
    • Modelos más eficientes

    De hecho, muchas técnicas avanzadas se basan en reducir el rango sin perder la información esencial.

    El determinante

    Otra forma para saber si un sistema es singular es a través del determinante. Un número que se calcula a partir la matriz y que te dice inmediatamente:

    • Si es 0 → matriz singular
      • Una fila es combinación de otra
      • Hay dependencia lineal
      • El sistema no tiene solución única
    • Si es ≠ 0 → matriz no singular
      • Filas independientes
      • Solucion unica

    Calcular el determinante

    Dada una matriz 2×2:

    $$\begin{bmatrix} a & b \\ c & d \end{bmatrix}$$

    El determinante es: \( ad – bc \).

    Matrices mas grandes

    El proceso es similar, pero con más diagonales,

    $$\begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix}$$

    Primer diagonal: \( a * e * i \).

    Segundo diagonal: \( b * f * g \).

    Tercer diagonal: \( c * d * h \).

    Luego se realiza la operación de sustracción a la inversa:

    $$\begin{bmatrix} a & b & c \\ d & e & f \\ g & h & i \end{bmatrix}$$

    $$Det = (a * e * i) + (b * f * g) + (c * d * h)$$

    $$- (c * e * g) – (f * h * a) – (b * d * i)$$

    Atajo para el de las matrices con ceros debajo de la diagonal.

    Cuando una matriz tiene solo ceros debajo de la diagonal central, hace que todos los cálculos de las diagonales restantes sean 0 excepto el de la diagonal principal y el determinante será el resultado de este.

    Ejemplo: el resultado del determinante en esta matriz es 6 (1 *2*3).

    ¿Cómo se ve esto en el mundo de los datos?

    Lenguaje NaturalÁlgebra LinealCiencia de Datos
    SentenciaEcuación (Fila)Registro / Observación
    SujetosVariables Características (Features)
    ConsistenciaDeterminante Datos limpios y útiles
    RedundanciaDependencia LinealMulticolinealidad (Ruido)

    Y cuando operas con matrices, lo que estás haciendo en realidad es manipular información estructurada. Si programas un modelo de Machine Learning sin entender esto, tendrás problemas:

    1. Datos Redundantes: Si le das a tu modelo el “Salario Mensual” y el “Salario Anual”, no está aprendiendo más. Estás desperdiciando potencia de cómputo en información repetida (Multicolinealidad).
    2. Datos Contradictorios: Si en tu base de datos el mismo cliente aparece con 20 años y con 70 años en la misma compra, el modelo se confunde y falla.
    3. El Rango de la Matriz: En álgebra, el “Rango” es simplemente el número de pistas reales y únicas que tienes. Si tienes 100 ecuaciones pero el rango es 2, en realidad solo tienes 2 pistas útiles y 98 ecos.

  • Fundamentos Matemáticos para la Ciencia de Datos

    Comprender los principios que sustentan el análisis y la inteligencia artificial

    En el ecosistema actual de la Ciencia de Datos, donde confluyen la estadística, la programación y el conocimiento del dominio, las matemáticas ocupan un lugar central. Son el lenguaje que permite describir, modelar y comprender los fenómenos que los datos representan.

    Sin una base matemática sólida, la práctica del análisis de datos corre el riesgo de reducirse a la mera aplicación mecánica de algoritmos, sin entender las razones detrás de sus resultados. Por el contrario, dominar los fundamentos matemáticos otorga al profesional la capacidad de interpretar, justificar y optimizar cada decisión analítica.

    El papel de las matemáticas en la ciencia de datos

    Las matemáticas no son un componente accesorio: constituyen el núcleo conceptual de la disciplina. Cada área del proceso analítico —desde la limpieza y representación de los datos hasta la modelización y evaluación de los resultados— se apoya en conceptos matemáticos esenciales:

    • El álgebra lineal estructura la información en forma de vectores y matrices, haciendo posible el procesamiento eficiente de grandes volúmenes de datos y el funcionamiento interno de algoritmos como la regresión o las redes neuronales.
    • El cálculo describe el cambio y la optimización; es la herramienta que permite ajustar los parámetros de un modelo hasta minimizar el error.
    • La probabilidad y la estadística ofrecen el marco teórico para inferir, predecir y tomar decisiones bajo incertidumbre.
    • La optimización formaliza la búsqueda de soluciones óptimas en espacios complejos, un principio fundamental en el aprendizaje automático.
    • La teoría de conjuntos y la lógica proporcionan el lenguaje formal para definir relaciones, categorías y condiciones sobre los datos.

    En conjunto, estos campos no solo explican el “cómo” de los algoritmos, sino el “por qué” de su funcionamiento y sus limitaciones.

    Objetivos de esta serie de artículos

    Esta serie de artículos tiene como propósito presentar de forma estructurada y accesible los principales fundamentos matemáticos de la Ciencia de Datos, vinculando la teoría con su aplicación práctica. A lo largo de las próximas entregas abordaremos los siguientes ejes:

    Álgebra lineal: el ABC de los datos

    Piensa en álgebra lineal como el sistema de archivos de la data science. Organiza datos en vectores (filas) y matrices (tablas), que son la base de todos los algoritmos.

    EdadSalarioExperiencia.
    2550.0002<– Vector 1
    3075.0005<– Vector 2
    3560.0008<– Vector 3

    Algoritmos como regresión lineal, redes neuronales y PCA trabajan con matrices para encontrar patrones.

    Aplicaciones Reales
    • Recomendaciones Netflix: Matrices de usuario-película
    • Reconocimiento facial: Vectores de píxeles convertidos en características
    • Google Maps: Cálculos matriciales para rutas óptimas

    Cálculo: Encontrando el Mejor Camino

    Imagina que quieres encontrar la mejor ruta desde tu casa al trabajo. El cálculo es como el GPS que evalúa cada posible camino y elige el más rápido. Derivadas, gradientes y métodos de descenso aplicados al aprendizaje automático.

    En machine learning, el gradiente es como una brújula que te dice hacia dónde moverte para mejorar tu modelo y qué tan rápido moverte.

    El Gradient Descent (descenso por gradiente) empieza con una suposición inicial, calcula el error y usa el gradiente para ajustar ligeramente los pesos hasta encontrar el mínimo error. Es como bajar una montaña con los ojos vendados, usando solo la pendiente del terreno para guiarte.

    Probabilidad y estadística: el arte de interpretar datos

    La estadística es como tener gafas especiales para ver patrones invisibles en tus datos. Te ayuda a responder: ¿Es real este patrón o solo casualidad?

    Estadísticas descriptivas

    Te describen tus datos —la media, la mediana, la varianza, la desviación estándar o los percentiles—, que permiten resumir y comprender la estructura esencial de la información, convirtiendo el caos de los datos brutos en conocimiento interpretable, proporcionando una base sólida para la exploración, la visualización y, finalmente, la inferencia estadística y el modelado predictivo.

    A través de ellas podemos detectar patrones generales, identificar valores atípicos, evaluar la consistencia de las mediciones y establecer hipótesis iniciales antes de aplicar modelos más complejos.

    Comprender las relaciones

    Uno de los pilares de la estadística aplicada en Ciencia de Datos es la correlación, una medida que permite cuantificar la fuerza y dirección de la relación entre dos variables. Analizar la correlación no solo revela patrones ocultos en los datos, sino que orienta la formulación de hipótesis y la construcción de modelos predictivos.

    Sin embargo, identificar una correlación no implica causalidad. Para determinar si una relación observada es estadísticamente significativa y no producto del azar, entran en juego las pruebas estadísticas.

    Validar la evidencia

    El valor p (p-value) mide hasta qué punto tu hallazgo podría deberse a la casualidad. Los intervalos de confianza, por su parte, definen el rango dentro del cual se espera que se encuentre el valor real del parámetro poblacional con una determinada probabilidad.

    Ambos conceptos permiten evaluar la significancia estadística, es decir, si el efecto detectado es lo suficientemente consistente como para considerarse real y no fruto de la variabilidad muestral.

    Historia real: En 2018, muchas empresas de tech descubrieron que sus “éxitos” en A/B testing eran solo ruido estadístico por no entender los p-values.

    Análisis de Datos y Modelado Matemático: De la Teoría a la Aplicación

    Finalmente, todos estos fundamentos convergen en la práctica del análisis de datos y el modelado matemático, donde las herramientas teóricas se integran para resolver problemas reales en contextos empresariales, científicos y sociales.

    El análisis de datos implica no solo explorar y describir información, sino también formular modelos que representen fenómenos observables, desde la predicción de la demanda en una cadena hotelera hasta la detección de anomalías en sistemas financieros o medioambientales.

    El modelado matemático convierte esas relaciones en expresiones cuantitativas, permitiendo simular escenarios, realizar proyecciones y evaluar decisiones estratégicas. Su poder radica en conectar el mundo abstracto de las ecuaciones con la realidad operativa de las organizaciones, donde cada decisión basada en datos puede traducirse en eficiencia, rentabilidad o innovación.

    No necesitas ser un genio matemático. Solo curiosidad y ganas de entender cómo funcionan las cosas detrás de Python y TensorFlow.

    ¿Cómo las matemáticas se conectan con Python?

    En la práctica moderna de la Ciencia de Datos, las matemáticas y Python forman una alianza inseparable. Mientras las matemáticas proporcionan el marco teórico para entender los algoritmos, Python ofrece las herramientas prácticas para implementarlos, visualizarlos y validarlos sobre datos reales.

    Cada concepto matemático puede trasladarse directamente al código:

    • El álgebra lineal se materializa a través de librerías como NumPy, que permite trabajar con vectores, matrices y operaciones matriciales de forma eficiente.
    • El cálculo y la optimización se aplican en entornos como TensorFlow o PyTorch, donde los gradientes y derivadas se calculan automáticamente durante el entrenamiento de modelos.
    • La probabilidad y estadística se ponen en práctica mediante Pandas, SciPy o Statsmodels, facilitando desde el análisis exploratorio hasta las pruebas de hipótesis.

    Python, por tanto, no reemplaza las matemáticas: las traduce en acción. Es el medio que permite pasar de la teoría a la experimentación, y de la experimentación al descubrimiento. Comprender las matemáticas detrás del código permite usar estas herramientas con criterio, interpretar correctamente los resultados y desarrollar soluciones más eficientes y explicables.

    En resumen, mientras las matemáticas aportan el “por qué”, Python ofrece el “cómo”. Juntas conforman el lenguaje operativo de la Ciencia de Datos moderna.