Python y ChatGPT para la limpieza de datos: Mi guía completa con código para automatizar el análisis y ahorrar horas

Deja un comentario / IA para la investigación científica, Tutoriales de herramientas de IA / Por

Aún recuerdo un proyecto de investigación sobre la estabilidad de sistemas fraccionarios: había recuperado datos experimentales de varias fuentes heterogéneas, con formatos incompatibles, valores aberrantes y etiquetas inconsistentes. Resultado: dos días de limpieza manual, tediosa y fuente de errores. Fue esa frustración la que me llevó a explorar la combinación de Python y ChatGPT para la limpieza de datos. Esta guía es el fruto de esa exploración.

Quizás usted mismo ha pasado horas, tal vez días, limpiando manualmente archivos Excel o CSV de encuestas. Entre los errores tipográficos, los formatos de fecha inconsistentes y las respuestas abiertas imposibles de categorizar, esta etapa de preprocesamiento suele ser la más tediosa de un proyecto de análisis. Sin embargo, es crucial: los datos sucios producen análisis sesgados y decisiones arriesgadas.

¿Y si pudiera automatizar el 80 % de este trabajo que consume tanto tiempo?

Bienvenido a esta guía completa sobre Python y ChatGPT para la limpieza de datos. Combinando la potencia de programación de Python con la inteligencia contextual de la IA generativa, no solo acelerará su flujo de trabajo, sino que también lo hará más fiable y reproducible. Tanto si es analista de datos, investigador, docente o gestor de proyectos, este tutorial le proporcionará las claves para transformar datos brutos y desordenados en información lista para usar.

Resumen

  1. ¿Por qué combinar Python y ChatGPT para la limpieza de datos?
  2. Configuración de su entorno de trabajo
  3. Caso práctico 1: Limpieza y estandarización de texto con la API de ChatGPT
  4. Caso práctico 2: Detección y corrección de valores atípicos
  5. Automatización del pipeline de limpieza
  6. Conclusión: Hacia un análisis de datos más inteligente
Python y ChatGPT para la limpieza de datos

¿Por Qué Combinar Python y ChatGPT para la Limpieza de Datos?

Tradicionalmente, la limpieza de datos con Python se basa en librerías como Pandas. Es extremadamente potente para tareas estructuradas: eliminar duplicados, formatear columnas, gestionar valores nulos. En mi trabajo de investigación en automática, utilizo estas herramientas a diario para preprocesar las series temporales de mis simulaciones MATLAB. Sin embargo, estos métodos muestran sus limitaciones ante la ambigüedad del lenguaje humano.

Ahí es donde entra en juego Python y ChatGPT para la limpieza de datos. Esta combinación permite aunar lo mejor de los dos mundos:

  • La potencia de cálculo de Python para procesar grandes volúmenes de datos y aplicar transformaciones estructurales.
  • La inteligencia contextual de ChatGPT para comprender, interpretar y corregir datos textuales complejos, como respuestas a preguntas abiertas, direcciones mal formateadas o categorías mal escritas.

Esta combinación se inscribe en una tendencia más amplia de integración de la IA en el flujo de trabajo investigador. Si quieres descubrir cómo estructurar ese enfoque de forma global, consulta nuestra guía de referencia : Integrar la IA en la investigación científica : metodologías, 7 buenas prácticas y límites.

Imagine una encuesta donde los usuarios han respondido «Paris», «paris», «75 – Paris» o «Île-de-France». Un script Python clásico tendrá dificultades para estandarizar esto sin reglas complejas y frágiles. En cambio, usando Python y ChatGPT para la limpieza de datos, puede enviar estas variaciones a la API y recibir una salida estandarizada e inteligente.

Configuración de su Entorno de Trabajo

Antes de sumergirnos en el código, asegurémonos de que su entorno está listo. Para seguir esta guía sobre Python y ChatGPT para la limpieza de datos, necesitará:

  1. Python 3.7+ instalado en su máquina.
  2. Una clave API de OpenAI. Cree una cuenta en la plataforma OpenAI y genere su clave secreta. (Atención: este servicio es de pago por uso, pero los costes para la limpieza de datos suelen ser muy bajos.)
  3. Las librerías necesarias. Instálelas vía pip: pip install pandas openai python-dotenv
  4. Un archivo .env en la raíz de su proyecto para almacenar su clave API de forma segura: OPENAI_API_KEY=»su_clave_api_aqui»

Caso Práctico 1: Limpieza y Estandarización de Texto con la API de ChatGPT

Tomemos un ejemplo concreto: tiene una columna «Ciudad» en su archivo de encuesta con datos desastrosos. Esta situación me ocurrió al procesar cuestionarios de estudiantes en el marco de un proyecto pedagógico. Así es como uso Python y ChatGPT para la limpieza de datos para datos textuales:

import pandas as pd
import openai
import os
from dotenv import load_dotenv
import time

# Carga de la clave API
load_dotenv()
openai.api_key = os.getenv("OPENAI_API_KEY")

# Ejemplo de datos sucios
data = {'ciudad': ['Madrid', 'madrid', '28 - Madrid', 'Barcelona', 'barcelona 08',
                   'Valencia', 'valencia', 'Sevilla', 'Sev', ' Bilbao ']}

df = pd.DataFrame(data)
print("Datos brutos:")
print(df)

def limpiar_ciudad_con_ia(ciudad):
    """
    Función para limpiar y estandarizar un nombre de ciudad mediante la API de ChatGPT.
    """
        try:
        prompt = f"Estandariza el nombre de la siguiente ciudad española en un formato
        limpio y único (ej: Madrid, Valencia, etc.). Si la cadena '{ciudad}' no corresponde
        a ninguna ciudad española conocida, responde 'Desconocido'.
        Responde únicamente con el nombre estandarizado."
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[
                {"role": "system", "content": "Eres un asistente experto en limpieza de datos geográficos."},
                {"role": "user", "content": prompt}
            ],
            temperature=0,
            max_tokens=20
        )
        ciudad_limpia = response.choices[0].message.content.strip()
        return ciudad_limpia
    except Exception as e:
        print(f"Error con la ciudad '{ciudad}': {e}")
        return "Error"

print("\nLimpieza en curso...")
df['ciudad_limpia'] = df['ciudad'].apply(lambda x: limpiar_ciudad_con_ia(x))
time.sleep(1)

print("\nResultado tras la limpieza con Python y ChatGPT para la limpieza de datos:")
print(df[['ciudad', 'ciudad_limpia']])

Salida esperada:

Datos brutos:
        ciudad
0       Madrid
1       madrid
2  28 - Madrid
3    Barcelona
4 barcelona 08
5     Valencia
6     valencia
7      Sevilla
8          Sev
9       Bilbao

Resultado tras la limpieza:
        ciudad  ciudad_limpia
0       Madrid         Madrid
1       madrid         Madrid
2  28 - Madrid         Madrid
3    Barcelona      Barcelona
4 barcelona 08      Barcelona
5     Valencia       Valencia
6     valencia       Valencia
7      Sevilla        Sevilla
8          Sev        Sevilla
9       Bilbao         Bilbao

Este primer ejemplo ilustra perfectamente la fuerza de usar Python y ChatGPT para la limpieza de datos. En unas pocas líneas de código, hemos resuelto un problema que habría requerido horas de trabajo manual o la escritura de reglas complejas y frágiles.

Caso Práctico 2: Detección y Corrección de Valores Atípicos

Los datos numéricos también pueden contener anomalías. En mis clases de procesamiento de señales y sistemas de control, siempre hago hincapié en este punto con mis estudiantes: un valor atípico no detectado puede sesgar un modelo entero. Por ejemplo, una encuesta que pide la edad de los encuestados puede contener valores como «200», «-5» o «veinticinco». Una vez más, Python y ChatGPT para la limpieza de datos puede ayudarnos:

# Nuevos datos con edades problemáticas
data_edad = {'respuesta_edad': ['25', 'treinta', '30', 'veinticinco', '-4', '99', '150', '42', 'cinco', '0']}
df_edad = pd.DataFrame(data_edad)

def corregir_edad_con_ia(edad_str):
    """
    Corrige y estandariza un valor de edad.
    """
    try:
        prompt = f"Convierte la siguiente cadena en una edad numérica válida (entre 0 y 120 años).
        Si el valor es aberrante o no puede convertirse, responde 'NaN'.
        Responde únicamente con el número o 'NaN'. Cadena: '{edad_str}'"
        response = openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
            temperature=0,
            max_tokens=10
        )
        edad_corregida = response.choices[0].message.content.strip()
        try:
            return float(edad_corregida) if edad_corregida != 'NaN' else None
        except ValueError:
            return None
    except Exception as e:
        print(f"Error: {e}")
        return None

print("Edades brutas:")
print(df_edad)
print("\nCorrección de edades...")
df_edad['edad_corregida'] = df_edad['respuesta_edad'].apply(corregir_edad_con_ia)
time.sleep(1)
print("\nResultado tras la corrección con Python y ChatGPT para la limpieza de datos:")
print(df_edad)

Este script muestra cómo Python y ChatGPT para la limpieza de datos puede interpretar texto («treinta») y convertirlo en número, a la vez que identifica y neutraliza los valores imposibles (como -4 o 150). Es exactamente el tipo de preprocesamiento que realizo antes de cualquier análisis de datos en mis proyectos de investigación.

Automatización del Pipeline de Limpieza

El siguiente paso, una vez que domina los fundamentos de Python y ChatGPT para la limpieza de datos, es automatizar todo el proceso. En lugar de llamar a la API para cada celda individualmente (lo que es lento y costoso), se puede optimizar. En mi práctica, utilizo sistemáticamente esta estrategia cuando trabajo con grandes conjuntos de datos experimentales.

Una estrategia eficaz consiste en:

  • Identificar los valores únicos en una columna textual problemática.
  • Limpiar esos valores únicos con ChatGPT.
  • Crear un diccionario de correspondencia (mapping).
  • Aplicar este mapping a toda la columna con Pandas, lo que es casi instantáneo.
# Estrategia optimizada para grandes volúmenes
valores_unicos = df['ciudad'].unique()
print(f"Valores únicos encontrados: {valores_unicos}")

mapping_dict = {}
for v in valores_unicos:
    v_limpio = limpiar_ciudad_con_ia(v)
    mapping_dict[v] = v_limpio
    time.sleep(0.5)  # Pausa reducida porque solo procesamos los únicos

print(f"Diccionario de mapping creado: {mapping_dict}")

# Aplicación del mapping en una fracción de segundo
df['ciudad_optimizada'] = df['ciudad'].map(mapping_dict)

Este método es fundamentalmente el que uso en producción y el que recomiendo a mis estudiantes de ingeniería. Demuestra una comprensión avanzada de los problemas de rendimiento cuando se usa Python y ChatGPT para la limpieza de datos.

Conclusión: Hacia un Análisis de Datos más Inteligente

Usar Python y ChatGPT para la limpieza de datos no es solo un truco de desarrollador. Es un cambio de paradigma. Le libera de las tareas repetitivas y de escaso valor añadido para que pueda concentrarse en lo que realmente importa: la interpretación de los resultados y la toma de decisiones.

Como docente-investigador, mido concretamente esta ganancia a diario. El tiempo antes dedicado a la limpieza manual de datos experimentales ahora se reinvierte en el análisis de los comportamientos dinámicos de los sistemas que estudio, o en la supervisión de mis doctorandos. Imagine el tiempo ganado en su próximo proyecto: en lugar de pasar dos días limpiando manualmente 10 000 respuestas, ejecuta un script en cuestión de minutos. Las horas liberadas pueden reinvertirse en un análisis más profundo o en la creación de visualizaciones impactantes.

Empiece con pequeños conjuntos de datos, ajuste sus prompts, y verá rápidamente la potencia de este enfoque. El futuro del análisis de datos no consiste en elegir entre el hombre y la máquina, sino en aprovechar lo mejor de ambos. Y la combinación de Python y ChatGPT para la limpieza de datos es la ilustración perfecta de ello.

Redactado por: Assaad Jmal – PhD, Docente-investigador en Automática y Sistemas

Assaad Jmal
Últimas entradas de Assaad Jmal (ver todo)

Related Posts

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Suscribirse
Suscribirse