De DataFrame de Pandas a ClickHouse en milisegundos sin bucles SQL.

En la séptima entrega de la serie técnica WClickHouse Open Source, se recomienda abandonar el uso de df.iterrows() para insertar datos en una base de datos analítica. En cambio, WClickHouse ofrece la función insert_dataframe() que carga DataFrames a una velocidad de red impresionante. Los problemas reales de ciencia de datos, como tardar 20 minutos en cargar datos utilizando df.iterrows(), se resuelven al enfrentar incompatibilidades de tipo entre float64/NaN de Pandas y Nullable de ClickHouse.

Los crashes en Jupyter Notebooks al exportar datasets experimentales grandes se evitan con esta implementación.

El código muestra cómo usar una DataFrame real de ETL o modelado, cargada con pandas. El script luego crea una instancia de WClickHouse y utiliza la función insert_dataframe() para insertar la DataFrame en una sola línea, gracias a su backend vectorizado. Este proceso de inserción sub-segundo permite cargar 100.000 filas de DataFrame en menos de 0,6 segundos.

Además, se asegura la alineación de tipos mapeando los dtypes de Pandas al esquema de ClickHouse de manera limpia. La función ha sido probada y verificada contra instancias reales de ClickHouse, con más del 95% de cobertura de tests.

WClickHouse está desarrollado para Python 3.9 hasta 3.14, utilizando Apache Arrow y Pydantic v2. El código está disponible en GitHub (https://github.com/wisrovi/wclickhouse) y se puede instalar a través de PyPI (https://pypi.org/project/wclickhouse).