PDF, ZIP and binary files traveling in Kafka with intact name.

Archivos PDF, ZIP y binarios pueden transmitirse en Kafka con su nombre original intacto. Este sistema, denominado WKafka, es un componente open source diseñado para facilitar el flujo de datos. WKafka admite nativamente el formato "file", lo que permite enviar archivos directamente sin necesidad de provisionar un bucket en la nube.

Uno de los problemas comunes en el procesamiento de datos es la pérdida de nombres de archivos y extensiones al convertir archivos a bytes. WKafka aborda este problema al permitir que los archivos se transmitan con su nombre y datos binarios intactos. La latencia es otra preocupación en la transferencia de datos en la nube, y WKafka ayuda a mitigar esta problemática al eliminar la espera por la propagación de objetos en el almacenamiento cloud.

La implementación de WKafka incluye un serializador nativo que empaqueta el nombre del archivo y los datos binarios en una sola unidad. Esto permite una operación sencilla con `msg.save_file()`, que guarda el archivo y preserva su nombre en un solo paso. Además, el streaming de datos sucede directamente por el broker, sin la necesidad de dependencias de almacenamiento intermedio, lo que resulta en una entrega inmediata y eficiente.

WKafka ha sido probado y verificado contra clusters de Apache Kafka reales, asegurando su fiabilidad y precisión. También es compatible con diferentes versiones de Python, desde 3.9 hasta 3.14, y cuenta con tipado estricto utilizando mypy. Para obtener más información, se puede visitar el repositorio de WKafka en GitHub (https://github.com/wisrovi/wkafka) o el proyecto en PyPI (https://pypi.org/project/wkafka).