Spark: Manejo de archivos de texto

En las últimas semanas estuve jugando un poco con las transformaciones dentro de Spark con algunos ejemplos que encontraba por la red o datos inventados que se me iban ocurriendo en el momento. Recientemente leí que, Spark tiene un método con el que se puede guardar en un archivo el resultado de las transformaciones que se aplicaron sobre un RDD. Esto me pareció muy interesante por lo que me puse a averiguar un poco más sobre el manejo de archivos de texto en Spark.

En esta entrada voy a explicar los siguientes puntos:

• Cargar un archivo plano
• Guardar un archivo plano
• Guardar un archivo plano usando la transformación coalesce()
• Comprimir archivos planos usando el método saveAsTextFile()
• Cargar múltiples archivos planos usando el método wholaTextFiles()

Pueden encontrar el artículo completo aquí.

¿Buscas soluciones para tus datos? Cuéntanos cómo podemos ayudarte aquí, o conversemos por info@kaitsconsulting.com. Da el primer paso para conectar con tu información de una manera eficaz y te ayudaremos a lograr resultados asombrosos.

Sobre el autor:

Jesus López Mesía es Ingeniero de sistemas y consultor BI en Kaits Consulting Group. Puedes encontrar más artículos suyos en la revista MEDIUM, buscándolo como @susejzepol.