fbpx

Spark: Manejo de archivos de texto

En las últimas semanas estuve jugando un poco con las transformaciones dentro de Spark con algunos ejemplos que encontraba por la red o datos inventados que se me iban ocurriendo en el momento. Recientemente leí que, Spark tiene un método con el que se puede guardar en un archivo el resultado de las transformaciones que se aplicaron sobre un RDD. Esto me pareció muy interesante por lo que me puse a averiguar un poco más sobre el manejo de archivos de texto en Spark.

En esta entrada voy a explicar los siguientes puntos:

  • Cargar un archivo plano
  • Guardar un archivo plano
  • Guardar un archivo plano usando la transformación coalesce()
  • Comprimir archivos planos usando el método saveAsTextFile()
  • Cargar múltiples archivos planos usando el método wholaTextFiles()

Pueden encontrar el artículo completo aquí.

Sobre el autor:

Jesus López Mesía es Ingeniero de sistemas y consultor BI en Kaits Consulting Group. Puedes encontrar más artículos suyos en la revista MEDIUM, buscándolo como @susejzepol.

 
 

Potencia tus habilidades
con nuestros cursos

Potencia tu presencia profesional gestionando proyectos reales, enseñamos desde la práctica.

Comunícate con nosotros