Migliore registrazione e monitoraggio di Spark con Spark Listener

Blog

Ciao a tutti, una volta che ti senti a tuo agio con spark.Uno dei problemi affrontati con l'esecuzione dell'applicazione spark è il debug del suo errore.



Il modo più semplice per monitorare i lavori Spark è l'interfaccia utente Spark, tuttavia il problema con l'interfaccia utente Spark è che in caso di applicazione completata, è difficile capire il motivo esatto dell'errore.

E se dicessi che possiamo personalizzare l'applicazione spark e possiamo vedere gli attributi dei metadati spark dall'app al livello di attività per ogni riga che scriviamo nel codice spark che può rivelarsi molto utile durante il debug dell'applicazione semplicemente aggiungendo una riga in spark submit



my aol.com accedi

Interfaccia SparkListener:

È una delle interfacce API per sviluppatori fornite da spark che possiamo sfruttare estendendo l'interfaccia per una migliore comprensione della nostra applicazione. In questo tutorial per una migliore registrazione ho usato i metodi seguenti in modo da poter visualizzare cosa sta succedendo per ogni riga che scrivo con spark



  1. onJobStart — Cosa deve essere attivato all'inizio di un lavoro
  2. onJobEnd -Cosa deve essere attivato all'inizio di un lavoro
  3. onApplicationStart: cosa deve essere attivato all'avvio di un'app
  4. onApplicationEnd: cosa deve essere attivato quando un'app termina
  5. onStageSubmitted — viene inviato ciò che deve essere attivato sul palco
  6. onStageCompleted- Cosa deve essere attivato alla fine del palco

Come usare Spark Listener?

maiale latino traduttore javascript

Passaggio 1: possiamo utilizzare spark listener estendendo spark listener e sovrascrivendo l'implementazione predefinita come mostrato di seguito

#pyspark #monitoraggio-e-valutazione #spark

medium.com

Migliore registrazione e monitoraggio di Spark con Spark Listener

Questa è una delle mie storie nella serie Spark Deep Dive. E se dicessi che possiamo personalizzare l'applicazione spark e possiamo vedere gli attributi dei metadati spark dall'app al livello di attività per ogni riga che scriviamo nel codice spark che può venire molto utile durante il debug dell'applicazione semplicemente aggiungendo una riga in spark submit