Konvertering af PySpark DataFrame til JSON

Emne for indhold:

• PySpark DataFrame til JSON Brug af To_json() med ToPandas()
• PySpark DataFrame til JSON ved hjælp af ToJSON()
• PySpark DataFrame til JSON ved hjælp af Write.json()

Lad os overveje en simpel PySpark DataFrame i alle eksemplerne og konvertere den til JSON ved hjælp af de nævnte funktioner.

Påkrævet modul:

Installer PySpark-biblioteket i dit miljø, hvis det endnu ikke er installeret. Du kan henvise til følgende kommando for at installere det:

PySpark DataFrame til JSON Brug af To_json() med ToPandas()

Metoden to_json() er tilgængelig i Pandas-modulet, som konverterer Pandas DataFrame til JSON. Vi kan bruge denne metode, hvis vi konverterer vores PySpark DataFrame til Pandas DataFrame. For at konvertere PySpark DataFrame til Pandas DataFrame, bruges toPandas() metoden. Lad os se syntaksen for to_json() sammen med dens parametre.

Syntaks:

1. Orient bruges til at vise den konverterede JSON som det ønskede format. Det kræver 'optegnelser', 'tabel', 'værdier', 'kolonner', 'indeks', 'opdel'.
2. Indeks bruges til at inkludere/fjerne indekset fra den konverterede JSON-streng. Hvis den er indstillet til 'True', vises indeksene. Ellers vil indeksene ikke blive vist, hvis orienteringen er 'delt' eller 'tabel'.

Eksempel 1: Orienter som 'Records'

Opret en 'skills_df' PySpark DataFrame med 3 rækker og 4 kolonner. Konverter denne DataFrame til JSON ved at angive orient-parameteren som 'records'.

Produktion:

Vi kan se, at PySpark DataFrame er konverteret til JSON-arrayet med en ordbog med værdier. Her repræsenterer nøglerne kolonnenavnet, og værdien repræsenterer række-/celleværdien i PySpark DataFrame.

Eksempel 2: Orienter som 'Split'

JSON-formatet, der returneres af 'split'-orienteringen, inkluderer kolonnenavne, som har en liste over kolonner, liste over indeks og liste over data. Følgende er formatet for den 'delte' orientering.

Produktion:

Eksempel 3: Orienter som 'indeks'

Her trækkes hver række fra PySpark DataFrame tilbage i form af en ordbog med nøglen som kolonnenavn. For hver ordbog er indekspositionen angivet som en nøgle.

Produktion:

Eksempel 4: Orienter som 'kolonner'

Kolonner er nøglen til hver post. Hver kolonne indeholder en ordbog, der tager kolonneværdierne med indeksnumre.

Produktion:

Eksempel 5: Orienter som 'Værdier'

Hvis du kun har brug for værdierne i JSON, kan du gå efter 'værdier'-orienten. Den viser hver række på en liste. Til sidst er alle listerne gemt i en liste. Denne JSON er af typen indlejret liste.

Produktion:

Eksempel 6: Orienter som 'Tabel'

'Tabel'-orienteringen returnerer den JSON, der inkluderer skemaet med feltnavne sammen med kolonnedatatyperne, indekset som en primær nøgle og Pandas-versionen. Kolonnenavnene med værdier vises som 'data'.

Produktion:

Eksempel 7: Med indeksparameter

Først sender vi indeksparameteren ved at sætte den til 'True'. Du vil se for hver kolonneværdi, at indekspositionen returneres som en nøgle i en ordbog.

I det andet output returneres kun kolonnenavnene ('kolonner') og poster ('data') uden indekspositionerne, da indekset er sat til 'False'.

Produktion:

PySpark DataFrame til JSON ved hjælp af ToJSON()

Metoden toJSON() bruges til at konvertere PySpark DataFrame til et JSON-objekt. Grundlæggende returnerer den en JSON-streng, som er omgivet af en liste. Det ['{kolonne:værdi,...}',... ] er det format, der returneres af denne funktion. Her returneres hver række fra PySpark DataFrame som en ordbog med kolonnenavnet som nøglen.

Syntaks:

Det kan være muligt at videregive parametre som indeks, kolonneetiketter og datatype.

Eksempel:

Opret en 'skills_df' PySpark DataFrame med 5 rækker og 4 kolonner. Konverter denne DataFrame til JSON ved hjælp af toJSON() metoden.

Produktion:

Der er 5 rækker i PySpark DataFrame. Alle disse 5 rækker returneres som en ordbog over strenge, der er adskilt med komma.

PySpark DataFrame til JSON ved hjælp af Write.json()

Write.json()-metoden er tilgængelig i PySpark, som skriver/gemmer PySpark DataFrame til en JSON-fil. Det tager filnavnet/stien som en parameter. Grundlæggende returnerer det JSON i flere filer (partitionerede filer). For at flette dem alle sammen i en enkelt fil kan vi bruge coalesce() metoden.

Syntaks:

1. Tilføj tilstand – dataframe_object.write.mode(‘append’).json(‘file_name’)
2. Overskrivningstilstand – dataframe_object.write.mode('overskriv').json('filnavn')

Det kan være muligt at tilføje/overskrive den eksisterende JSON. Ved at bruge write.mode() kan vi tilføje data ved at sende 'append' eller overskrive de eksisterende JSON-data ved at overføre 'overwrite' til denne funktion.

Eksempel 1:

Opret en 'skills_df' PySpark DataFrame med 3 rækker og 4 kolonner. Skriv denne DataFrame til JSON.

JSON fil:

Vi kan se, at mappen skills_data indeholder de partitionerede JSON-data.

Lad os åbne JSON-filen. Vi kan se, at alle rækkerne fra PySpark DataFrame er konverteret til JSON.

Der er 5 rækker i PySpark DataFrame. Alle disse 5 rækker returneres som en ordbog over strenge, der er adskilt med komma.

Eksempel 2:

Opret en 'skills2_df' PySpark DataFrame med en række. Føj en række til den forrige JSON-fil ved at angive tilstanden som 'tilføj'.

JSON fil:

Vi kan se de partitionerede JSON-filer. Den første fil indeholder de første DataFrame-poster, og den anden fil indeholder den anden DataFrame-record.

Konklusion

Der er tre forskellige måder at konvertere PySpark DataFrame til JSON. Først diskuterede vi to_json()-metoden, som konverterer til JSON ved at konvertere PySpark DataFrame til Pandas DataFrame med forskellige eksempler ved at overveje forskellige parametre. Dernæst brugte vi toJSON() metoden. Til sidst lærte vi, hvordan man bruger funktionen write.json() til at skrive PySpark DataFrame til JSON. Tilføjelse og overskrivning er mulig med denne funktion.