Wir alle sind mit JSON und CSV bestens vertraut, aber haben Sie schon einmal erlebt, dass Ihr Arbeitsspeicher beim Verarbeiten einer mehreren GB großen JSON-Datei abgestürzt ist? Oder fanden Sie das Escapen von Zeichen beim Aufzeichnen vielschichtiger verschachtelter Daten in CSV extrem mühsam?

Im Bereich des modernen KI-Trainings und der massiven Datenverarbeitung entwickelt sich ein Datenformat leise zum Hauptstandard: JSONL (JSON Lines).

Der Kernwert von JSONL: Es löst die zwei Hauptprobleme des traditionellen JSON (keine Streaming-Lesbarkeit) und von CSV (keine Unterstützung für verschachtelte Strukturen)!

Was ist JSONL? Die Kerndefinition “Ein JSON pro Zeile” in einer Minute verstehen

Der vollständige Name von JSONL lautet JSON Lines (manchmal auch als NDJSON bezeichnet, kurz für Newline Delimited JSON). Das Grundkonzept ist denkbar einfach: Jede Zeile ist ein unabhängiges und vollständiges JSON-Objekt.

In herkömmlichen JSON-Dateien befindet sich auf der äußersten Ebene meist eine riesige eckige Klammer [], die alle Daten umschließt, und die Objekte müssen durch Kommas , getrennt werden. JSONL verzichtet dagegen komplett auf die äußeren eckigen Klammern und Kommas und verwendet das Zeilenumbruchzeichen \n zur Trennung jedes Datensatzes.

Vergleich der 3 gängigen Datenformate

Um das Verständnis zu erleichtern, vergleichen wir JSONL, JSON und CSV direkt miteinander:

Warum bevorzugen KI-Modelltraining und Big-Data-ETL JSONL?

In den letzten Jahren ist JSONL mit dem Aufstieg großer Sprachmodelle (LLMs) wie OpenAI und Anthropic zum bevorzugten Format für Fine-Tuning und Datensatzvorbereitung geworden. Dahinter stecken zwei wesentliche Vorteile:

1. Extrem geringer Speicherverbrauch (Unterstützt Streaming-Verarbeitung)

Wenn Ihre Trainingsdatenbank 50 GB erreicht, müsste das Programm bei einer herkömmlichen JSON-Datei die gesamten 50 GB in den Speicher laden, um den Syntaxbaum zu analysieren, was sofort einen Out-Of-Memory-Fehler (OOM) auslöst.

JSONL unterstützt hingegen zeilenweises Streaming (Line-by-line Streaming). Das Programm muss jeweils nur eine Zeile (oft nur wenige KB) lesen, gibt den Speicher nach der Verarbeitung frei und liest dann die nächste Zeile.

  flowchart TD
    subgraph TraditionalJSON["Herkömmliche JSON-Lesemethode"]
        A1["50 GB JSON-Datei lesen"] --> A2["Gesamten Dateisyntaxbaum analysieren"]
        A2 --> A3["50 GB auf einmal in den Speicher laden"]
        A3 -->|Hohes Risiko| A4["Speicherüberlauf-Absturz (OOM)"]
    end

    subgraph JSONLStreaming["JSONL-Streaming-Lesemethode"]
        B1["50 GB JSONL-Datei öffnen"] --> B2["Zeile 1 (5 KB) lesen"]
        B2 --> B3["Einzeldatensatz analysieren und verarbeiten"]
        B3 --> B4["Speicher freigeben und nächste Zeile lesen"]
        B4 --> B5["Massive Datenverarbeitung stabil und effizient abschließen"]
    end

Für massive Daten reduziert JSONL den Speicherverbrauch von O(N) auf O(1)!

2. Unterstützt sperrfreies Anfügen (Append-Only Logging)

In verteilten Systemen oder Log-Erfassungsszenarien, wenn Sie Daten am Ende einer Datei hinzufügen möchten:

• Herkömmliches JSON: Muss die gesamte Datei lesen, das schließende ] entfernen, ein Komma , einfügen, neue Daten schreiben und das ] wieder anfügen.
• JSONL: Fügt die Zeichenkette mit einem Zeilenumbruch \n einfach direkt am Ende der Datei an (append), um den Schreibvorgang abzuschließen.

3. Parallele Verarbeitung von Big Data (Parallel Processing)

Da jede Zeile in JSONL ein unabhängiges JSON-Objekt ist, können große Dateien an jedem beliebigen Zeilenumbruch in kleinere Blöcke unterteilt und an mehrere CPU-Kerne oder Rechenknoten gesendet werden, um sie ohne gegenseitige Beeinträchtigung parallel zu verarbeiten.

5 strenge JSONL-Formatierungsregeln, die jeder Entwickler kennen muss

Obwohl JSONL äußerst flexibel ist, legt die offizielle Spezifikation (jsonlines.org) 5 strenge Formatbeschränkungen fest, um ein reibungsloses Einlesen durch Parser zu gewährleisten:

Detaillierte Beschreibung der Spezifikationen

Praktische Analyse: Wie schreibt man hochdefensiven JSONL-Lese-Code?

In der praktischen Entwicklung kann sich der Key verschiedener Zeilen vollständig unterscheiden, da JSONL die Eigenschaft Kein festes Schema (Schema-less) besitzt. Beim Schreiben von Analysecode wird empfohlen, folgende defensive Prinzipien zu beachten:

Beispiel für defensiven Code (Python)

import json

def process_jsonl_file(file_path):
    with open(file_path, "r", encoding="utf-8") as f:
        for line_num, line in enumerate(f, 1):
            # 1. Leerzeilen automatisch überspringen (Parsing-Fehler vermeiden)
            line = line.strip()
            if not line:
                continue
            
            try:
                data = json.loads(line)
                
                # 2. Defensiver Wertaufruf: .get() nutzen, um KeyError zu vermeiden
                user_id = data.get("id")
                user_name = data.get("name", "Unknown")
                
                # 3. Feldtyperkennung (polymorphe Datenverarbeitung)
                doc_type = data.get("type", "default")
                
                print(f"Line {line_num}: [{doc_type}] {user_id} - {user_name}")
                
            except json.JSONDecodeError as e:
                print(f"Error parsing line {line_num}: {e}")

# Lesen ausführen
process_jsonl_file("dataset.jsonl")

Wichtiger defensiver Tipp: Verwenden Sie strip(), um führende und nachstehende Leerzeichen zu entfernen, und nutzen Sie .get() anstelle des direkten Schlüsselzugriffs, um mehr als 90 % der Laufzeitabstürze zu vermeiden!

Leitfaden zur Szenarioauswahl für JSONL, JSON und CSV

Sollten wir nach dem Kennenlernen der leistungsstarken Funktionen von JSONL alle Daten in JSONL umwandeln? Die Antwort lautet: Es kommt auf das Szenario an!

Solange Sie die Eigenschaften jedes Formats beherrschen und das richtige Werkzeug für das richtige Szenario wählen, wird sich Ihre Datenverarbeitungsleistung erheblich verbessern!

Reference

• JSON Lines Official Specification
• JSON Lines Examples