Nous sommes tous très familiers avec JSON et CSV, mais avez-vous déjà vu votre mémoire exploser jusqu’au crash lors du traitement d’un fichier JSON volumineux de plusieurs Go ? Ou trouvé l’échappement de caractères extrêmement pénible lors de l’enregistrement de données imbriquées à plusieurs niveaux en CSV ?

Dans le domaine de l’entraînement de l’IA moderne et du traitement de données massives, un format de données est en train de devenir silencieusement la norme incontournable : JSONL (JSON Lines).

La valeur fondamentale de JSONL : Résoudre les deux problèmes majeurs du JSON traditionnel (impossibilité de lecture en streaming) et du CSV (absence de prise en charge des structures imbriquées) !

Qu’est-ce que JSONL ? Comprendre la Définition Clé de “Un JSON par Ligne” en Une Minute

Le nom complet de JSONL est JSON Lines (parfois aussi appelé NDJSON, pour Newline Delimited JSON). Son concept fondamental est très simple : chaque ligne est un objet JSON indépendant et complet.

Dans les fichiers JSON traditionnels, le niveau le plus externe comporte généralement de grands crochets [] enveloppant toutes les données, et les objets doivent être séparés par des virgules ,. En revanche, JSONL élimine complètement les crochets et virgules externes, utilisant le caractère de saut de ligne \n pour séparer chaque enregistrement.

Comparaison de 3 Formats de Données Courants

Pour rendre cela plus intuitif, comparons JSONL, JSON et CSV ensemble :

Pourquoi l’Entraînement de Modèles d’IA et le Big Data ETL Préfèrent-ils JSONL ?

Ces dernières années, avec l’essor des Grands Modèles de Langage (LLM) comme OpenAI et Anthropic, JSONL s’est imposé comme le format privilégié pour le Fine-tuning et la préparation des jeux de données. Deux avantages clés expliquent cela :

1. Consommation de Mémoire Extrêmement Faible (Supporte le Traitement en Streaming)

Lorsque votre base de données d’entraînement atteint 50 Go, s’il s’agissait d’un fichier JSON traditionnel, le programme devrait lire la totalité des 50 Go en mémoire pour analyser l’arbre syntaxique, ce qui provoquerait immédiatement une erreur de mémoire saturée (OOM).

En revanche, JSONL prend en charge la Lecture en Streaming Ligne par Ligne (Line-by-line Streaming). Le programme n’a besoin de lire qu’une seule ligne à la fois (souvent quelques Ko seulement), de libérer la mémoire après traitement, puis de lire la ligne suivante.

  flowchart TD
    subgraph TraditionalJSON["Méthode de Lecture JSON Traditionnelle"]
        A1["Lire fichier JSON de 50 Go"] --> A2["Analyser l'arbre syntaxique complet"]
        A2 --> A3["Charger 50 Go en mémoire d'un coup"]
        A3 -->|Haut Risque| A4["Crash par Débordement de Mémoire (OOM)"]
    end

    subgraph JSONLStreaming["Méthode de Lecture en Streaming JSONL"]
        B1["Ouvrir fichier JSONL de 50 Go"] --> B2["Lire ligne 1 (5 Ko)"]
        B2 --> B3["Analyser et traiter le registre unique"]
        B3 --> B4["Libérer la mémoire et lire la ligne suivante"]
        B4 --> B5["Terminer le traitement de données massives avec stabilité et efficacité"]
    end

Pour les données massives, JSONL réduit la consommation de mémoire de O(N) à O(1) !

2. Prise en Charge de l’Ajout Sans Verrouillage (Append-Only Logging)

Dans les systèmes distribués ou les scénarios de collecte de logs, si vous souhaitez ajouter des données à la fin d’un fichier :

• JSON traditionnel : Doit lire tout le fichier, supprimer le ] final, ajouter une virgule ,, écrire les nouvelles données puis réinsérer ].
• JSONL : Il suffit d’ajouter (append) directement la chaîne avec un saut de ligne \n à la fin du fichier pour terminer l’écriture.

3. Traitement Parallèle des Big Data (Parallel Processing)

Comme chaque ligne de JSONL est un objet JSON indépendant, les grands fichiers peuvent être découpés à n’importe quel saut de ligne en blocs plus petits et envoyés à plusieurs cœurs CPU ou nœuds de calcul pour un traitement parallèle sans interférence mutuelle.

5 Règles de Formatage Strictes sur JSONL Que Tout Développeur Doit Connaître

Bien que JSONL soit extrêmement flexible, pour garantir que les analyseurs puissent le lire sans problème, la spécification officielle (jsonlines.org) établit 5 restrictions de format strictes :

Description Détaillée de la Spécification

Analyse Pratique : Comment Écrire un Code de Lecture JSONL Hautement Défensif ?

En développement réel, comme JSONL ne possède pas de schéma fixe (Schema-less), les clés (Keys) sur différentes lignes peuvent être totalement différentes. Lors de l’écriture du code d’analyse, il est recommandé de suivre ces principes défensifs :

Exemple de Code Défensif (Python)

import json

def process_jsonl_file(file_path):
    with open(file_path, "r", encoding="utf-8") as f:
        for line_num, line in enumerate(f, 1):
            # 1. Ignorer automatiquement les lignes vides (éviter les échecs d'analyse)
            line = line.strip()
            if not line:
                continue
            
            try:
                data = json.loads(line)
                
                # 2. Récupération défensive de valeur : utiliser .get() pour éviter KeyError
                user_id = data.get("id")
                user_name = data.get("name", "Unknown")
                
                # 3. Identification du type de champ (traitement de données polymorphes)
                doc_type = data.get("type", "default")
                
                print(f"Line {line_num}: [{doc_type}] {user_id} - {user_name}")
                
            except json.JSONDecodeError as e:
                print(f"Error parsing line {line_num}: {e}")

# Exécuter la lecture
process_jsonl_file("dataset.jsonl")

Conseil défensif clé : Utiliser strip() pour nettoyer les espaces au début et à la fin, et utiliser .get() au lieu d’un accès direct aux clés permettra d’éviter plus de 90 % des plantages à l’exécution !

Guide de Sélection de Scénarios pour JSONL, JSON et CSV

Après avoir découvert les fonctionnalités puissantes de JSONL, devrions-nous convertir toutes nos données en JSONL ? La réponse est : cela dépend du scénario d’utilisation !

Tant que vous maîtrisez les caractéristiques de chaque format et choisissez le bon outil pour le bon scénario, les performances de votre traitement de données s’amélioreront considérablement !

Reference

• JSON Lines Official Specification
• JSON Lines Examples