Все мы хорошо знакомы с JSON и CSV, но приходилось ли вам сталкиваться с переполнением памяти и сбоем программы при обработке огромного файла JSON размером в несколько ГБ? Или находить экранирование символов крайне мучительным при записи многоуровневых вложенных данных в CSV?

В современной сфере обучения ИИ и обработки гигантских объемов данных один формат данных тихо становится основным стандартом — это JSONL (JSON Lines).

Ключевая ценность JSONL: Решение двух главных проблем традиционного JSON (невозможность потокового чтения) и CSV (отсутствие поддержки вложенных структур)!

Что такое JSONL? Поймите ключевое определение “Один JSON на строку” за 1 минуту

Полное название JSONL — JSON Lines (иногда его также называют NDJSON, то есть Newline Delimited JSON). Его основная концепция предельно проста: каждая строка представляет собой независимый и полный объект JSON.

В традиционных файлах JSON на самом внешнем уровне обычно находятся гигантские квадратные скобки [], обертывающие все данные, а объекты должны разделяться запятыми ,. В отличие от этого, JSONL полностью отказывается от внешних квадратных скобок и запятых, используя символ перевода строки \n для разделения записей.

Сравнение 3 популярных форматов данных

Чтобы сделать это более наглядным, давайте сравним JSONL, JSON и CSV вместе:

Почему обучение ИИ-моделей и ETL больших данных предпочитают JSONL?

В последние годы, с ростом популярных больших языковых моделей (LLM), таких как OpenAI и Anthropic, JSONL стал предпочтительным форматом для точной настройки (Fine-tuning) и подготовки датасетов. За этим стоят два ключевых преимущества:

1. Чрезвычайно низкое потребление памяти (поддержка потоковой обработки Streaming)

Когда ваша обучающая база данных достигает 50 ГБ, если бы это был традиционный файл JSON, программе пришлось бы прочитать все 50 ГБ в память для анализа синтаксического дерева, что мгновенно вызвало бы ошибку нехватки памяти (OOM).

В отличие от этого, JSONL поддерживает построчное потоковое чтение (Line-by-line Streaming). Программе нужно читать только одну строку за раз (часто всего несколько КБ), освобождать память после обработки, а затем читать следующую строку.

  flowchart TD
    subgraph TraditionalJSON["Традиционный способ чтения JSON"]
        A1["Чтение файла JSON 50 ГБ"] --> A2["Анализ синтаксического дерева всего файла"]
        A2 --> A3["Загрузка 50 ГБ в память одновременно"]
        A3 -->|Высокий риск| A4["Сбой из-за переполнения памяти (OOM)"]
    end

    subgraph JSONLStreaming["Потоковый способ чтения JSONL"]
        B1["Открытие файла JSONL 50 ГБ"] --> B2["Чтение строки 1 (5 КБ)"]
        B2 --> B3["Анализ и обработка одной записи"]
        B3 --> B4["Освобождение памяти и чтение следующей строки"]
        B4 --> B5["Стабильное и эффективное завершение обработки данных"]
    end

Для гигантских объемов данных JSONL сокращает потребление памяти с O(N) до O(1)!

2. Поддержка добавления без блокировок (Append-Only Logging)

В распределенных системах или сценариях сбора логов, если вы хотите добавить данные в конец файла:

• Традиционный JSON: должен прочитать весь файл, удалить закрывающую ] в конце, добавить запятую ,, записать новые данные и снова закрыть ].
• JSONL: просто добавляет (append) строку с символом переноса строки \n непосредственно в конец файла для завершения записи.

3. Параллельная обработка больших данных (Parallel Processing)

Поскольку каждая строка в JSONL является независимым объектом JSON, большие файлы можно разделять на любых символах переноса строки на более мелкие блоки и отправлять на несколько ядер ЦП или вычислительных узлов для параллельной обработки без взаимных помех.

5 строгих правил форматирования JSONL, которые должен знать каждый разработчик

Хотя JSONL чрезвычайно гибок, для обеспечения корректного чтения парсерами официальная спецификация (jsonlines.org) устанавливает 5 строгих ограничений:

Подробное описание спецификации

Практический анализ: Как написать высокозащищенный код чтения JSONL?

В реальной разработке, поскольку JSONL не имеет фиксированной схемы (Schema-less), ключи (Keys) в разных строках могут полностью отличаться. При написании кода парсинга рекомендуется придерживаться следующих защитных принципов:

Пример защитного кода (Python)

import json

def process_jsonl_file(file_path):
    with open(file_path, "r", encoding="utf-8") as f:
        for line_num, line in enumerate(f, 1):
            # 1. Автоматически пропускать пустые строки (предотвращение ошибок парсинга)
            line = line.strip()
            if not line:
                continue
            
            try:
                data = json.loads(line)
                
                # 2. Защитное извлечение значений: использовать .get() во избежание KeyError
                user_id = data.get("id")
                user_name = data.get("name", "Unknown")
                
                # 3. Определение типа поля (обработка полиморфных данных)
                doc_type = data.get("type", "default")
                
                print(f"Line {line_num}: [{doc_type}] {user_id} - {user_name}")
                
            except json.JSONDecodeError as e:
                print(f"Error parsing line {line_num}: {e}")

# Выполнить чтение
process_jsonl_file("dataset.jsonl")

Ключевой защитный совет: Использование strip() для удаления начальных и конечных пробелов и использование .get() вместо прямого доступа по ключу предотвратит более 90% сбоев во время выполнения!

Руководство по выбору формата между JSONL, JSON и CSV

Ознакомившись с мощными функциями JSONL, стоит ли переводить все данные в JSONL? Ответ: Все зависит от сценария использования!

Если вы освоите особенности каждого формата и выберете правильный инструмент для правильного сценария, производительность обработки данных значительно возрастет!

Reference

• JSON Lines Official Specification
• JSON Lines Examples