Tất cả chúng ta đều rất quen thuộc với JSON và CSV, nhưng bạn đã bao giờ gặp trường hợp bộ nhớ bị quá tải khi xử lý tập tin JSON dung lượng vài GB? Hoặc cảm thấy việc ký tự thoát (escape) vô cùng phiền phức khi ghi dữ liệu lồng nhau nhiều tầng bằng CSV?

Trong lĩnh vực huấn luyện AI hiện đại và xử lý dữ liệu khổng lồ, có một định dạng dữ liệu đang thầm lặng trở thành chuẩn mực phổ biến, đó chính là JSONL (JSON Lines).

Giá trị cốt lõi của JSONL: Giải quyết hai điểm đau lớn của JSON truyền thống (không hỗ trợ đọc luồng) và CSV (không hỗ trợ cấu trúc lồng nhau)!

JSONL Là Gì? Hiểu Rõ Định Nghĩa “Mỗi Dòng Một JSON” Trong Một Phút

Tên đầy đủ của JSONL là JSON Lines (đôi khi còn được gọi là NDJSON, tức Newline Delimited JSON). Khái niệm cốt lõi của nó vô cùng thẳng thắn: mỗi dòng là một đối tượng JSON độc lập và hoàn chỉnh.

Trong tập tin JSON truyền thống, lớp ngoài cùng thường có một dấu ngoặc vuông lớn [] bao bọc toàn bộ dữ liệu, và các đối tượng phải cách nhau bằng dấu phẩy ,. Trong khi đó, JSONL loại bỏ hoàn toàn dấu ngoặc vuông lớp ngoài cùng và dấu phẩy, thay bằng ký tự xuống dòng \n để phân tách từng bản ghi.

So Sánh 3 Định Dạng Dữ Liệu Phổ Biến

Để giúp bạn hiểu rõ hơn, chúng ta hãy đặt JSONL, JSON và CSV lên bàn cân để so sánh:

Tại Sao Huấn Luyện Mô Hình AI Và Big Data ETL Lại Ưa Chuộng JSONL?

Những năm gần đây, cùng với sự trỗi dậy của các Mô hình Ngôn ngữ Lớn (LLM) như OpenAI, Anthropic, JSONL đã vươn lên thành lựa chọn hàng đầu cho tinh chỉnh (Fine-tuning) và chuẩn bị tập dữ liệu. Đằng sau điều này là hai ưu điểm then chốt:

1. Mức Tiêu Thụ Bộ Nhớ Cực Thấp (Hỗ Trợ Xử Lý Luồng Streaming)

Khi cơ sở dữ liệu huấn luyện của bạn lên đến 50 GB, nếu là tập tin JSON truyền thống, chương trình buộc phải đọc toàn bộ 50 GB vào bộ nhớ để phân tích cây cú pháp, điều này sẽ ngay lập tức gây ra lỗi tràn bộ nhớ (OOM).

Ngược lại, JSONL hỗ trợ Đọc theo từng dòng (Line-by-line Streaming). Chương trình chỉ cần đọc một dòng tại một thời điểm (có thể chỉ vài KB), giải phóng bộ nhớ sau khi xử lý xong rồi mới đọc dòng tiếp theo.

  flowchart TD
    subgraph TraditionalJSON["Phương thức đọc JSON truyền thống"]
        A1["Đọc tập tin JSON 50 GB"] --> A2["Phân tích cây cú pháp toàn bộ tập tin"]
        A2 --> A3["Tải 50 GB vào bộ nhớ cùng lúc"]
        A3 -->|Rủi ro cao| A4["Tràn bộ nhớ gây sụp đổ (OOM)"]
    end

    subgraph JSONLStreaming["Phương thức đọc luồng JSONL"]
        B1["Mở tập tin JSONL 50 GB"] --> B2["Đọc dòng 1 (5 KB)"]
        B2 --> B3["Phân tích và xử lý bản ghi đơn"]
        B3 --> B4["Giải phóng bộ nhớ và đọc dòng tiếp theo"]
        B4 --> B5["Hoàn thành xử lý dữ liệu lớn ổn định và hiệu quả"]
    end

Đối với dữ liệu khổng lồ, JSONL giảm mức tiêu thụ bộ nhớ từ O(N) xuống còn O(1)!

2. Hỗ Trợ Ghi Tiếp Không Khóa (Append-Only Logging)

Trong các hệ thống phân tán hoặc kịch bản thu thập nhật ký log, nếu muốn thêm dữ liệu vào cuối tập tin:

• JSON truyền thống: Phải đọc toàn bộ tập tin, xóa dấu ] ở cuối, thêm dấu phẩy ,, ghi dữ liệu mới rồi thêm lại dấu ].
• JSONL: Chỉ cần ghi tiếp (append) trực tiếp chuỗi ký tự cùng ký tự xuống dòng \n vào cuối tập tin là hoàn tất.

3. Xử Lý Song Song Dữ Liệu Lớn (Parallel Processing)

Vì mỗi dòng trong JSONL là một đối tượng JSON độc lập, tập tin lớn có thể được chia nhỏ tại bất kỳ ký tự xuống dòng nào thành nhiều khối nhỏ, gửi đến nhiều CPU Core hoặc nút tính toán để xử lý song song mà không can thiệp lẫn nhau.

5 Quy Tắc Định Dạng Nghiêm Ngặt Về JSONL Mà Lập Trình Viên Phải Biết

Mặc dù JSONL cực kỳ linh hoạt, nhưng để đảm bảo trình phân tích có thể đọc mượt mà, quy chuẩn chính thức (jsonlines.org) đã đưa ra 5 giới hạn định dạng nghiêm ngặt:

Giải Thích Chi Tiết Quy Chuẩn

Phân Tích Thực Chiến: Viết Mã Đọc JSONL Phòng Thủ Cao Như Thế Nào?

Trong thực tế phát triển, do JSONL có đặc tính Không có Schema cố định (Schema-less), Key ở các dòng khác nhau có thể hoàn toàn khác nhau. Khi viết mã phân tích, bạn nên tuân thủ các nguyên tắc phòng thủ sau:

Ví Dụ Mã Phòng Thủ (Python)

import json

def process_jsonl_file(file_path):
    with open(file_path, "r", encoding="utf-8") as f:
        for line_num, line in enumerate(f, 1):
            # 1. Tự động bỏ qua dòng trống (tránh lỗi phân tích do dòng trống)
            line = line.strip()
            if not line:
                continue
            
            try:
                data = json.loads(line)
                
                # 2. Truy xuất giá trị phòng thủ: dùng .get() để tránh KeyError
                user_id = data.get("id")
                user_name = data.get("name", "Unknown")
                
                # 3. Nhận diện kiểu trường dữ liệu (xử lý dữ liệu đa hình)
                doc_type = data.get("type", "default")
                
                print(f"Line {line_num}: [{doc_type}] {user_id} - {user_name}")
                
            except json.JSONDecodeError as e:
                print(f"Error parsing line {line_num}: {e}")

# Thực thi đọc
process_jsonl_file("dataset.jsonl")

Mẹo phòng thủ then chốt: Sử dụng strip() để xóa khoảng trắng đầu cuối, và dùng .get() thay vì truy cập trực tiếp key sẽ giúp tránh hơn 90% sự cố sụp đổ khi chạy!

Hướng Dẫn Lựa Chọn Kịch Bản Cho JSONL, JSON Và CSV

Sau khi tìm hiểu các tính năng mạnh mẽ của JSONL, liệu chúng ta có nên chuyển toàn bộ dữ liệu sang JSONL không? Câu trả lời là: Tùy thuộc vào kịch bản sử dụng!

Chỉ cần nắm vững đặc tính của từng định dạng và chọn đúng công cụ trong đúng kịch bản, hiệu suất xử lý dữ liệu của bạn sẽ được nâng cao đáng kể!

Reference

• JSON Lines Official Specification
• JSON Lines Examples