Định Dạng JSONL Là Gì? JSONL Khác Gì Với JSON Và CSV? Tại Sao Fine-Tuning Mô Hình AI Bắt Buộc Phải Dùng JSONL!

Sat, 01 Aug 2026 14:05:42 +0800

Tất cả chúng ta đều rất quen thuộc với JSON và CSV, nhưng bạn đã bao giờ gặp trường hợp bộ nhớ bị quá tải khi xử lý tập tin JSON dung lượng vài GB? Hoặc cảm thấy việc ký tự thoát (escape) vô cùng phiền phức khi ghi dữ liệu lồng nhau nhiều tầng bằng CSV?

Trong lĩnh vực huấn luyện AI hiện đại và xử lý dữ liệu khổng lồ, có một định dạng dữ liệu đang thầm lặng trở thành chuẩn mực phổ biến, đó chính là JSONL (JSON Lines).

Giá trị cốt lõi của JSONL: Giải quyết hai điểm đau lớn của JSON truyền thống (không hỗ trợ đọc luồng) và CSV (không hỗ trợ cấu trúc lồng nhau)!

JSONL Là Gì? Hiểu Rõ Định Nghĩa “Mỗi Dòng Một JSON” Trong Một Phút

Tên đầy đủ của JSONL là JSON Lines (đôi khi còn được gọi là NDJSON, tức Newline Delimited JSON). Khái niệm cốt lõi của nó vô cùng thẳng thắn: mỗi dòng là một đối tượng JSON độc lập và hoàn chỉnh.

Trong tập tin JSON truyền thống, lớp ngoài cùng thường có một dấu ngoặc vuông lớn [] bao bọc toàn bộ dữ liệu, và các đối tượng phải cách nhau bằng dấu phẩy ,. Trong khi đó, JSONL loại bỏ hoàn toàn dấu ngoặc vuông lớp ngoài cùng và dấu phẩy, thay bằng ký tự xuống dòng \n để phân tách từng bản ghi.

So Sánh 3 Định Dạng Dữ Liệu Phổ Biến

Để giúp bạn hiểu rõ hơn, chúng ta hãy đặt JSONL, JSON và CSV lên bàn cân để so sánh:

Định dạng dữ liệu	Cấu trúc bố cục	Hỗ trợ dữ liệu lồng nhau	Đọc ghi dạng luồng (Streaming)	Kịch bản phù hợp
JSON	Cấu trúc cây đơn phân cấp, cần tải toàn bộ một lúc	Hỗ trợ nguyên bản	Khó khăn (cần tải toàn bộ tập tin)	Truyền tải `Web API`, tập tin cấu hình
CSV	Bảng phẳng 2D, phân tách cột bằng dấu phẩy	Khó khăn (cần mã hóa hoặc dùng ký tự thoát)	Hỗ trợ nguyên bản	Báo cáo Excel, dữ liệu phẳng
JSONL	Mỗi dòng một JSON độc lập, phân tách bằng xuống dòng	Hỗ trợ nguyên bản	Cực tốt (đọc và ghi tiếp từng dòng)	Tập dữ liệu huấn luyện AI, ghi `Log` khổng lồ

Tại Sao Huấn Luyện Mô Hình AI Và Big Data ETL Lại Ưa Chuộng JSONL?

Những năm gần đây, cùng với sự trỗi dậy của các Mô hình Ngôn ngữ Lớn (LLM) như OpenAI, Anthropic, JSONL đã vươn lên thành lựa chọn hàng đầu cho tinh chỉnh (Fine-tuning) và chuẩn bị tập dữ liệu. Đằng sau điều này là hai ưu điểm then chốt:

1. Mức Tiêu Thụ Bộ Nhớ Cực Thấp (Hỗ Trợ Xử Lý Luồng Streaming)

Khi cơ sở dữ liệu huấn luyện của bạn lên đến 50 GB, nếu là tập tin JSON truyền thống, chương trình buộc phải đọc toàn bộ 50 GB vào bộ nhớ để phân tích cây cú pháp, điều này sẽ ngay lập tức gây ra lỗi tràn bộ nhớ (OOM).

Ngược lại, JSONL hỗ trợ Đọc theo từng dòng (Line-by-line Streaming). Chương trình chỉ cần đọc một dòng tại một thời điểm (có thể chỉ vài KB), giải phóng bộ nhớ sau khi xử lý xong rồi mới đọc dòng tiếp theo.

  flowchart TD
    subgraph TraditionalJSON["Phương thức đọc JSON truyền thống"]
        A1["Đọc tập tin JSON 50 GB"] --> A2["Phân tích cây cú pháp toàn bộ tập tin"]
        A2 --> A3["Tải 50 GB vào bộ nhớ cùng lúc"]
        A3 -->|Rủi ro cao| A4["Tràn bộ nhớ gây sụp đổ (OOM)"]
    end

    subgraph JSONLStreaming["Phương thức đọc luồng JSONL"]
        B1["Mở tập tin JSONL 50 GB"] --> B2["Đọc dòng 1 (5 KB)"]
        B2 --> B3["Phân tích và xử lý bản ghi đơn"]
        B3 --> B4["Giải phóng bộ nhớ và đọc dòng tiếp theo"]
        B4 --> B5["Hoàn thành xử lý dữ liệu lớn ổn định và hiệu quả"]
    end

Đối với dữ liệu khổng lồ, JSONL giảm mức tiêu thụ bộ nhớ từ O(N) xuống còn O(1)!

2. Hỗ Trợ Ghi Tiếp Không Khóa (Append-Only Logging)

Trong các hệ thống phân tán hoặc kịch bản thu thập nhật ký log, nếu muốn thêm dữ liệu vào cuối tập tin:

JSON truyền thống: Phải đọc toàn bộ tập tin, xóa dấu ] ở cuối, thêm dấu phẩy ,, ghi dữ liệu mới rồi thêm lại dấu ].
JSONL: Chỉ cần ghi tiếp (append) trực tiếp chuỗi ký tự cùng ký tự xuống dòng \n vào cuối tập tin là hoàn tất.

3. Xử Lý Song Song Dữ Liệu Lớn (Parallel Processing)

Vì mỗi dòng trong JSONL là một đối tượng JSON độc lập, tập tin lớn có thể được chia nhỏ tại bất kỳ ký tự xuống dòng nào thành nhiều khối nhỏ, gửi đến nhiều CPU Core hoặc nút tính toán để xử lý song song mà không can thiệp lẫn nhau.

5 Quy Tắc Định Dạng Nghiêm Ngặt Về JSONL Mà Lập Trình Viên Phải Biết

Mặc dù JSONL cực kỳ linh hoạt, nhưng để đảm bảo trình phân tích có thể đọc mượt mà, quy chuẩn chính thức (jsonlines.org) đã đưa ra 5 giới hạn định dạng nghiêm ngặt:

Giải Thích Chi Tiết Quy Chuẩn

Số quy tắc	Mục quy tắc nghiêm ngặt	Giải thích và ví dụ đúng
Quy tắc 1	Mỗi dòng phải là JSON hợp lệ	Mỗi dòng khi lấy ra độc lập đều phải phân tích được bằng `JSON.parse()` chuẩn.
Quy tắc 2	Tuyệt đối không có xuống dòng chưa escape	Nếu trong chuỗi chứa ký tự xuống dòng, phải thoát bằng `\n`, cấm trình bày nhiều dòng.
Quy tắc 3	Cấm dùng ký hiệu ngoặc ngoài cùng	Tuyệt đối không có dấu ngoặc vuông `[]` lớp ngoài cùng, giữa các dòng không được thêm dấu phẩy `,`.
Quy tắc 4	Mã hóa UTF-8 không có BOM	Nghiêm ngặt sử dụng mã hóa `UTF-8` và không được chứa BOM header.
Quy tắc 5	Mặc định không chứa dòng trống	Mỗi dòng đều phải là dữ liệu hợp lệ, chỉ dòng cuối cùng của tập tin mới cho phép xuống dòng trống.

Phân Tích Thực Chiến: Viết Mã Đọc JSONL Phòng Thủ Cao Như Thế Nào?

Trong thực tế phát triển, do JSONL có đặc tính Không có Schema cố định (Schema-less), Key ở các dòng khác nhau có thể hoàn toàn khác nhau. Khi viết mã phân tích, bạn nên tuân thủ các nguyên tắc phòng thủ sau:

Ví Dụ Mã Phòng Thủ (Python)

import json

def process_jsonl_file(file_path):
    with open(file_path, "r", encoding="utf-8") as f:
        for line_num, line in enumerate(f, 1):
            # 1. Tự động bỏ qua dòng trống (tránh lỗi phân tích do dòng trống)
            line = line.strip()
            if not line:
                continue
            
            try:
                data = json.loads(line)
                
                # 2. Truy xuất giá trị phòng thủ: dùng .get() để tránh KeyError
                user_id = data.get("id")
                user_name = data.get("name", "Unknown")
                
                # 3. Nhận diện kiểu trường dữ liệu (xử lý dữ liệu đa hình)
                doc_type = data.get("type", "default")
                
                print(f"Line {line_num}: [{doc_type}] {user_id} - {user_name}")
                
            except json.JSONDecodeError as e:
                print(f"Error parsing line {line_num}: {e}")

# Thực thi đọc
process_jsonl_file("dataset.jsonl")

Mẹo phòng thủ then chốt: Sử dụng strip() để xóa khoảng trắng đầu cuối, và dùng .get() thay vì truy cập trực tiếp key sẽ giúp tránh hơn 90% sự cố sụp đổ khi chạy!

Hướng Dẫn Lựa Chọn Kịch Bản Cho JSONL, JSON Và CSV

Sau khi tìm hiểu các tính năng mạnh mẽ của JSONL, liệu chúng ta có nên chuyển toàn bộ dữ liệu sang JSONL không? Câu trả lời là: Tùy thuộc vào kịch bản sử dụng!

Nhu cầu kịch bản	Định dạng đề xuất	Giải thích lý do
Truyền tải API Frontend/Backend Web	JSON	Trình duyệt hỗ trợ nguyên bản cao, dung lượng dữ liệu mỗi lần truyền vừa phải.
Xuất dữ liệu cho nhân viên phi kỹ thuật/marketing	CSV	Có thể mở và xem trực tiếp bằng `Excel`.
Tinh chỉnh mô hình AI (Fine-tuning)	JSONL	Định dạng huấn luyện chính thức được chỉ định bởi API `OpenAI` / `Anthropic`.
Ghi Log khổng lồ của hệ thống	JSONL	Chi phí ghi thấp, hỗ trợ ghi tiếp vô hạn và theo dõi bộ nhớ cực thấp.
Đường ống ETL dữ liệu lớn	JSONL	Thuận tiện cho việc cắt chia phân tán và xử lý song song.

Chỉ cần nắm vững đặc tính của từng định dạng và chọn đúng công cụ trong đúng kịch bản, hiệu suất xử lý dữ liệu của bạn sẽ được nâng cao đáng kể!

Cấu Trúc Dữ Liệu on Dev TLDRLSS