Hugging Face đưa Nunchaku Lite vào Diffusers: Chạy mô hình ảnh 4-bit nhẹ hơn ra sao?

Hugging Face vừa bổ sung khả năng tải checkpoint Nunchaku Lite trực tiếp trong thư viện Diffusers. Thay đổi này nhắm vào một vấn đề rất thực tế: nhiều mô hình diffusion hiện đại cần khoảng 20–30 GB VRAM khi chạy ở BF16, vượt quá khả năng của phần lớn GPU phổ thông.

Điểm đáng chú ý không chỉ là giảm kích thước trọng số. Nunchaku Lite dùng đường tính toán 4-bit cho cả trọng số và activation ở các lớp transformer chính, đồng thời giữ một nhánh low-rank độ chính xác cao để xử lý những thành phần khó lượng tử hóa. Theo bài kỹ thuật được Hugging Face công bố ngày 23/07/2026, checkpoint tương thích có thể được tải bằng from_pretrained() như một pipeline Diffusers thông thường, không cần biên dịch CUDA cục bộ.

Nunchaku Lite thay đổi gì trong Diffusers?

Trước đây, người dùng checkpoint Nunchaku thường phải dựa vào một inference engine riêng. Với đường tích hợp mới, repository của mô hình vẫn có cấu trúc Diffusers quen thuộc. Khối quantization_config trong tệp cấu hình cho biết lớp nào dùng SVDQ W4A4, lớp nào dùng AWQ W4A16 và biến thể kernel cần tải.

Cách tiếp cận này giúp các thành phần phía sau như bộ lập lịch lấy mẫu, LoRA hook, offloading và torch.compile tiếp tục nhìn thấy một mô hình Diffusers thông thường. Lợi ích thực dụng là nhóm phát triển không phải viết lại toàn bộ pipeline chỉ để thử một checkpoint 4-bit.

Ví dụ chính thức dùng ERNIE-Image-Turbo với transformer Nunchaku NVFP4 và text encoder NF4. Tác giả cho biết pipeline tạo ảnh 1.024 × 1.024 trong khoảng 1,7 giây trên RTX 5090, dùng gần 12 GB VRAM, so với khoảng 24 GB ở cấu hình BF16. Đây là phép đo của nhóm phát triển trên một cấu hình cụ thể, không phải bảo đảm hiệu năng cho mọi model, driver hoặc GPU.

Vì sao W4A4 khác các backend weight-only?

Nhiều backend lượng tử hóa lưu trọng số ở độ chính xác thấp rồi giải lượng tử về độ chính xác cao khi tính toán. Cách này thường giảm bộ nhớ, nhưng không nhất thiết tăng tốc và đôi khi còn thêm độ trễ. SVDQuant đi theo hướng khác: phần lớn phép nhân ma trận chạy với trọng số và activation 4-bit, còn các outlier khó xử lý được chuyển sang một nhánh low-rank 16-bit nhỏ hơn.

Nunchaku hợp nhất phép chiếu low-rank với bước lượng tử hóa và phép tính 4-bit để giảm lượt truy cập bộ nhớ. Nunchaku Lite giữ nguyên ý tưởng cốt lõi đó nhưng ưu tiên khả năng dùng chung giữa nhiều kiến trúc. Đổi lại, nó không có đầy đủ các đường thực thi được tối ưu riêng theo từng model như engine Nunchaku gốc.

Đây là lý do Hugging Face mô tả mức tăng tốc cơ bản khoảng 30% thay vì coi Nunchaku Lite là bản thay thế nhanh nhất trong mọi trường hợp. Giá trị chính nằm ở sự cân bằng giữa khả năng tương thích, mức giảm VRAM và tốc độ triển khai.

GPU nào được hỗ trợ?

NVFP4 hiện yêu cầu GPU NVIDIA Blackwell, gồm RTX 50 Series, RTX PRO 6000 và B200. Với các thế hệ Turing, Ampere hoặc Ada, người dùng cần chọn checkpoint INT4 tương ứng. Bảng hỗ trợ trong bài nguồn nêu Volta và Hopper chưa được các kernel 4-bit hiện tại hỗ trợ; trình lượng tử hóa sẽ kiểm tra CUDA capability khi tải để tránh chạy sai.

Chi tiết này rất quan trọng với người dùng cá nhân. Một checkpoint ghi “4-bit” không đồng nghĩa mọi GPU NVIDIA đều chạy được, và NVFP4 không nên bị hiểu là tùy chọn chung cho RTX 30 hoặc RTX 40. Trước khi tải hàng chục gigabyte dữ liệu, cần đối chiếu precision của checkpoint với thế hệ GPU thực tế.

Ở quy mô datacenter, câu chuyện cũng không chỉ xoay quanh dung lượng VRAM. Các hệ thống rack-scale như AMD Helios trên Azure cho thấy hạ tầng AI còn phụ thuộc vào mạng, bộ nhớ, phần mềm và cách triển khai toàn hệ thống. Nunchaku Lite hiện là một tối ưu dành cho stack CUDA/NVIDIA, không phải kết luận rằng một kiến trúc phần cứng duy nhất phù hợp cho mọi workload.

Benchmark cho thấy điều gì?

Trong phép đo 1.024 × 1.024 trên RTX PRO 6000 Blackwell, pipeline BF16 đạt 3,00 giây và dùng đỉnh 31,1 GB VRAM. Nunchaku Lite NVFP4 đạt 2,27 giây với 20,6 GB. Khi thêm torch.compile, thời gian giảm còn 1,68 giây trong khi mức VRAM giữ nguyên. Cấu hình lượng tử hóa thêm text encoder bằng NF4 dùng 16,0 GB, nhưng thời gian vẫn khoảng 2,29 giây.

Các số liệu này xác nhận hai điều trong phạm vi bài thử: Nunchaku Lite có thể giảm đáng kể bộ nhớ và đồng thời cải thiện độ trễ; torch.compile giúp bù một phần chi phí từ các kernel launch rời rạc. Tuy nhiên, chưa có benchmark độc lập trên nhiều model, độ phân giải, batch size và GPU để kết luận mức tăng 1,8 lần sẽ lặp lại rộng rãi.

So sánh hình ảnh cùng seed cho thấy đầu ra NVFP4 giữ bố cục và chi tiết gần với BF16 trong các ví dụ được công bố. Đây là bằng chứng trực quan hữu ích, nhưng chưa thay thế các phép đo chất lượng quy mô lớn hoặc đánh giá theo từng loại model.

Điều này có ý nghĩa gì với developer và AI creator?

Với developer, lợi ích rõ nhất là giảm ma sát thử nghiệm. Một checkpoint đã đóng gói đúng chuẩn có thể được tải bằng API quen thuộc, kết hợp offloading khi thiếu VRAM và dùng LoRA mà không cần chuyển toàn bộ ứng dụng sang engine riêng. Toolkit diffuse-compressor cũng mở đường cho việc kiểm tra, lượng tử hóa, đóng gói và đưa kiến trúc mới lên Hub.

Với AI creator chạy mô hình tại chỗ, mức VRAM thấp hơn có thể giúp thử model lớn trên máy trạm thay vì buộc phải dùng cloud. Đây vẫn là một suy luận có điều kiện: khả năng chạy được model không đồng nghĩa trải nghiệm luôn nhanh, vì text encoder, VAE, độ phân giải, batch size và phần còn lại của pipeline đều tiêu tốn tài nguyên.

Một giả thuyết thận trọng là đường tích hợp này sẽ khiến checkpoint 4-bit được phổ biến nhanh hơn trong hệ sinh thái Diffusers, bởi người phát hành không cần chờ một engine riêng hỗ trợ từng kiến trúc. Tốc độ thực tế phụ thuộc vào việc cộng đồng có tạo checkpoint tốt, kiểm tra chất lượng và duy trì kernel cho nhiều GPU hay không.

Những giới hạn cần biết trước khi áp dụng

• Benchmark hiện do nhóm tác giả thực hiện, chưa phải kết quả kiểm chứng độc lập.
• NVFP4 chỉ phù hợp với Blackwell; GPU cũ hơn cần checkpoint INT4.
• Nunchaku Lite ưu tiên tính tổng quát nên có thể chậm hơn engine Nunchaku gốc đã tối ưu riêng cho từng kiến trúc.
• Chất lượng gần BF16 trong các ví dụ không bảo đảm mọi model, prompt và LoRA đều giữ sai khác ở mức nhỏ.
• Bài công bố chưa cung cấp số liệu điện năng, hiệu năng trên Windows so với Linux, tác động của nhiều batch hoặc chi phí lượng tử hóa từng model.

Nunchaku Lite vì thế nên được nhìn như một bước tiến quan trọng về khả năng triển khai diffusion 4-bit trong Diffusers, không phải lời hứa rằng mọi máy tính phổ thông đều có thể chạy mọi mô hình ảnh. Với người có GPU tương thích, đây là một lựa chọn đáng thử vì nó giảm rào cản cài đặt và giữ workflow gần với Diffusers tiêu chuẩn.