LeRobot 0.6 Ra Mắt: World Model, Reward Model Và Vòng Lặp Học Robot Khép Kín
LeRobot 0.6 kết nối world model, VLA, reward model, dữ liệu depth, benchmark và rollout thành vòng lặp học robot khép kín.
21 min read
LeRobot 0.6 kết nối world model, VLA, reward model, dữ liệu depth, benchmark và rollout thành vòng lặp học robot khép kín.
1:04 ước tính · Chưa có giọng vi-VN
Ngày 7/7/2026, Hugging Face công bố LeRobot 0.6.0, một bản nâng cấp mở rộng đáng kể phạm vi của bộ công cụ robot learning mã nguồn mở. Thay vì chỉ bổ sung một policy mới, phiên bản này nối nhiều mắt xích vốn thường nằm rời rạc: world model để học biểu diễn tương lai, Vision-Language-Action để chuyển quan sát và chỉ dẫn thành hành động, reward model để chấm tiến độ nhiệm vụ, dữ liệu độ sâu, benchmark mô phỏng, rollout trên robot, sửa lỗi kiểu DAgger và công cụ triển khai.
Điểm đáng quan tâm không nằm ở số lượng tên mô hình. Giá trị thực tế là LeRobot đang tiến gần hơn tới một vòng lặp học robot khép kín: ghi dữ liệu, huấn luyện, chạy thử, phát hiện thất bại, thu thập phần sửa lỗi, đánh giá lại và triển khai phiên bản tiếp theo bằng cùng một hệ sinh thái. Bài này phân tích các thay đổi dựa trên thông báo phát hành chính thức, release v0.6.0 trên GitHub và repository huggingface/lerobot. Những con số hiệu năng do dự án công bố được ghi rõ là claim, không được xem như benchmark độc lập.
LeRobot 0.6 gom các thay đổi vào sáu nhóm. Nhóm thứ nhất là world model với VLA-JEPA, LingBot-VA và FastWAM. Nhóm thứ hai là các tích hợp VLA mới gồm GR00T N1.7, MolmoAct2, EO-1, Multitask DiT và EVO1. Nhóm thứ ba là reward model API với Robometer và TOPReward. Nhóm thứ tư nâng cấp lớp dữ liệu bằng depth, annotation từ VLM, codec tùy chỉnh và đường nạp dữ liệu được dự án công bố có thể nhanh hơn tối đa hai lần trong điều kiện thử nghiệm của họ.
Nhóm thứ năm tập trung vào đánh giá và thu thập: sáu benchmark mô phỏng cùng giao diện lerobot-eval, lệnh lerobot-rollout và khả năng ghi corrections cho DAgger. Nhóm cuối cùng liên quan vận hành: FSDP cho huấn luyện phân tán, Hugging Face Jobs, LeLab, bộ cài gọn hơn và dải tương thích PyTorch 2.7–2.11.
Đây là bản phát hành mới, không phải chứng nhận production-readiness. Repository dùng giấy phép Apache-2.0, không bị archive và vẫn hoạt động tại thời điểm kiểm tra ngày 2/8/2026. Kho có khoảng 26.300 sao; con số đó chỉ phản ánh mức quan tâm của cộng đồng. Release gắn với commit 30da8e6 đã được GitHub đánh dấu verified. Đội triển khai vẫn phải tự kiểm thử robot, camera, driver, checkpoint, tần số điều khiển và quy trình an toàn của mình.
Một policy robot hiếm khi thất bại theo cách đồng đều. Nó có thể làm tốt phần lớn quỹ đạo nhưng lúng túng khi vật thể lệch vài centimet, ánh sáng thay đổi, tay kẹp bị che hoặc trạng thái trung gian không có trong dữ liệu. Nếu pipeline chỉ có “thu thập rồi huấn luyện”, đội kỹ thuật sẽ khó biến lỗi quan sát được thành dữ liệu sửa lỗi có cấu trúc.
Vòng lặp khép kín bổ sung ba năng lực. Thứ nhất là quan sát có chủ đích: rollout phải lưu đủ camera, trạng thái robot, hành động và metadata để tái hiện thất bại. Thứ hai là đánh giá nhất quán: cùng một policy cần được đo trên tập nhiệm vụ và điều kiện đã định nghĩa, thay vì dựa vào vài video đẹp. Thứ ba là thu thập bổ sung có chọn lọc: người vận hành sửa đúng đoạn policy sắp đi sai, thay vì quay lại ghi toàn bộ episode từ đầu.
LeRobot 0.6 không tự giải quyết chất lượng dữ liệu, an toàn hoặc sim-to-real. Nhưng việc đưa dataset, policy, evaluation, rollout và corrections về cùng một contract làm giảm lượng mã kết nối riêng mà mỗi đội phải duy trì. Đây cũng là logic quen thuộc trong hệ thống AI phần mềm: phải quan sát trace, có tập kiểm thử và đóng vòng phản hồi. Đội đang xây AI agent có thể tham khảo thêm bài quan sát và debug AI agent bằng Langfuse; khác miền ứng dụng nhưng cùng nguyên tắc không thể cải thiện thứ mình không đo được.
World model cố gắng học cấu trúc chuyển trạng thái của môi trường: nếu robot quan sát tình huống hiện tại và thực hiện một chuỗi hành động, điều gì có thể xảy ra tiếp theo? Trong robot learning, câu hỏi này hữu ích cho representation learning, lập kế hoạch, tạo dữ liệu huấn luyện hoặc đánh giá policy. Tuy vậy, “dự đoán được video” và “điều khiển robot an toàn” là hai tiêu chuẩn khác nhau; một rollout nhìn hợp lý vẫn có thể sai ở tiếp xúc, lực hoặc độ chính xác không gian.
Theo thông báo của dự án, VLA-JEPA dùng world model trong quá trình huấn luyện để dự đoán biểu diễn tương lai trong không gian ẩn. Khi suy luận, phần world model được bỏ đi; policy không phải trả thêm chi phí dự đoán tương lai ở runtime. Cách tổ chức này đáng chú ý vì nó tách vai trò “dạy policy hiểu động lực” khỏi đường điều khiển thực tế. Điều cần kiểm tra là biểu diễn học được có cải thiện độ bền trên dữ liệu và robot của bạn hay không, không chỉ loss huấn luyện.
LingBot-VA được giới thiệu như một world model có thể dự đoán tương lai từ video, trạng thái robot và hành động. Visual chính thức đặt diễn biến thật cạnh diễn biến dự đoán, giúp người đọc hiểu đúng mục tiêu: so sánh tương lai mô hình hình dung với rollout quan sát được. FastWAM mở thêm một hướng tích hợp world-action model. Release liệt kê cả ba tích hợp nhưng không cung cấp một bảng xếp hạng chung đủ để kết luận mô hình nào tốt nhất.
Vì vậy, cách đánh giá phù hợp là dùng cùng split dữ liệu, cùng horizon và cùng tiêu chí trên một số tình huống quan trọng: vật thể bị che, thay đổi vị trí ban đầu, đổi nền, sai số camera và thao tác nhiều giai đoạn. Nếu world model chỉ tái tạo phần dễ nhưng bỏ qua điểm tiếp xúc quyết định, giá trị cho policy có thể hạn chế. Đừng dùng chất lượng hình ảnh chủ quan làm proxy duy nhất cho khả năng điều khiển.
Vision-Language-Action model kết hợp quan sát thị giác, chỉ dẫn ngôn ngữ và đầu ra hành động. LeRobot 0.6 thêm GR00T N1.7, MolmoAct2, EO-1, Multitask DiT và EVO1. Ý nghĩa vận hành của danh sách này là đội nghiên cứu có thể thử nhiều họ policy qua cấu trúc dataset và công cụ chung hơn, thay vì tự xây integration độc lập cho từng repository.
GR00T N1.7 thay thế tích hợp GR00T N1.5 trong nhánh phát hành này, nên đây là điểm cần chú ý khi nâng cấp. MolmoAct2 được LeRobot hỗ trợ từ fine-tune, evaluate đến deploy trên robot thật. EO-1, Multitask DiT và EVO1 mở rộng thêm lựa chọn cho các thiết kế policy khác nhau. Release không cung cấp một benchmark chuẩn duy nhất chứng minh một model thắng trên mọi robot; lựa chọn phải dựa vào morphology, action space, dữ liệu, độ trễ và tài nguyên huấn luyện.
Một quy trình chọn VLA có kỷ luật nên bắt đầu từ baseline đang hoạt động. Giữ nguyên dataset split, seed, độ dài horizon và điều kiện reset; sau đó thay policy để so sánh. Đo không chỉ tỷ lệ hoàn thành mà cả số lần can thiệp, thời gian đến thất bại, kiểu lỗi và độ ổn định giữa các lần chạy. Với robot thật, cần đặt giới hạn tốc độ, vùng làm việc và cơ chế dừng độc lập với policy. LeRobot cung cấp framework; trách nhiệm an toàn vẫn thuộc hệ thống triển khai.
Nhiều nhiệm vụ robot có reward thưa: hệ thống chỉ biết “thành công” hoặc “thất bại” ở cuối episode. Điều đó không cho biết robot đang tiến gần mục tiêu hay rời xa nó. Reward model cố gắng suy ra tín hiệu dày hơn từ quan sát và mô tả nhiệm vụ. LeRobot 0.6 đưa reward model vào API chính thức với hai tích hợp là Robometer và TOPReward.
Robometer nhận video cùng chỉ dẫn ngôn ngữ để ước lượng tiến độ nhiệm vụ. Trong visual phát hành, điểm số thay đổi theo diễn biến thao tác. Tín hiệu này có thể hỗ trợ xếp hạng rollout, lọc episode, xác định đoạn cần sửa hoặc làm đầu vào cho quy trình tối ưu khác. Tuy nhiên, score của reward model không phải sự thật tuyệt đối; nó phải được hiệu chuẩn với đánh giá con người và tiêu chí vật lý của nhiệm vụ.
TOPReward dùng xác suất câu trả lời của một VLM về trạng thái hoàn thành để tạo reward zero-shot. Ưu điểm thực dụng là đội có thể thử một tín hiệu thưởng mà không huấn luyện reward model riêng từ đầu. Rủi ro là VLM có thể bị đánh lừa bởi góc quay, vật thể giống nhau hoặc dấu hiệu bề mặt không phản ánh kết quả thật. Ví dụ, “vật nằm gần khay” không đồng nghĩa “vật đã được đặt ổn định trong khay”.
Reward model nên là một cảm biến phần mềm trong bộ đánh giá, không phải trọng tài duy nhất. Hãy đối chiếu với trạng thái robot, cảm biến lực, điều kiện hình học và nhãn con người trên một tập kiểm tra. Theo dõi false positive vì đây là kiểu lỗi nguy hiểm: hệ thống tưởng đã thành công và ngừng hành động trong khi nhiệm vụ chưa hoàn tất.
LeRobot 0.6 mở rộng dataset để xử lý depth như một feature cấp một trong pipeline. Dữ liệu độ sâu có thể được ghi, mã hóa, lưu, phát lại và đưa vào huấn luyện cùng RGB. Điều này giảm nhu cầu duy trì một nhánh dữ liệu tự chế bên ngoài LeRobot. Với đội đã có camera RGB-D, thay đổi quan trọng không chỉ là thêm một tensor: cần thống nhất đơn vị, giá trị invalid, căn chỉnh RGB-depth, intrinsics, độ trễ và chính sách nén.
Release cũng bổ sung annotation bằng VLM. Đây là công cụ tăng tốc mô tả episode, không phải giấy phép bỏ qua kiểm soát chất lượng. Một quy trình hợp lý là để VLM tạo nhãn sơ bộ, sau đó con người kiểm tra mẫu đại diện và toàn bộ trường hợp bất thường. Với nhiệm vụ nhạy cảm, nên giữ cả nhãn gốc, phiên bản prompt và model đã tạo nhãn để có thể tái lập.
Custom codec cho phép tối ưu lưu trữ theo đặc điểm dữ liệu. Depth có phân phối khác ảnh RGB; codec chọn sai có thể làm mất chi tiết biên hoặc biến giá trị thiếu thành tín hiệu giả. Mọi thay đổi codec cần qua vòng encode-decode rồi so sánh thống kê và visual. Dự án cũng công bố data loading có thể nhanh hơn tối đa hai lần. Đây là mức “up to”, phụ thuộc thiết bị lưu trữ, codec, số worker, kích thước episode và bottleneck huấn luyện. Hãy đo throughput trên pipeline thật trước và sau nâng cấp.
LeRobot 0.6 thêm sáu benchmark mô phỏng vào lerobot-eval. Lợi ích quan trọng không phải một bảng điểm đẹp, mà là contract đánh giá chung: cấu hình policy, môi trường, số episode, seed và kết quả có thể đi qua cùng một luồng. Điều này giúp giảm sai lệch do mỗi nhóm viết script riêng.
Benchmark mô phỏng phù hợp để chạy regression thường xuyên và phát hiện thay đổi làm policy kém đi. Nó không thay thế robot thật. Khoảng cách sim-to-real có thể đến từ ma sát, backlash, ánh sáng, nhiễu camera, sai số calibration hoặc độ trễ điều khiển. Một release gate thực dụng nên có ba lớp: kiểm thử phần mềm và dataset; benchmark mô phỏng; tập nhiệm vụ nhỏ trên robot thật với giới hạn an toàn.
Khi báo cáo, lưu version LeRobot, commit policy, checkpoint, phiên bản môi trường, seed, số episode và tiêu chí thành công. Không nên so sánh hai model khi số lần thử hoặc điều kiện reset khác nhau. Cách làm này tương tự kiểm thử AI agent: bài Storybook cho accessibility và visual QA minh họa vì sao một giao diện test chung có giá trị hơn các kiểm tra thủ công rời rạc.
lerobot-rollout tạo một đường chạy chính sách chuẩn hóa trên robot và ghi lại dữ liệu của phiên đó. Kết hợp với DAgger, người vận hành có thể can thiệp khi policy sắp sai và lưu phần correction. Đây là khác biệt lớn so với chỉ thu demonstration sạch: dataset mới chứa đúng những trạng thái mà policy hiện tại tự đưa mình vào.
Quy trình nên bắt đầu bằng policy đã đạt mức an toàn cơ bản. Chạy rollout trong vùng hạn chế; khi xuất hiện sai lệch, người vận hành giành quyền điều khiển, sửa hành động và kết thúc hoặc tiếp tục episode theo protocol. Sau đó, đánh dấu rõ đâu là hành động policy, đâu là correction và ai thực hiện. Trộn dữ liệu mà mất nguồn gốc sẽ khiến phân tích lỗi sau này khó hơn.
DAgger có thể tạo vòng lặp mạnh nhưng cũng khuếch đại lỗi vận hành nếu corrections không nhất quán. Nên có guideline cho cách tiếp quản, tiêu chí dừng và chất lượng demonstration. Tập correction cần được giữ riêng để đánh giá xem phiên bản mới có thực sự khắc phục nhóm lỗi cũ hay chỉ học thuộc. Với đội quen vận hành AI agent, đây là tương đương của việc biến trace lỗi thành regression suite thay vì sửa prompt theo cảm giác.
FSDP giúp shard tham số, gradient và optimizer state khi huấn luyện phân tán. Việc LeRobot tích hợp FSDP giảm phần glue code cho policy lớn, nhưng không loại bỏ yêu cầu theo dõi memory, communication overhead và tính ổn định của checkpoint. Trước khi scale, hãy xác nhận một cấu hình nhỏ chạy đúng trên một GPU và có thể resume.
Hugging Face Jobs đưa training job lên hạ tầng managed của Hugging Face. Giá trị chính là đóng gói môi trường và chạy workload từ cùng hệ sinh thái; quyết định dùng vẫn phụ thuộc dữ liệu, chi phí, vùng lưu trữ và chính sách bảo mật. Không nên tải video từ môi trường nhạy cảm lên dịch vụ bên ngoài khi chưa có phê duyệt dữ liệu.
LeLab là giao diện web cho quy trình SO-ARM101, bao gồm hiệu chỉnh, teleoperation, ghi dữ liệu, huấn luyện và triển khai. Đây là ví dụ rõ nhất về hướng “hạ thấp ma sát vận hành” của bản 0.6: người dùng không cần chuyển liên tục giữa nhiều lệnh cho từng bước. Dù vậy, UI thuận tiện không thay thế quyền truy cập, audit log, giới hạn robot và nút dừng vật lý.
Đội muốn tự host các thành phần quan sát hoặc workflow có thể tham khảo cách phân tách runtime và control plane trong bài Langflow production: tách IDE–runtime, bảo mật và QA. Với robot, ranh giới còn quan trọng hơn: giao diện người dùng, máy huấn luyện và máy điều khiển thời gian thực không nên mặc định chia sẻ cùng mức quyền.
Bản 0.6 không phải nâng cấp “drop-in” cho mọi dự án. Base install đã gọn hơn khoảng 40% dependency theo công bố, đồng nghĩa nhiều thành phần được chuyển sang extras. Import path của một số module thay đổi. Tích hợp GR00T N1.5 được thay bởi N1.7. PyTorch tối thiểu tăng lên 2.7 và phạm vi được công bố là 2.7–2.11. Một số tên cấu hình, trong đó có eval_freq, đã được đổi.
Những thay đổi này có thể làm script cũ hỏng ngay khi import hoặc chỉ lộ lỗi lúc chạy evaluation. Vì vậy không nên nâng trực tiếp môi trường đang điều khiển robot. Tạo nhánh migration và khóa toàn bộ version hiện tại trước khi sửa.
Checklist nên được lưu cùng repository thay vì nằm trong trí nhớ một kỹ sư. Nếu đội đang xây quy trình review mã và deployment, bài OpenHands và coding agents self-hosted cung cấp thêm góc nhìn về phân quyền tác nhân, môi trường thực thi và kiểm soát thay đổi.
Một triển khai nhỏ có thể chia thành năm lớp. Lớp thu thập chạy teleoperation và rollout, ghi sensor, action, trạng thái takeover và metadata thiết bị. Lớp dữ liệu kiểm tra schema, đồng bộ thời gian, version annotation và quản lý train/validation/test split. Lớp huấn luyện chạy baseline, VLA hoặc world-model-assisted training trong môi trường tái lập.
Lớp đánh giá kết hợp benchmark mô phỏng, reward model, rule vật lý và đánh giá con người. Lớp triển khai ký checkpoint đã duyệt, giới hạn cấu hình runtime và ghi trace của từng rollout. Vòng phản hồi nối failure taxonomy về hàng đợi corrections. Không cho phép dữ liệu test quay lại train mà không thay version split.
Ở quy mô lớn hơn, FSDP hoặc HF Jobs chỉ thay đổi lớp huấn luyện; chúng không nên làm thay đổi contract dataset và tiêu chí release. LeLab có thể phục vụ control UI cho một cấu hình được hỗ trợ, nhưng dữ liệu, quyền vận hành và audit vẫn cần quy tắc của tổ chức.
Nên thử LeRobot 0.6 sớm nếu đội cần depth, muốn đánh giá nhiều policy qua cùng interface, đang xây quy trình rollout/corrections hoặc muốn thử world model và reward model trong một framework thống nhất. Các nhóm nghiên cứu có pipeline tái lập và robot thử nghiệm riêng sẽ khai thác bản phát hành tốt nhất.
Nên trì hoãn nâng môi trường chính nếu dự án đang ở giai đoạn demo quan trọng, phụ thuộc GR00T N1.5, chưa có test dataset/checkpoint hoặc không có cơ chế rollback. Cách an toàn là giữ production trên phiên bản đã biết, tạo nhánh đánh giá 0.6 và chỉ chuyển khi các gate nội bộ cùng vượt qua.
Không. LeRobot là framework và hệ sinh thái dữ liệu, policy, evaluation và thiết bị. Bản 0.6 tích hợp nhiều model, nhưng không biến tất cả thành một foundation model duy nhất.
Không. Các tích hợp world model mở thêm lựa chọn nghiên cứu. Một policy baseline tốt cùng dữ liệu sạch và evaluation rõ ràng vẫn là điểm khởi đầu hợp lý.
Không. Depth là modality mới được hỗ trợ, không phải yêu cầu bắt buộc. Chỉ thêm khi nhiệm vụ và phần cứng thực sự hưởng lợi, đồng thời đội có thể quản lý calibration và chất lượng dữ liệu.
Không nên. Robometer và TOPReward có thể bổ sung tín hiệu tiến độ, nhưng tiêu chí vật lý, cảm biến và nhãn con người vẫn cần cho tập đánh giá đáng tin cậy.
Release không phải chứng nhận production. Mức sẵn sàng phụ thuộc robot, driver, quy trình an toàn, test coverage, quan sát runtime và khả năng rollback của đội triển khai.
PyTorch tối thiểu 2.7, extras cài đặt, import path, tên cấu hình, khả năng load checkpoint và việc GR00T N1.5 đã được thay bằng N1.7. Hãy chạy migration trong môi trường tách biệt.
LeRobot 0.6 đáng chú ý vì kết nối nhiều bước của robot learning hơn bất kỳ một tính năng riêng lẻ nào: dữ liệu đa modality, world model, VLA, reward model, benchmark, rollout, corrections và triển khai. Nếu các contract này ổn định, đội nhỏ có thể dành ít thời gian hơn cho glue code và nhiều thời gian hơn cho chất lượng dữ liệu cùng hành vi robot.
Nhưng vòng lặp khép kín chỉ có ý nghĩa khi đo lường trung thực. Hãy coi thông báo phát hành là bản đồ khả năng, không phải bằng chứng mọi tính năng đều phù hợp với hệ thống của bạn. Một migration tốt phải giữ baseline, ghi rõ nguồn dữ liệu, kiểm tra trên mô phỏng lẫn robot thật và có đường quay lại. Đó là cách biến LeRobot 0.6 từ một release hấp dẫn thành một thay đổi kỹ thuật có kiểm soát.
Unity
Indie Game
Godot
Unreal Engine
Công cụ & Phần mềm
Công cụ & Phần mềm
Từ vựng theo chủ đề
Công cụ & Phần mềmĐăng ký miễn phí, lấy link riêng và giới thiệu NextGZ cho người cần học tiếng Trung hoặc Digital Art.
Cộng đồng thực chiến
Tham gia nhóm để nhận tài nguyên, cập nhật công cụ và trao đổi cách xây dựng digital business cùng AI.
Tham gia nhóm Zalo
Cộng đồng sáng tạo
Kết nối với cộng đồng Digital Art, chia sẻ tác phẩm và học hỏi quy trình sáng tạo mới.
Tham gia DiscordCộng đồng thực chiến
Tham gia nhóm để nhận tài nguyên, cập nhật công cụ và trao đổi cách xây dựng digital business cùng AI.
Tham gia nhóm ZaloCộng đồng sáng tạo
Kết nối với cộng đồng Digital Art, chia sẻ tác phẩm và học hỏi quy trình sáng tạo mới.
Bình luận
0 bình luận
Đăng nhập để tham gia thảo luận cùng cộng đồng!
Đăng nhập ngayĐang tải bình luận...