AI
CMU và JHU gộp pretrain, SFT và RL vào một thuật toán huấn luyện duy nhất
Nhóm CMU và Johns Hopkins đưa pretraining, midtraining, SFT và RL (dạng MaxRL) về chung một hàm mất mát likelihood, trộn dữ liệu tĩnh với dữ liệu do RL sinh ra trong cùng một trainer bất đồng bộ. Kết quả cho độ chính xác và độ phủ tốt hơn trên mỗi đơn vị compute, quên kiến thức cũ ít hơn hẳn và học liên tục tốt hơn. Hạn chế lớn là mới thử trên model 124M và 0,76B tham số.
Vì sao đáng chú ý
Nếu kết quả giữ được ở quy mô lớn, pipeline post-training nhiều giai đoạn hiện nay có thể gọn lại đáng kể.
Nguồn
- arXiv arxiv.org · nguồn chính