增量预训练的数据token量比较大，长度分布不均怎么办？

[jqtian123]

Reminder

• I have read the README and searched the existing issues.

System Info

Token 数量分布统计:
区间 (0, 1000): 425 条数据
区间 (1000, 2000): 292 条数据
区间 (2000, 3000): 157 条数据
区间 (3000, 4000): 146 条数据
区间 (4000, 5000): 117 条数据
区间 (5000, 6000): 114 条数据
区间 (6000, 7000): 140 条数据
区间 (7000, 8000): 147 条数据
区间 (8000, 9000): 130 条数据
区间 (9000, 10000): 148 条数据
区间 (10000, inf): 3402 条数据

Reproduction

Token 数量分布统计:
区间 (0, 1000): 425 条数据
区间 (1000, 2000): 292 条数据
区间 (2000, 3000): 157 条数据
区间 (3000, 4000): 146 条数据
区间 (4000, 5000): 117 条数据
区间 (5000, 6000): 114 条数据
区间 (6000, 7000): 140 条数据
区间 (7000, 8000): 147 条数据
区间 (8000, 9000): 130 条数据
区间 (9000, 10000): 148 条数据
区间 (10000, inf): 3402 条数据

Expected behavior

Token 数量分布统计:
区间 (0, 1000): 425 条数据
区间 (1000, 2000): 292 条数据
区间 (2000, 3000): 157 条数据
区间 (3000, 4000): 146 条数据
区间 (4000, 5000): 117 条数据
区间 (5000, 6000): 114 条数据
区间 (6000, 7000): 140 条数据
区间 (7000, 8000): 147 条数据
区间 (8000, 9000): 130 条数据
区间 (9000, 10000): 148 条数据
区间 (10000, inf): 3402 条数据

Others

Token 数量分布统计:
区间 (0, 1000): 425 条数据
区间 (1000, 2000): 292 条数据
区间 (2000, 3000): 157 条数据
区间 (3000, 4000): 146 条数据
区间 (4000, 5000): 117 条数据
区间 (5000, 6000): 114 条数据
区间 (6000, 7000): 140 条数据
区间 (7000, 8000): 147 条数据
区间 (8000, 9000): 130 条数据
区间 (9000, 10000): 148 条数据
区间 (10000, inf): 3402 条数据