文章目录
- 模型
- 初始模型
- BPE token拆分 + 推理优化
- 训练语料从1万行扩大到10万行
- 启用双卡试试 5epoch + 10万行训练数据
- 100万行数据+ 2ep + 更小得模型
- 预估1000万行 + 2epoch能说人话
模型
iknet-v1，本地占用240MB， 1万条训练语料
初始模型
生成重复字
BPE token拆分 + 推理优化
训练语料从1万行扩大到10万行
一张t4跑不动了， 30天有点扯了
启用双卡试试 5epoch + 10万行训练数据
IKNet-V1 训练 ============================================================ 多卡训练: 2 × GPU (DDP) GPU 0: Tesla T4 (15.6GB) GPU 1: Tesla T4 (15.6GB) [1/4] 准备数据... 从 iknet/data/train.txt 加载 100000 条文本 词表大小: 100281 (BPE, cl100k_base) 前100条平均 token: 50.0 (原字符数: 71.5) 数据集: 100000 样本, 6250 批次/epoch (每卡 bs=8, 总 batch=16) [2/4] 初始化模型... 混合精度: BF16 已启用 IKNet-V1 参数量: 138.38M model: 138.38M lm_head: 77.02M100万行数据+ 2ep + 更小得模型
等待验证
–epochs 2
–batch-size 8
–seq-len 256
–hidden-size 768
–num-layers 6
–num-heads 8
–num-kv-heads 2
–ffn-mult 2.0
–bf16 &