连接中

TT-1-tiny 训练

字节级语言模型，语料为 Python 标准库源码
 
训练损失– 
验证损失– 
吞吐–token/秒
已训练 token– 
训练时长– 
 

A/B 对比

主线结束后开始：原版 vs MTP（--mtp 2）。

最新验证样本


    

    

      
损失 训练验证

      
    

  


  

    

      
续写

      
用当前检查点续写输入的开头。输入内容不保存。

      

      

      

        
        
        
      

      

      

    

    

      
事件

      
  1. 等待训练开始

    

  






  
配置

  


  
图表

  

    
学习率虚线为计划

    
吞吐（token/秒） 

    
比特/字节训练与验证

    
训练损失（第 200 步起）浅色为原始值，深色为 EMA

    
验证损失逐次下降量相对上一次验证

    
验证损失 − 训练损失训练损失取前 100 步均值

    
机器负载（近 1 小时）两路 CPU 整机占用，训练进程占比

      
CPU 1CPU 2训练进程

    
参数分布 

    
A/B 吞吐token/秒，横轴为开始后分钟数

      
A 原版B MTP

  






  

    
    
    
    
  


  

    
每次验证后以 def  为开头生成 200 字节，按步数排列。