SUBLLM新架构：文本下采样机制革新大语言模型效率

　　长文本模型的技术挑战

　　长文本模型结构：

　　Decoder only Transformer结构：Llama 类似结构，attention的平方复杂度

　　长文本模型的技术挑战

　　训练成本高：attention的平方复杂度

　　模型窗长扩展方法：数据方向，训练成本不高

　　1. Data Engineering for Scaling Language Models to 128K Context

　　模型窗长扩展方法：位置编码方向，训练成本不高

　　2. YaRN: Efficient Context Window Extension of Large Language Models NTK-by-parts+温度控制

　　模型窗长扩展方法：位置编码方向，训练成本不高

　　3. PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training