Notes

• Reviews collective operations and parallel strategies in distributed LLM computing with mathematical formulations.
• Analyzes hybrid parallelization with focus on communication-computation overlap.
• Discusses automated search for optimal hybrid strategies using cost models.
• Presents case studies with mainstream architectures for strategy selection insights.
• Highlights open challenges of current LLM training paradigms.
• Outlines directions for next-generation large-scale model development.

• 系统回顾LLM分布式计算中的集体操作与并行策略，提供数学公式深化理论理解。
• 分析混合并行化设计，强调训练与推理阶段的通信计算重叠。
• 讨论基于成本模型自动搜索最优混合并行策略的进展。
• 通过主流架构案例研究，揭示并行策略选择的经验见解。
• 指出当前LLM训练范式的开放挑战与局限。
• 为下一代大规模模型开发指明研究方向。