git 常用操作总结

LLM 并行-Switch Transformers 论文详解

【2025-06-24】讲解了 All-to-All 通信概念、MoE 专家并行原理、 DeepSpeed MoE 并行策略，并解析了 Switch-Transformers 在 MoE 上的并行优化策略。