Notes

• Expert routing in MoE layers is highly skewed, with a few 'hot' experts handling most tokens while many 'cold' experts are rarely activated.
• MoE-Sieve profiles routing counts on a small calibration set and applies LoRA adapters only to the top-k most-routed experts per layer.
• Tuning only the top 25% experts per layer matches full LoRA performance (mean difference within +/-1 percentage point).
• This reduces trainable parameters by 70-73%, adapter checkpoint size by 71-73%, and training time by up to 50%.
• Random expert selection at matched budget performs ~2.5 percentage points worse, showing the routing signal is crucial.
• Adapting cold experts may introduce gradient noise without improving accuracy, explaining the efficiency gains.

• MoE模型每层的专家路由高度偏斜，少数“热”专家处理大部分token，多数“冷”专家极少被激活。
• MoE-Sieve框架通过在小规模校准集上分析路由计数，仅对每层路由频率最高的前k个专家应用LoRA适配器。
• 实验表明，仅微调每层前25%的专家，性能与全量LoRA微调相当（平均差异在±1个百分点内）。
• 该方法将可训练参数减少70-73%，适配器检查点大小减少71-73%，训练时间减少高达50%。
• 随机选择专家（在相同预算下）会导致性能下降约2.5个百分点，证明路由信号至关重要。
• 调整“冷”专家可能引入梯度噪声而不提升精度，解释了该方法在保持性能的同时提升效率的原因。

• MoE層のエキスパートルーティングは高度に偏っており、少数の「ホット」エキスパートが大部分のトークンを処理し、多くの「コールド」エキスパートはほとんど活性化されない。
• MoE-Sieveは小規模なキャリブレーションセットでルーティングカウントをプロファイリングし、層ごとに上位k個のエキスパートのみにLoRAアダプターを適用する。
• 層ごとに上位25%のエキスパートのみをチューニングしても、フルLoRAと同等の性能を維持（平均差は±1パーセントポイント以内）。
• これにより、学習可能パラメータが70-73%、アダプターチェックポイントサイズが71-73%、学習時間が最大50%削減される。
• 同じ予算でエキスパートをランダムに選択すると性能が約2.5パーセントポイント低下し、ルーティング信号が重要であることが示された。
• コールドエキスパートを調整すると精度向上なしに勾配ノイズが導入される可能性があり、効率化の理由を説明している。