Notes

• MoE models suffer from severe expert load imbalance during inference, increasing latency and cost.
• Existing solutions rely on static resource configurations, limiting scalability and elasticity.
• MoEless is the first framework to serve MoE LLMs using serverless computing.
• Key innovations include lightweight, layer-aware predictors to proactively identify straggler experts.
• Optimized expert scaling and placement strategies maximize GPU utilization and function locality.
• Experiments show MoEless reduces inference latency by 43% and cost by 84% compared to SOTA.

• MoE模型在推理时存在严重的专家负载不均衡问题，导致延迟和成本增加。
• 现有解决方案基于静态资源配置，限制了扩展性和弹性。
• MoEless是首个利用无服务器计算来服务MoE LLM的框架。
• 核心创新包括轻量级、分层感知的负载预测器，用于主动识别瓶颈专家。
• 设计了优化的专家扩展和放置策略，以最大化GPU利用率和函数局部性。
• 实验表明，相比现有方案，MoEless将推理延迟降低43%，成本降低84%。

• MoEモデルは推論時に深刻なエキスパート負荷不均衡に悩まされ、遅延とコストが増加する。
• 既存のソリューションは静的リソース構成に依存し、拡張性と弾力性を制限している。
• MoElessはサーバーレスコンピューティングを用いてMoE LLMをサービスする初のフレームワークである。
• 軽量でレイヤーを意識した予測器を導入し、ボトルネックとなるエキスパートを事前に特定する。
• 最適化されたエキスパートスケーリングと配置戦略により、GPU利用率と関数局所性を最大化する。
• 実験では、最新のソリューションと比較し、MoElessは推論遅延を43%、コストを84%削減した。