Notes

• MoE-based LLMs are performant but costly; existing binarization methods struggle with MoE-specific issues like redundancy and routing shifts.
• MoBiE is the first binarization framework tailored for MoE LLMs, featuring joint SVD decomposition to reduce cross-expert redundancy.
• It integrates global loss gradients into local Hessian metrics for better weight importance estimation.
• An error constraint guided by input null space is introduced to mitigate routing distortion caused by quantization.
• MoBiE achieves these optimizations without extra storage overhead, balancing efficiency and performance.
• Experiments show MoBiE outperforms SOTA binary methods across multiple MoE LLMs, reducing perplexity and speeding up inference significantly.

• MoE架构LLM性能强但成本高，现有二值化方法处理MoE存在冗余、重要性评估不准和路由偏移问题。
• MoBiE是首个针对MoE LLM的二值化框架，核心创新包括联合SVD分解以减少专家间冗余。
• 框架整合全局损失梯度到局部Hessian度量中，以增强权重重要性估计的准确性。
• 引入基于输入零空间的误差约束，有效缓解量化引起的路由失真问题。
• MoBiE在实现优化的同时不增加额外存储开销，平衡了效率与模型性能。
• 实验表明，MoBiE在多个MoE LLM和基准测试上均优于现有二值化方法，显著降低困惑度并提升推理速度。

• MoEベースのLLMは高性能だがコストが高く、既存の二値化手法は冗長性やルーティングシフトなどのMoE特有の問題に対処できない。
• MoBiEはMoE LLMに特化した初の二値化フレームワークで、専門家間の冗長性を低減する共同SVD分解を特徴とする。
• グローバル損失勾配を局所ヘッセ行列メトリクスに統合し、重みの重要度推定を向上させる。
• 入力零空間に基づく誤差制約を導入し、量子化によるルーティング歪みを軽減する。
• MoBiEは追加のストレージオーバーヘッドなしで最適化を実現し、効率と性能のバランスを取る。
• 実験では、MoBiEが複数のMoE LLMで最先端の二値化手法を上回り、パープレキシティを低減し推論を高速化した。