Algorithme de Quantification Avancé pour les LLMs
Découvre comment l'algorithme de quantification avancée d'Intel, Auto-Round, optimise l'inférence des LLMs en basse précision tout en préservant l'exactitude. Une solution pour CPU/XPU/CUDA, compatible avec vLLM, SGLang, et Transformers.