lyogavin/airllm

AirLLM ช่วยลดการใช้หน่วยความจำในการอนุมานของโมเดลภาษาขนาดใหญ่ (LLM) อย่างมาก ทำให้สามารถรันโมเดล 70B บน GPU ขนาด 4GB หรือโมเดล MoE ขนาดใหญ่กว่าบน VRAM ที่จำกัดได้ โดยไม่ต้องใช้เทคนิคการลดขนาดโมเดลแบบดั้งเดิม

https://github.com/lyogavin/airllm