https://github.com/lyogavin/airllm
- 总 Star 数量
- 28.5k
- 上周增长数量
- 3,911
- 开源时间
- 2023-06-12
项目描述
AirLLM实现了在仅4GB显存的单GPU上进行70B大语言模型推理,通过优化内存使用让大型模型可在低资源设备上运行,适合开发者和研究人员进行本地大模型推理。
2026.07.30–2026.08.05
AirLLM实现了在仅4GB显存的单GPU上进行70B大语言模型推理,通过优化内存使用让大型模型可在低资源设备上运行,适合开发者和研究人员进行本地大模型推理。