单张4090能运行的最强开源大模型是哪个？

24GB 显存， 目前能运行最强模型是 Qwen2.5-32B-Instruct-GPTQ-Int4, vllm 输入长度大概 8400, 速度 37 tokens/s （显卡 3090）

如果想更长输入，可以加 --cpu-offload-gb 2 参数卸载 2GB 到 RAM 中, 我是 i5-13490f + DDR4 4200HZ 速度降到 6 tokens/s

两个方案，

1. windows 使用 wsl2 ，pip install vllm 一行代码启动 openai 风格 api

2. ollama 同时支持 windows 和 linux，使用 gguf 量化模型：

Qwen2.5-32b-instruct-q3_k_m， 初始化大约占用 15GB， 剩下显存足够输入 20000 文本长度

有老外评测了模型在计算机科学领域回答效果：

比 Gemma2-27b-it-q8 强 25.6%, 量化后损失极小。

参数大是王道，

Qwen2.5-32b-instruct-q3_k_m 是 int3 量化，

效果远比 Qwen2.5-14b-instruct float16 强大

老外评论挺有意思的：