先说结论: 2080ti 魔改 22G
淘宝大概2500元,再配一套洋垃圾E5的无显卡准系统,12核20线程,64G内存,500G硬盘,特别强调老板给配700W的电源,大概1500能拿下
总价4000元不到,这套系统装win11 专业版,能流畅运行deepseek R1 32B模型,大概相当于o1 mini,水平,在本地流畅跑gpt4水平模型,在去年做梦都不敢想。
下面说软件
FlashAI x DeepSeek - 本地大模型整合包下载在这里下载FlashAI的deepseek大模型一键部署整合包,自带知识库,无需任何配置,下载,解压,运行即可,完全离线,永久免费,。实测,32B deepseek r1在这套配置下可以达到20t/s的速度。