LLM

基于MLC LLM将Llama2-7B模型部署至Android手机运行

MLC Android 中文文档开始使用参考自MLC使用文档 MLC介绍这里稍微讲解了一些MLC的基本概念，以帮助我们使用和了解 MLC LLM。 MLC-LLM 由三个不同的子模块组成&#xf

模型手机 LLM MLC Android

admin 17天前

13 0

随着开源LLM越来越成熟，业务接入LLM推理也成为必然，如何选模型大小和显卡，主要看下面这些。一、选GPU显卡在选择显卡进行大型语言模型推理时，

如何选择 显卡常见 LLM

admin 17天前

20 0

简介 GPT-4、BERT 等大型语言模型 (LLM) 和其他基于 Transformer 的模型彻底改变了 AI 格局。这些模型需要大量计算资源进行训练和推理。选择合适的 GPU 进行 LLM 推理可以极大地影响性能、成本效益和可扩展性

适用于 指南 Nvidia LLM GPU

admin 17天前

17 0

LLM

admin 2023-11-15

14 0

LLM

admin 2023-10-29

16 0