英伟达发布TensorRT-LLM，提升大型语言模型在Windows PC的性能

IT之家北京时间10月18日讯，近日英伟达宣布推出一款新的软件工具，旨在提升大型语言模型（LLM）在本地Windows PC上的性能。这款名为TensorRT-LLM的开源库之前是为数据中心发布的，如今也可以用于Windows PC。

据了解，如果Windows PC配备英伟达GeForce RTX GPU，TensorRT-LLM可以让LLM在Windows PC上的运行速度提高四倍。这一特点的引入，使得TensorRT-LLM成为了一款非常有吸引力的工具，可以帮助开发者更快地训练和部署大型语言模型。

英伟达在博客文章中详细介绍了TensorRT-LLM对开发者和终端用户的好处。在更大的批量大小下，这种加速可显著改善更复杂的LLM使用体验，如写作和编码助手，可同时输出多个唯一的自动完成结果，从而加速性能并改进质量，让用户可以有最好的选择。

文章还展示了一个TensorRT-LLM的例子。当向LLaMa 2基础模型提出“《心灵杀手 2》集成了NVIDIA的哪些技术？”这一问题时，它给出“游戏尚未公布”这一毫无帮助的回答。相反，使用RAG将GeForce新闻添加到向量库中，并连接到相同的Llama2模型，不仅得到正确答案 —— NVIDIA DLSS 3.5、NVIDIA Reflex和全景光线追踪，而且在TensorRT-LLM加速的助力下响应速度更快。这种速度与能力的结合为用户提供更智能的解决方案。

英伟达今天还在新的GeForce驱动更新中增加了一些基于人工智能的功能。其中包括新的1.5版本的RTX Video Super Resolution功能，可以在观看在线视频时提供更好的分辨率提升效果和更少的压缩效果。英伟达还为Stable Diffusion Web UI增加了TensorRT人工智能加速功能，让拥有GeForce RTX GPU的用户可以比正常情况下更快地从人工智能图片生成器那里获得图像。