英伟达发布第八代AI软件，从云端到边缘实现更智能、更具互动性的对话式AI

集微网消息，7月20日，英伟达发布第八代AI软件TensorRT 8。该软件将语言查询推理时间缩短了一半，使开发者能够从云端到边缘构建全球最佳性能的搜索引擎、广告推荐和聊天机器人。

据英伟达介绍，TensorRT 8的各项优化为语言应用带来了创纪录的速度，能够在1.2毫秒内运行BERT-Large，全球最广为采用的基于transformer的模型之一。过去，企业不得不缩减模型大小，而这会导致结果出现大幅偏差。现在有了TensorRT 8，企业可以将其模型扩大一倍或两倍，从而大幅提高精度。

除了针对transformer的优化之外，TensorRT 8还通过其他两项关键特性，实现了AI推理方面的突破。

其一是稀疏性，这是助力推动NVIDIA Ampere架构GPU性能提升的一项全新技术，它不但提高了效率，还使开发者能够通过减少计算操作来加速其神经网络。

其二是量化感知训练，开发者能够使用训练好的模型，以INT8精度运行推理，在这一过程中不会损失精度。这大大减少了计算和存储成本，从而在Tensor Core核心上实现高效推理。

五年来，医疗、汽车、金融和零售等各个领域27,500家企业的超35万名开发者下载TensorRT近250万次。TensorRT可部署于超大规模数据中心、嵌入式或汽车产品平台。

英伟达开发者计划副总裁Greg Estes表示：“AI模型正以指数级的速度增长。全世界对AI实时应用的使用需求正在激增。这使企业必须部署最先进的推理解决方案。最新版本的TensorRT引入了多项新功能，使企业能够以前所未有的质量和响应速度向其客户提供对话式AI应用。”

今年早些时候，英伟达团队在 Booking.com 挑战赛的 40 支参赛小组中拨得头筹。他们使用数百万个匿名数据点来准确的预测了欧洲度假者最终将选择前往的城市。

6 月，另一项顶级 RecSys 大赛SIGIR 电子商务数据挑战赛设置了更高的门槛。信息检索特别兴趣小组 SIGIR 的年度会议吸引了来自阿里巴巴和沃尔玛实验室的专家。其 2021 年挑战赛提供了 3700 万个在线购物会话的数据点，并要求参赛者预测用户会购买哪些产品。

由于这场比赛与 ACM RecSys挑战赛的时间重叠，英伟达团队不得不兵分两路，各有侧重地参与不同的比赛。一些团队成员在此压力下正埋头为 ACM RecSys 会议撰写论文。

最终，由七人组成的英伟达参赛团队第二次赢得ACM RecSys 2021挑战赛。RecSys是计算机科学一个相对较新的分支，它催生了机器学习领域常用的应用程序之一，这一程序帮助数百万人找到他们想看、想买和想玩的内容。

英伟达的团队共使用六个AI模型，达到比赛规定的20千兆字节上限，而所有这些模型都是根据团队研究5.7亿个数据点的经验挑选而出。这次比赛有一项不同寻常的规则，要求模型必须基于一个云端 CPU 的单一内核运行，并且运行时间不能超过 24 小时。

比赛过程中，Twitter 在 28 天内每天向参与者提供数百万个数据点，并要求他们预测用户会点赞或转推哪些推文。这是这一针对 RecSys 的技术会议发起的行业实力挑战，吸引了来自Facebook、Google、Spotify 等公司的优秀工程师。

英伟达表示，推荐系统为数字经济提供发展动力，通过比传统搜索更快、更智能的方式提供建议。行业挑战赛有助于推动这一领域的发展，让每个人都能从中受益，不论他们是在为配偶寻找完美的礼物，还是尝试在网上寻找一位老朋友。

（校对/六一）