NVIDIA发布Triton 推理服务器重大更新全球超过25000余家公司部署NVIDIA AI推理平台.docx

《NVIDIA发布Triton 推理服务器重大更新全球超过25000余家公司部署NVIDIA AI推理平台.docx》由会员分享，可在线阅读，更多相关《NVIDIA发布Triton 推理服务器重大更新全球超过25000余家公司部署NVIDIA AI推理平台.docx（4页珍藏版）》请在第一文库网上搜索。

1、NVIDIA发布Triton推理服务器重大更新，全球超过25000余家公司部署NVIDIAAI推理平台Capita10neMicrosoft、SamsungMediSOn、SiemensEnergy、SnaP等全球行业领导者都在使用该平台。加利福尼亚州圣克拉拉市-2023年11月9日-NVID1A今日宣布其此推理平台的重大更新，目前CaPita1OneMicrosoftSamsungMediSon、SiemensEnergySnap等25000多家客户都在使用该平台。这些更新包括开源NV1D1ATritoi1推理服务器软件的新功能，该软件为所有AI模型和框架提供跨平台推理；同时也包含对NVID

2、IATensorRT的更新，该软件优化A1模型并为NV1D1A些上的高性能推理提供运行时优化。NVIDIA还推出了NVID1AA2TensorCoreGPU,这是一款用于边缘A1推理的低功耗、小尺寸的加速器，其推理性能比空1高出20倍。NVIDIA副总裁兼加速计算总经理IanBuck表示：“NVIDIAAI推理平台正在推动各行各业的突破，包括医疗健康、金融服务、零售、制造和超级计算。无论是提供更望能的建议，发挥对话式A1的力量，还是推进科学发现，NVIDIA推理平台都能以简单易用的方式提供低延迟、高吞吐及多种性能组合的服务，为全球关键的A1新应用赋能。”关键的软件优化Triton推理服务器的主

3、要更新包括： Triton模型分析器-这款新工具可以自动化地从数百种组合中为AI模型选择最佳配置，以实现最优性能，同时确保应用程序所需的服务质量。 多GPU多节点功能-这一新功能支持基于Transformer的大规模语言模型，例如Megatron530B,在多个GPU和服务器节点上运行并提供实时推理性能，而不是在单个GPU上运行。 RAPIDSFI1-这一针对随机森林和梯度提升决策树模型GPU或CPU推理的新后端为刃如使用Triton进行深度学习和传统机器学习提供了一个统的部署引擎。 AmazonSageMaker集成-这种无缝集成让客户能够在SageMaker（AWS完全托管的AI服务）中使

4、用Triton轻松部署多框架的模型，并实现高推理性能。 支持AnnCPU-除了NVIDIAGPU和x86CPU夕卜，Triton后端现在还支持在ArmCPU上优化AI推理工作负载。Triton支持在云、数据中心、企业边缘和嵌式设备等环境中对GPU和CPU进行AI推理，并与WSGoog1eC1oudMicrosoftAzure阿里云PAI-EAS等平台集成。此外，NVIDIAAIEnterprise也集成了Triton。NVIDIAIEnterprise是一款经NVIDIA优化、因和支持的用于开发和部署AI的端到端软件套件，客户可利用它在本地数据中心和私有云的主流服务器上运行AI工作负载。除了T

5、riton外，TensorRT现在还与TenSorF1ow和PyTOreh集成,只需一行代码就能提供比框架内推理快3倍的性能。这使得开发人员采用极为简化的工作流程就可以体会TensorRT的强大功能。NVIDIATensorRT8.2是SDK的最新版本,可加速高性能的深度学习推理，在云端、本地或边缘提供高吞吐和低延迟。有了最新的性能优化,数十亿个参数的语言模型可实现实时运行。行业领导者支持NVIDIAAI平台推理全球众多行业领导者都正在使用NVIDIAAI推理平台改进业务运营并为客户提供新的A1赋能服务。MicrosoftAZUre认知服务为高品质AI模型提供基于云的API,以创建智能应用程序

6、。他们正在使用TritOn运行语音转文本模型，为MicrosoftTeams用户提供准确的实时字幕和转录。MicrosoftTeams是全球沟通和协作的重要工具，每月有近2.5亿活跃用户，MiCrOSOft团队呼叫、会议和设备部首席PM经理Sha1endraChhabra表示。“这样的AI模型极其复杂，需要数千万个神经网络参数才能在几十种不同的语言中提供准确的结果。模型越大，就越难以经济高效地实时运行。MicrosoftAzure认知服务上的NVIDIAGPU和Triton推理服务器使用28种语言和方言，通过AI近乎实时地帮助改进实时字幕和转录功能。MierOSOftAzure认知服务上的NV

7、ID1AGPU和Triton推理服务器，结合A1模型，帮助提升了涉及28种语言和方言的实时字幕和转录功能的成本效益。SamsungMedison是三星电子旗下一家全球医疗设备公司。该公司正利用NVIDIATensorRT通过智能辅助功能来为其超声波系统提供增强的更优质的医疗影像。SamsungMedison致力于通过提高患者的舒适度、减少扫描时间、简化工作流程并最终提高系统吞吐量来改善患者和医疗健康领域专业人员的生活。“在新款V8高端超声波系统中应用NVIDIATensorRT后，我们能够在查看和诊断图像时更好地为医学专家提供支持，SamsungMedison副总裁、客户体验团队主管Won-C

8、hu1Bang表示。“我们正在积极地将基于AI的技术引入我们的超声波系统，以便为医疗专业人员提供更好的支持，使他们能够专注于患者诊断和治疗等更重要的领域。”SiemensEnergy是一家拥有领先能源技术解决方案的能源专营公司，该公司正利用Triton通过AI来帮助其发电厂客户管理相关设施。“高度复杂的发电厂通常会配备摄像头和传感器,但采用的却是传统软件系统，NVIDIATriton推理服务器出色的灵活性能够让这些发电厂加入自主工业革命，SiemensEnergy自主运营部投资组合经理ArikOtt表示。Snap是一家全球性摄影软件和社交媒体公司，其主要产品和服务包括SnaPChat、Spec

9、tac1es和Bitmoji等。Snap正在使用NVIDIA技术来提高商业变现能力和降低丽:。“Snap使用NVIDIAGPU和TensorRT将机器学习推理的成本效率提高了50%,并将服务延迟降低了2倍，“Snap公司策划与商业变现部门工程副总裁NimaKhajehnoUri表示。”这为我们提供了计算资源，以实践和部署更大型、更准确的广告和内容排名模型。”NVn)IA面向推理的AI平台包括了新的NVIDIA认证系统，全新A2GPUNVIDIA认证系统可以帮助客户在高性能、经济高效且可扩展的基础设施上为各种现代AI应用识别、获取和部署系统，该认证系统现在包含两个新的边缘A1类别。扩展的类别允许

10、NVIDIA系统的合作伙伴为客户提供完整系列的由基于NVIDIAAmpere架构的GPU支持的NVIDIA认证系统，来处理各种实际工作负载。新的NVIDIAA2GPU也包含在内，它是一个入门级、低功耗的紧凑型加速器，适用于边缘服务器中的推理和边缘A1NVn)IAA2与适用于主流企业服务器的NVIDIAA30、适用高性能AI服务器的NVIDIAA1OO一起，为边缘、数据中心和云端的AI推理提供了完整的方案。Atos戴尔科技、技嘉、慧与、浪潮、联想和Supermicro等全球领先的企业系统供应商，其A1系统产品线均支持在NVIDIA认证系统上使用NVIDIAAIEnterpriseo其他系统提供商

11、，如研华科技、ASRockRack、华硕、宁畅、新华三和QCT也为各种工作负载提供了NVIDIA认证系统。包括研华科技、技嘉和联想在内的领先供应商将很快推出首款通过新边缘类别认证的NV1D1A认证系统。供货情况Triton通过NVIDIANGC目录提供。NVIDIANGC是针对GPU优化的AI软件中心，包括框架、工具包、预训练模型和JUPyterNotebooks0TritOn源代码可从TritonGitHub资源库获取。NVIDIA开发者计划成员可通过TensorRT页面获取TenSOrRTo最新版本的插件、解析番和示例也以开源形式提供，可从TensorRTGitHub资源库获取。客户可以通过今日独家发布的NVIDIA1aUnChPad中的全球精选实验室，在NVIDIAAIEnterprise软件套件中体验NVIDIATritonoNVIDIAAIEnterprise软件套件可通过全球NVIDIA渠道合作伙伴获取，包括Atea、AXians、CarahsoftTechno1ogyCorp.、ComputacenterInsightEnterprisesPresidioSiriusSoftServeSVASystemVertriebA1exanderGmbHTDSYNNEXTrace3和WWT。