本文由LEYU乐鱼电子芯片翻译

Nvidia 的 NIM 战略在某种程度上不为人知，该战略使开发人员能够更轻松、更快速地创建 AI 应用程序。已经有一些关于 Nvidia Inference 微服务的讨论，但是当像  这样的东西出现时，可能很难抢走大部分的聚光灯。

 

也就是说，NIM 对于 Nvidia 使用聊天机器人等生成式 AI 工具让用户开发 AI 软件的更大计划非常重要。Nvidia 表示，NIM 提供了软件工程师所需的一切，这些微服务位于类似容器的环境中，并以预构建的微服务形式交付，可以部署在云或数据中心以及工作站等系统上。基于 Kubernetes 构建的 NIM 容器包括开源大型语言模型、云原生堆栈、Nvidia 的 TensorRT 和 TensorRT-LLM、其 Triton 推理服务器和标准 API，并且是 Nvidia 更大的 AI Enterprise 战略的一部分。

 

根据 Nvidia 企业 AI 软件产品副总裁 Justin Boitano 的说法，NIM 是他所说的第二波生成式 AI 浪潮的一部分，这将发生在企业中，让企业利用其机构知识来经营业务、与客户互动和更快地进行创新。第一波浪潮是在 2022 年 11 月下旬 OpenAI 的 ChatGPT 推出后的热情推动下的，由基础模型制作者推动，涉及将生成式 AI 注入互联网服务，通过编写语言和代码来提高个人的生产力。

 

在这股LEYU乐鱼潮中，“生成式 AI 将帮助团队通过复杂的业务流程和供应链依赖关系进行推理，以企业前所未有的速度将新产品和服务推向市场，”Boitano 在本周加利福尼亚 Hot Chips 展前的简报会上告诉记者和分析师。“这实际上是开放模型的引入，例如 。这些模型代表了惊人的进步，为企业带来了新的智能水平，而几年前大多数人无法想象在数据中心运行。

 

他说，创建 NIM 是为了让此类模型大规模、在生产中和安全运行，并补充说 Nvidia 现在正在与一系列 AI 模型构建者合作，使用 NIM 从根本上使他们的模型成为高性能和高效的运行时。

Boitano 表示：“这些 NIM 提供性能优化，使令牌吞吐量效率比其他解决方案快 2 到 5 倍，当公司在 Nvidia 系统上运行生成式 AI 时，可提供最佳的总拥有成本。“通过与社区模型构建者、专有模型构建者生态系统以及我们自己的模型合作，我们确保任何企业的任何模式都可以无缝工作，从而为使用 Nvidia AI Enterprise 的客户获得最佳代币效率。”

 

在 Hot Chips 上，Nvidia 在 NIM 方面又迈出了一步，为想要创建自定义生成式 AI 应用程序的开发人员推出了 NIM 代理蓝图。它们是参考 AI 工作流，包括基于 NIM 和合作伙伴微服务的示例应用程序、参考代码、概述自定义的文档以及用于部署应用程序的 Helm 图表（详细说明 Kubernetes 集群资源并将其打包为应用程序的文件）。开发人员可以修改蓝图。

 

Boitano 表示：“这是一个不断增长的参考应用程序目录，专为常见用例而构建，它们编码了 Nvidia 与早期采用者的经验中的最佳实践。“Nvidia NIM 代理蓝图是可运行的 AI 工作流，针对特定用例进行了预先训练，任何开发人员都可以对其进行修改。它们是执行我们认为企业中一些最重要的业务任务的起点。

 

NIM 代理蓝图是 Nvidia 所描述的“数据飞轮”的一部分，它超越了加速模型。这些模型需要增强和定制，以满足组织及其使用案例的特定需求。他说，在飞轮理念下，当 AI 应用程序运行并与用户交互时，它们会生成数据，这些数据可以反馈到流程中，并用于在持续学习周期中改进模型。

 

 

“ 是运行这个飞轮的引擎，”Boitano 说，并补充说“Nvidia AI Foundry 是运行 NeMo 飞轮的工厂，这些定制的生成式 AI 应用程序使企业能够以更好、更高质量的体验吸引客户和员工。

 

他补充说，“应用程序构建过程实际上从 NIM 开始，但为了构建数据飞轮，Nvidia NeMo 框架用于数据管理、模型定制、评估，并用于增强应用程序以使其重新投入生产。NeMo 加速了生成式 AI 应用程序开发生命周期的所有计算密集型阶段，我们拥有广泛的合作伙伴生态系统，这些合作伙伴基于 NeMo 和 NIM 构建，使企业能够轻松开发自己的生成式 AI 应用程序。

 

 

自最初的生成式 AI 热潮以来，组织一直在谈论组织需要能够通过将公司数据整合到训练和推理组合中来定制其 AI 工作，这一推动力带来了检索增强一代 （RAG）。

 

Nvidia 最初发布了三种场景的蓝图，包括用于客户体验的数字人 - 用于创建可以与用户互动的 3D 数字人 - 支持多渠道通信并连接到 RAG 系统。另一个用于企业 RAG 的多模态 PDF 数据提取。

 

“企业每年生成数万亿个 PDF，这些 PDF 包含多种数据类型，包括文本、图像、图表和表格，”他说。“多模态 PDF 数据提取蓝图可帮助组织准确提取其海量企业数据中包含的知识，有效地允许用户通过聊天界面访问这些数据，或快速将数字人转变为任何主题的专家，并使您的员工能够做出更明智、更快速的决策。”

 

最后是加速药物发现，使用生成式 AI 来模拟可以靶向蛋白质并与蛋白质结合的分子。

 

 

Nvidia 正在引入 Accenture、Deloitte、SoftServe、Quantiphi 和 World Wide Technology 来提供 NIM Agent Blueprints、Dataiku 和 DataRobot，用于精细转换模型和监控，LlamaIndex 和 Langchain 用于构建工作流程，Weights and Biases 用于评估应用程序，以及用于网络安全的 CrowdStrike、Datadog、Fiddler AI、New Relic 和 Trend Micro。来自 Nutanix、Red Hat 和 Broadcom 的企业产品组合将支持这些蓝图。

 

它们还将在 Cisco、Dell Technologies、Hewlett Packard Enterprise 和 Lenovo  的系统上运行，以及 Amazon Web Services、Google Cloud、Azure 和 Oracle Cloud Infrastructure 的上运行。

原文链接：//www.nextplatform.com/2024/08/27/nvidia-rolls-out-blueprints-for-the-next-wave-of-generative-ai/