樱井莉亚qvod

　　本日，2024 云栖大会在杭州云栖小镇厚爱举行，NVIDIA 多位技巧内行将在为期三天的主论坛、专场和并行话题演讲，共享加快筹划技巧和产业试验。

　　与此同期，2 号馆 NVIDIA 展区，将带来数据中心级的端到端技巧栈、生态加快名目、LLM 技巧演示、云上处分决策和用户试验，3 号馆 NVIDIA Inception Pavilion 展区邀请了 10 家亚太地区的 NVIDIA 初创加快计算会员企业展示前 AI 沿用。请奴隶咱们的脚步，先行了解 NVIDIA 怎么亮相 2024 云栖大会！

　　NVIDIA 专场“大谈话模子时期的加快筹划”

　　9 月 20 日 14:00 - 17:45，A 馆 A1-1

　　在NVIDIA 专场，NVIDIA 和阿里云、埃森哲的技巧内行将共享大谈话模子落地的要道身分，并共享全栈加快筹划的技巧教学。

　　NVIDIA 公共副总裁何涛将为专场不雅众致迎接词，尔后，NVIDIA 建筑与技巧部门亚太区资深总监李曦鹏将带来开场演讲 “大谈话模子时期的加快筹划”，鉴于加快筹划是鼓励东谈主工智能、视频处理和数据分析等界限发展的中枢技巧， NVIDIA 通过抓续立异、CUDA、Tensor Core 和 NVLink 等不竭引颈加快筹划的发展。不但提供了遒劲算力，也显耀裁汰了能耗。本叙述将共享大谈话模子时期，加快筹划的“变”与“不变”，并细心西席咱们关于大谈话模子带来的新的技巧调整和“解题想路”。

　　NVIDIA 处分决策架构师金国强和阿里云智能集团弹性筹划高等建筑工程师刘霖将共享“让生成式 AI 垂手而得：NVIDIA NIM 助力企业级大模子推理优化部署”，演讲将展示怎么聚合 NIM 和阿里云容器就业 ACK 提供一套开箱即用，不错快速构建高性能、可不雅测、天真弹性的 LLM 推理就业最好试验，为 LLM 就业部署简化进程，匡助企业客户加快部署生成式 AI 模子。

　　跟着大谈话模子的发展和生成式 AI 的平定落地，算力需求也在爆发性的增长，加快筹划的集群范围也越来越大。怎么构建相宜的集群，合理的使用集群短长常有挑战性的使命。NVIDIA 资深处分决策架构师刘功元将在题为“NVIDIA 加快筹划助力生成式 AI”的演讲中，重心先容 GPU 架构，GPU 集群 Scale-up 和 Scale-out 的演进，以及助力生成式 AI 的落地的最好试验。

　　大谈话模子的查考和推理是 AI 利用的中枢，它对 AI 框架在 GPU 上开动的混沌和时延提议了更高的条件。因此加快筹划是保险 LLM 利用资本铁心和用户体验的基础。

　　NVIDIA GPU 筹划内行张顺康将共享“NVIDIA Megatron-Core MoE：架构、特质与性能优化”，Megatron-Core（简称 MCore）是 NVIDIA 建筑的专注于 LLM 查考的 GPU 优化技巧和系统级立异的漫衍式查考框架。用户不仅不错径直使用 MCore 进行 LLM 的大范围查考，也不错基于 MCore 构建客制化的查考框架，以得志各式特定需求。Megatron-Core MoE（简称 MCore MoE）行动 MCore 的中枢组件，有益针对 MoE 查科场景提供天真并行撑抓和性能优化政策。本次演讲将重心先容 MCore MoE 的技巧特质及性能优化，并以 Qwen2 MoE 模子为例，共享性能调优的最好试验。

　　NVIDIA GPU 筹划内行王猛讲共享“NVIDIA TensorRT-LLM：大模子推理优化最好试验”，诚然 LLM 仍是在很多利用界限证实了其遒劲的结实和生成才智，但要落地到具体利用，还需要克服推理资本高、延长长的问题，并领有易建筑、易调试的用具。为了在 GPU 上取得更低的资本、更快的推理速率，NVIDIA 推出了 TensorRT-LLM (TRT-LLM) 来协助使用者能松懈、快速的用低资本进行 LLM 推理。本次演讲将重心先容 TensorRT-LLM 的基础组件，FP8 量化，并以 Qwen 模子为例，共享推感性能的最好试验。

　　生成式 AI 落地需要加快筹划和云筹划以及生态系统的勾搭立异。

　　因此，专场邀请阿里云智能集团算法内行李鹏，以“PAI-Megatron-Patch：围绕 Megatron-Core 打造大谈话模子查考加快生态”为主题，共享阿里云 PAI 东谈主工智能平台算法团队和 NVIDIA DevTech 团队潜入勾搭，基于 MCore 框架处分的 Qwen2 以及 LLama3.1 开源 LLM 查考加快技巧落地时遭遇的加快开关鲁棒性，以及不休精度等中枢问题。演讲将以接入最新的开源 LLama3.1 场景为例，领先展示从 HuggingFace 模子连接预查考或者微调时权重颐养过程中遭遇的精度对王人问题，接着先容 NVIDIA 前沿架构下最新的 FlashAttention-3，漫衍式通讯优化以及 offloading 技巧。

　　专场也邀请了阿里云智能集团高等技巧内行张杰（王林）带来以“PAI-ChatLearn：借助 Megatron-LM 已矣高效 Alignment 查考”的共享， PAI-ChatLearn 是阿里云 PAI 团队自研并开源的、天真易用的、大范围 Alignment 高效查考的框架。撑抓 RLHF、DPO、OnlineDPO、GRPO 等 Alignment 查考。本次演讲主要先容 PAI-ChatLearn 架构、怎么协同 Megatron-LM 等 backend 来进行 Alignment 查考加快、性能和恶果等。专场终末，NVIDIA 亚太区企业级软件负责东谈想法旭、埃森哲大中华区技巧就业行状部资深处分决策架构师杨阳和阿里云智能集团弹性筹划建筑工程师高涵将以 “NVIDIA AI Enterprise 助力传统企业 LLM 上云” 为主题，共享怎么基于定制企业特别数据和微调模子，助力打造定制化的企业级处分决策。

　　NVIDIA 展区积蓄前沿加快筹划技巧和试验

　　2 号馆 2-12

　　基于 CUDA 的加快筹划，是大谈话模子时期下，AI 落地和产业焕新的技巧底座；数据中心正在演变为由比比皆是 GPU 构建的 AI 工场，鼓励新一轮生成式 AI 的打破。

　　在 NVIDIA 展区，NVIDIA 将展示在筹划各个层级上的加快筹划技巧，包括 NVIDIA RAPIDS cuDF、NeMo 、 Megatron-Core、TensorRT-LLM、Triton 推理就业器、NIM 预构建容器用具、Spectrum-4 SN5600 收罗交换机、 BlueField -3 收罗平台、基于 NVIDIA Spectrum-4 的阿里云白盒以太网交换机 ，以及 Omniverse 等。

　　精彩技巧演示

　　大会不雅众在 NVIDIA LLM 互动技巧演示区大排长龙。咱们展示了由 Inworld AI 与 NVIDIA 勾搭创建的动态 NPC 交互技巧演示，它集成 NVIDIA Riva 自动语音识别功能以已矣准确的语音转文本，并使用 NVIDIA Audio2Face 提供传神的面部动画。

　　另一个使用 Stable Diffusion ComfyUI 利用的图像生成技巧演示，借助 NVIDIA RTX 已矣了 10 倍更快的图像生成和一步式查考 ControlNets，ComfyUI 通过 TensorRT 加快，可将图像和视频生成速率提高 60%，体验者约略基于即时自拍照，来创建超等强者形象并在几秒钟内完成。

丝袜吧

　　学习资源共享

　　NVIDIA 初创加快计算起劲于培养颠覆行业形态的优秀创业公司，其展示实质将在现场灵通。此外，您还会看到 NVIDIA 企业建筑者社区和 NVIDIA 深度学习培训中心（DLI），为创业者、建筑者和学习者提供丰富的资源和撑抓。到访“NVIDIA 实战培训”互动体验区，您不错现场体验 NVIDIA 培训配备云表实验环境的在线自学课程，并从 50 门课程中解放遴荐领取多门免费课程。到访不雅众还有异常培训课程的免费兑换权柄。此外，“NVIDIA AI 小课堂”也将定期而至，为参会者提供与讲师互动的契机，让您切身感受 AI 技巧带来的魔力与变革。

　　客户用例展示

　　此外，在 NVIDIA 展区您还不错看到云上处分决策和客户用例，包括：

　　猿诱惑集团：Motiff 妙多 AI 时期联想用具，基于 NVIDIA 加快筹划，驱动 AI 径直生成居品界面。

　　祥瑞集团：极氪雄伟智驾 2.0 启动端到端大模子，基于 NVIDIA 芯片，打造智驾新体验，自研域控，行车，停车与主动安全全场景笼罩，城市领航功能寰宇都能用。

　　阿里云容器就业（ACK）：在阿里云容器就业 ACK 集群上部署 NIM 预构建容器用具，使用其云原生 AI 套件，开源的 KServe 等组件和 Prometheus 监控就业，以及 NIM 提供的丰富监控筹划，快速拉起高性能、可及时不雅测、极致弹性的模子推理就业。

　　魔搭社区：魔搭社区上线 TensorRT-LLM，撑抓主流 LLM 推理优化和常用量化行径，并适配不同环境，其中使用 FP8 量化，可获取比较 HuggingFace 基准，最高 8.6 倍的全体推感性能擢升。

　　蚂聚会团：图谱自动构建和委果问答，基于 LLM 的私域常识库自动图谱构建和委果问答。

　　阿里云云工开物校园云：NVIDIA 与阿里云撑抓中国高校 AI 通识培植。

　　阿里云函数筹划（FC）：阿里云与 NVIDIA 共同打造更高效的推理平台，推理速率擢升 30%。

　　月之暗面：Kimi 底层推理平台 Mooncake——基于 KVCache 的鉴识式推理架构。

　　阿里云筹划巢就业：NVIDIA AI Enterprise 聚总筹划巢已矣 LLM 快速 SaaS 化和软件一站式上云。

　　vGPU：按 “虚” 而动，势在必行，NVIDIA vGPU 处分决策助力阿里云弹性筹划。

　　来 NVIDIA Inception Pavilion 展区

　　一览前沿 AI 利用

　　3 号馆 3-11K NVIDIA 初创加快计算起劲于培养颠覆行业形态的优秀创业公司。本年，10 家 NVIDIA 初创加快计算会员企业亮相大会，其中 4 家亚太区域会员企业更是初次亮相云栖大会。迎接您探展 NVIDIA Inception Pavilion 展区，了解来自不同国度和地区的创业企业的最新技巧打破。

　　参展企业：

　　6Estates FathomX Pte.Ltd.

　　MetaLearner

　　8glabs Inc.

　　WeShop

　　深圳幻影畴前信息科技有限公司

　　万生华态科技有限公司

　　北京睿甄立异科技有限公司

　　酷牛立异技巧（深圳）有限公司

　　埃罗科技（上海）有限公司

　　在 2024 云栖大会的首日樱井莉亚qvod，NVIDIA丰富多元的展示和演讲为大会增添了总共靓丽的 “加快筹划”表象线。迎接您抓续关怀NVIDIA在 2024 云栖大会的精彩呈现。