谭中意

LF AI Outreach 主席、第四范式架构师，中国开源推进联盟副秘书长，星策社区发起人
Ibrahim Haddad

LF AI & Data 基金会执行董事，PyTorch 基金会执行董事
杨轩

Linux基金会亚太区副总裁
堵俊平

LF AI & DATA基金会主席，ASF成员
王楠

Jina AI 联合创始人兼CTO
何芦微

华为资深开源工程师
陈迪豪

第四范式架构师
李晨

Zilliz 开发者关系及市场运营负责人，Linux Foundation APAC Evangelist
Peng Wu

Engineering Manager supporting the PyTorch compiler team
张军

百度飞桨框架产品负责人，开放原子开源基金会TOC委员
彭麟

VMware CTO 办公室资深研究员
袁丽雅

中兴通讯标准及开源高级工程师
王家军

倍赛科技 技术研发总监
彭周虎

OPPO开源办公室负责人
常诚

印象笔记研究院负责人
马鸣飞

高级深度学习软件工程师
丁辰

阿里云PAI 技术专家
陈其友

旷视科技 MegEngine 团队负责人
徐合邦

字节跳动基础架构计算框架研发工程师
Tiejun Chen

Sr. Technical lead
王峰

Jina AI 高级算法工程师
日程安排

09:00-09:20

Welcome and Introduction 下载PPT

/
谭中意 | LF AI Outreach 主席、第四范式架构师，中国开源推进联盟副秘书长，星策社区发起人

09:20-09:40

Keynote

Keynote
Ibrahim Haddad | LF AI & Data 基金会执行董事，PyTorch 基金会执行董事

09:40-10:00

AI & Data: painpoints and the future. 下载PPT

当下，由ChatGPT引爆的大语言模型革命正在产生深远影响。作为智能时代最稀缺的资源之一，数据的重要性毋庸置疑，也经常成为各大企业与研究机构模型研发与调优的瓶颈。本议题重点讨论大模型背后的数据痛点以及面向未来的应对方案。
堵俊平 | LF AI & DATA基金会主席，ASF成员

10:00-10:20

大规模语言模型在智能文档问答的应用：基于Langchain和Langchain-serve的解决方案 下载PPT

文档问答系统的任务是从文档数据中查找与用户问题相关的答案。由于文档数量不断增加，传统的搜索已经不能满足人们的需求。随着深度学习模型的发展，文档问答系统从基于字符匹配的方法迁移到基于向量表示的方法。但是，它们仍然只能返回与问题相关的段落，不能直接给出问题的答案，尤其是对于是否类问题。最近，大规模语言模型的能力不断提升，为文档问答系统的答案生成问题提供了解决方案。新一代的文档问答系统将传统模型、深度学习问答模型和大规模语言模型技术融合在一起，为用户提供更完善的文档问答服务。本次演讲将介绍如何使用Langchain开发框架和Langchain-serve部署工具来开发智能文档问答系统。
王楠 | Jina AI 联合创始人兼CTO

10:20-10:40

昇思大模型一站式易用实践 下载PPT

人工智能发展到今天，已经从”大炼模型“逐步迈向”炼大模型“。相比传统针对特定应用场景需求进行训练的模型，大模型泛化能力强，不再局限于单一特定场景，也因此它需要更大更广数据量的”投喂“，需要更强的算力训练，这些都需要巨量的成本，绝大部分开发者基本无法承担，如何降低大模型的训练和应用门槛成了新的难题。 在本次议题中，我们将带来昇思大模型一站式易用实践分享，介绍昇思 MindSpore 社区打造的一站式大模型平台，它集模型选型、在线推理、在线训练为一体，支持大模型的在线体验及微调，让开发者零距离接触紫东·太初以文生文，悟空画画以文生图，Luojia遥感检测等大模型应用。
何芦微 | 华为资深开源工程师

10:40-11:00

AI 数据库 OpenMLDB 应用实践 下载PPT

AI已经成为计算机基础架构中不可或缺的一环，而针对AI场景优化的数据库也应运而生。AI数据库不仅功能上要满足特征工程以及机器学习模型的上线需求，在离线和在线性能上也有更高的要求。本次分享将以OpenMLDB项目为例，深入介绍AI数据库的应用场景和性能优化，实现特定AI场景快速落地以及数倍甚至数十倍的性能提升。
陈迪豪 | 第四范式架构师

11:00-11:20

向量数据库：面向 AIGC 的海量记忆体 下载PPT

在 AIGC 大火的时代，向量数据库在海量非结构化数据处理中发挥着越来越重要的作用，本次分享将重点介绍在 AIGC 浪潮里，向量数据库如何为 AI 赋能。
李晨 | Zilliz 开发者关系及市场运营负责人，Linux Foundation APAC Evangelist

11:20-11:55

PyTorch 2.0：将编译器技术引入 PyTorch 内核

PyTorch 2.0 利用编译器实现更快的训练和推理，同时不牺牲 PyTorch 的灵活性和易用性。本次演讲将概述新 torch.compile() API 背后的技术栈，并讨论 PyTorch 2.0 的关键特性，包括其完全向后兼容以及模型训练速度提高43%。我们将介绍各种堆栈组件，如 TorchDynamo、AOTAutograd、PrimTorch 和 TorchInductor，以及它们如何协同工作以简化模型开发过程。参会者将更深入地了解 PyTorch 2.0 架构以及在深度学习框架中整合编译器技术所带来的优势。
Peng Wu | Engineering Manager supporting the PyTorch compiler team

13:30-14:00

开源深度学习框架飞桨及其开源社区

本报告结合生成式AI的最新发展趋势和百度的实践，介绍百度深度学习平台+大模型核心技术研发、产品创新和生态建设的进展。报告同时分享围绕飞桨产业级深度学习开源开放平台、在新趋势下开展产教融合教育生态建设的思考。
张军 | 百度飞桨框架产品负责人，开放原子开源基金会TOC委员

14:00-14:20

当联邦学习遇到大型语言模型 下载PPT

联邦学习使得多个数据源可以在不共享数据的情况下协同训练一个模型。近年来，基于 transformer 的大型语言模型越来越受欢迎。然而，这些模型由于其高计算资源需求和复杂算法而带来挑战。在本次演讲中，我们将介绍 FATE 在金融用例中将联邦学习应用于 GPT-J、ChatGLM-6B、GLM 和 LLaMA 等大型语言模型方面的最新努力。FATE 将联邦学习的分布式训练机制与大规模模型相结合，在保持各方敏感数据仅限于本地域内的同时允许根据每个参与者实际数据量进行计算投入。这使得能够共同培训大规模模式并互惠互利。我们还将探讨技术和实践考虑因素、现实世界用例以及对隐私保护机制的需求。
彭麟 | VMware CTO 办公室资深研究员

14:20-14:40

模型推理优化，探索AI落地潜能 下载PPT

大模型的趋势已经势不可挡，如何提高模型推理效率成为亟待解决的问题。本报告将介绍模型推理优化的技术现状及趋势，并分享Adlik项目在该领域的实践。
袁丽雅 | 中兴通讯标准及开源高级工程师

14:40-15:00

Xtreme1 下一代多模态开源训练数据平台 下载PPT

UBS Global 研究报告发现：现如今AI工程师70%-90%的时间都花费在训练数据上。很多算法在实践中已非常优秀，数据已然成为AI模型开发新的瓶颈。基于以上现状，倍赛科技团队研发出Xtreme1训练数据平台，致力构建最容易触达的开源 Data-Centric MLOps 基础设施，以连接人、模型和数据。Xtreme1首次引入本体Ontology来穿透不同AI客户的问题抽象，是全球首个支持多模态数据标注的开源工具，全面遵循云原生架构原则，以保证服务性能的可扩展性，部署规模的可弹性，以及在故障情况下的服务韧性。
王家军 | 倍赛科技 技术研发总监

15:00-15:20

OPPO移动端图形技术领域探索实践 - O3DE Mobile WG及shaderNN 下载PPT

近年来，随着移动端算力的不断提升和深度学习研究的快速发展，特别是小网络模型不断成熟以及数据安全的要求越来越高，越来越多的原本在云端执行的推理转移到移动端上来实现。移动平台的深度学习推理涉及硬件平台、驱动、编译优化、模型压缩、算子算法优化以及部署，适合系统业务开发的高效推理框架成为业界迫切需求和开发重点。 基于移动端图形图像后处理高效AI推理需求，为降低业务融合成本，提高效能，我们开发了基于GPU Shader高效推理引擎ShaderNN。它直接基于GPU纹理进行高效推理以节省I/O时间， 不依赖第三方库，跨不同硬件平台，支持主流深度学习训练框架，可定制，方便优化、集成、部署和升级。
彭周虎 | OPPO开源办公室负责人

15:20-15:40

下一代知识工具：以用户为中心的个性化语言模型和混合部署策略 下载PPT

深入剖析个性化语言模型的巨大潜力与挑战，讨论如何通过这些先进的模型颠覆传统的知识管理工具, 更好地为知识工作者提供服务，带给他们前所未有的便利性和效率，从而重塑知识工作的未来。
常诚 | 印象笔记研究院负责人

15:40-16:00

英特尔的 PyTorch 之旅：AI算力提升和开源软件优化 下载PPT

PyTorch是深度学习和机器学习最流行的框架之一，英特尔一直是 PyTorch 社区的长期贡献者和宣传者。在本次演讲中，我们将分享在核心框架及其生态系统库中为 PyTorch 做出贡献的经验。我们将详细介绍我们在torch.compile中的优化，这是PyTorch 2.0的旗舰新功能，并展示其在CPU上的性能优势。我们将展示如何通过硬件算力的提升和开源软件的优化，让AI应用更加平民化，如基于扩散的生成式AI和大语言模型。 我们还将介绍过去参与的一些PyTorch生态系统项目，例如HuggingFace，DeepSpeed，PyG等等。最后，我们将讨论未来的计划和愿景，继续与PyTorch基金会合作，以推动深度学习和机器学习朝着更好的方向发展。
马鸣飞 | 高级深度学习软件工程师

16:00-16:20

DeepRec: 面向推荐场景的高性能深度学习框架 下载PPT

DeepRec 是阿里云机器学习平台 PAI 开源的面向推荐场景的高性能深度学习框架，针对稀疏模型在分布式、图优化、算子、Runtime 等方面进行了深度的性能优化，同时提供了动态弹性特征，动态弹性维度，自适应 EmbeddingVariable、增量模型导出及加载等一系列功能。DeepRec在阿里巴巴集团内部应用于淘宝、天猫、阿里妈妈、高德、淘特、AliExpress、Lazada等，在核心业务上支撑着千亿特征、万亿样本的超大规模稀疏训练。DeepRec开源一年多以来，已经在数十家公司的搜推广业务场景中大规模应用，带来了巨大的业务价值。
丁辰 | 阿里云PAI 技术专家

16:20-16:40

旷视算法量产与 MegEngine 生态建设 下载PPT

目前 AI 技术应用已经在各种领域得到验证，它具有比传统算法更高的生产力。但是随着大量的 AI 算法的需求，传统的针对某个具体场景进行数据采集，标注，模型训练，验证，交付的算法生成方式成为了 AI 落地的瓶颈。MegEngine 团队围绕 MegEngine 训练框架，提出一种基于各个阶段标准化的算法量产的方法来减低 AI 落地的门槛，为了实现算法量产，MegEngine 开发了一系列组件，他们共同形成了 MegEngine 的算法量产的生态，正在逐步开源。
陈其友 | 旷视科技 MegEngine 团队负责人

16:40-17:00

Primus - 通用的分布式训练调度框架 下载PPT

近些年来，机器学习科技已经深植各应用领域，并且成功带来显着的提升。面对与日具增的训练资料和模型规模，为了满足更高效率的模型训练，分布式训练的概念顺应而生。作为一个通用的分布式训练调度框架，Primus 提供一个通用的介面桥接了分布式训练任务和物理计算资源，让资料科学家可以专注与学习算法的设计，并且让分散式训练任务可以运行在不同种类的计算集群，例如 Kubernetes 和 YARN。于此基础上，Primus 更提供了分布式训练任务所需的容错能力以及资料调度能力，进而更提升了分布式训练的易用性。 【演讲提纲】 1. 分布式训练概况 2. Primus 结构及功能 a.资料调度能力 b.Primus UI c.Primus API 3. 开源 Primus 现况及未来 【你将获得】 Primus 在字节跳动的站内现况及实践 Primus 和分布式训练领域的相关挑战、及未来展望
徐合邦 | 字节跳动基础架构计算框架研发工程师

17:00-17:20

透明后端图编译器无缝提升 ML 上游框架 下载PPT

当前有一个新兴趋势：观测性从云向边缘转移，这时 AI 工作负载往往通过高层级 ML 框架（如 Ray）进行管理和编排。但与此同时，各种厂商的 AI 加速器（如 Nvidia GPU 系列、Intel Movidius VPU、Google TPU 等）已经实现了 AI 加速。实际上可以看到许多基于 ASIC 的 AI 加速器。另一方面，存在着各种图编译器（如 TVM、Intel OpenVINO、TensorRT 等）用来提高 ML 性能，但碎片化严重。因此，在现实世界中用户在赋予这些异构 AI 加速器不同软件加速时面临挑战，原因是缺少一个自然支持它们的通用统一框架。本次演讲将分享引入透明后端加速技术来自动提升流行 ML 上游框架（如 Tensorflow、Pytorch、TorchServe、Tensorflow Serving等）上异构AI加速器上的 ML性能，并与那些主流ML图编译器无缝结合。通过我们对主流 ML 框架零代码更改方法，用户可以在他们原始的 AI 应用上看到提升的 ML/AI 性能。
Tiejun Chen | Sr. Technical lead

17:20-17:40

OpenGPT：LMM 多模态大模型推理框架 下载PPT

大语言模型和多模态技术已经成为趋势，以 GPT-4 为代表的 AI 能力的提升，从实现单调的文本交互，转变为可以接受图像、文本作为输入。越来越多基于大模型的多模态技术涌现出来，但是在实际工业产品落地过程中仍然存在诸多挑战。特别是针对模型推理问题又有更多新的问题需要解决。本次分享将以 OpenGPT 项目为例来介绍 Jina AI 在解决大模型产品落地问题的实践。 演讲提纲： - 大模型 & 多模态技术的时代 - 多模态大模型推理服务的挑战 - OpenGPT 项目技术揭秘 - 总结和展望
王峰 | Jina AI 高级算法工程师
©开源中国(OSChina.NET) 深圳市奥思网络科技有限公司版权所有 粤ICP备12009483号