红帽通过RHEL AI推动开源生成式AI创新的普及

红帽公司日前宣布推出红帽企业Linux AI(RHEL AI)。这是一个基础模型平台,能够使用户更加便捷地开发、测试和部署生成式人工智能(GenAI)模型。RHEL AI整合了IBM研究院的开源授权Granite大型语言模型(LLM)系列、基于大规模对话机器人对齐(LAB)方法的InstructLab模型对齐工具,以及通过InstructLab项目实施的社区驱动模型开发方法。该解决方案被封装成一个优化的、可启动的RHEL镜像,用于在混合云环境中部署单个服务器,并已集成到OpenShift AI中。OpenShift AI是红帽的混合机器学习运营(MLOps)平台,能够在分布式集群环境中大规模运行模型和InstructLab。

ChatGPT的推出极大地激发了社会对生成式AI的兴趣,自那以来,相关创新的步伐不断加速。企业已从对生成式AI服务的初步评估转向开发并启用AI的应用程序。一个快速成长的开放模型生态系统进一步促进了AI的创新,并说明了不会有一个独占鳌头的模型。客户将受益于多样化的选择,从而满足其特定需求,这一过程还将通过开放创新的方式得到加速推进。

实施AI策略远不止选择一个模型那么简单。企业需要专业知识来为特定场景调整适当的模型,并且还必须处理AI实施过程中的显著成本难题。数据科学技能的稀缺性,加之以下几个方面的财务需求,使得情况更为复杂:

· 购置AI基础设施或使用AI服务

· 针对特定商业需求调整AI模型的复杂流程

· 将AI融入企业应用

· 管理应用程序及其模型的生命周期

为了真正降低进入AI创新的门槛,企业需要扩大参与AI项目的人员范围,同时控制相关成本。通过使用InstructLab对齐工具、Granite模型和RHEL AI,红帽致力于将自由获取、重复利用、透明开放以及鼓励贡献等开源项目的优势应用于生成式AI。

通过InstructLab在开放环境中构建AI

IBM研究院开发了大规模对话机器人对齐(LAB)技术,这是一种利用分类指导合成数据生成和创新的多阶段调整框架的模型对齐方法。此方法通过减少对昂贵人工注释和专有模型的依赖,使AI模型的开发变得更加开放和易于接触。采用LAB方法,可以通过指定分类下的技能和知识,大规模生成影响模型的合成数据,并利用这些数据训练模型。

在意识到LAB方法能显著提升模型性能后,IBM和红帽决定推出InstructLab,这是一个围绕LAB方法和IBM开源Granite模型构建的开源社区。InstructLab项目的目标是使开发者通过简化LLM的创建、构建和贡献过程,像参与任何其他开源项目一样,将LLM开发的权力交到开发者手中。

在InstructLab的启动过程中,IBM还公开发布了一系列精选的Granite英语和编程模型。这些模型在Apache许可证下发布,确保了对训练模型所用数据集的透明度。Granite 7B英语模型已整合到InstructLab社区,最终用户可以像对其他任何开源项目那样,共同贡献技能和知识,从而提升该模型。对于Granite编程模型,InstructLab将很快提供类似的支持。

在可信赖的Linux基础上进行开源AI创新

RHEL AI沿用这种开放式AI创新方法,融合了企业级就绪的InstructLab项目和Granite语言与代码模型,及全球领先的企业级Linux平台,简化了混合基础设施环境中的部署。这样构建了一个基础模型平台,使开源许可的生成式AI模型能够被企业所使用。RHEL AI包括:

· 红帽支持和保障的开源许可Granite语言和代码模型。

· 提供支持并具有生命周期管理的InstructLab分发版本,这是一种可扩展且成本效益高的解决方案,能够增强大型语言模型(LLM)的功能,并使知识与技能的贡献得到更广泛的用户接纳。

· 通过RHEL镜像方式提供的优化可启动模型运行实例,包括Granite模型和InstructLab工具包,及优化的Pytorch运行时库和针对AMD Instinct™ MI300X、Intel和NVIDIA GPU以及NeMo框架的加速器。

· 红帽提供的完整企业支持和生命周期保证,从可信的企业产品分发开始,提供24小时全天候生产支持和扩展的生命周期支持。

随着各组织在RHEL AI上试验和调整新AI模型,他们可以通过红帽OpenShift AI来扩展这些工作流,OpenShift AI将包含RHEL AI,并利用OpenShift的Kubernetes引擎在大规模训练和部署AI模型,以及OpenShift AI的集成MLOps能力来管理模型的生命周期。IBM的watsonx.ai企业工作室建立在红帽OpenShift AI上,RHEL AI一旦在OpenShift AI中可用,将带来额外的企业AI开发、数据管理、模型治理和性价比改进的能力。

云是混合的,AI亦如此

过去三十多年,开源技术不仅推动了快速创新,还大幅降低了IT成本并降低了创新门槛。从21世纪初通过RHEL提供开放式企业Linux平台,到通过红帽OpenShift推动容器和Kubernetes成为开放式混合云和云原生计算的基础,红帽几乎一直引领着这一潮流。

红帽在开放混合云中赋能人工智能/机器学习战略,支持人工智能工作负载在数据所在的地方运行,无论是在数据中心、多个公有云或边缘。除了支持工作负载外,红帽的人工智能愿景还将模型训练和调整引向同一方向,以更好地应对数据主权、合规和操作完整性等方面的限制。红帽的平台为这些工作负载提供跨环境的一致性,无论它们在何处运行,这对于顺利推进人工智能创新至关重要。

RHEL AI和InstructLab社区进一步落实了这一愿景,消除了试验和构建AI模型的多个障碍,提供了推动下一代智能工作负载所需的工具、数据和概念。

上市时间

红帽企业Linux AI目前已作为开发者预览版提供。在IBM云上已建立的GPU基础设施用于训练Granite模型并支持InstructLab,现IBM云将增加对RHEL AI和OpenShift AI的支持。此整合将使企业能够更轻松地将生成式AI部署至其关键任务应用程序中。

支持证言

Ashesh Badani,红帽高级副总裁兼首席产品官

“对企业来说,生成式AI(GenAI)代表了一次革命性的飞跃,但这需要企业真正部署起来,并针对其具体业务需求使用AI模型。通过结合红帽OpenShift AI的广泛应用,RHEL AI和InstructLab项目旨在降低混合云中生成式AI所面临的多种挑战,从数据科学技能的限制到巨大的资源需求,同时促进企业的部署并推动上游社区的创新。”

Ramine Roane,AMD公司AI部门副总裁

“AI是过去五十年中技术最重要的变革之一。为了促进AI更广泛的采用,构建AI应用的模型和工具需要对企业可达。RHEL AI基于可信赖的Linux基础,配备开源工具和模型,是支持此类需求的平台之一,我们很高兴支持红帽利用我们的AMD技术推动企业AI的进步。”

Jeremy Foster,思科网络-计算部门高级副总裁兼总经理

“AI运动是企业的一次巨大变革,许多组织正在探索最佳前进路径。思科持续与红帽紧密合作,推进AI的采用,RHEL AI将通过提供开源启用的大型语言模型(LLM),作为企业就绪的Linux平台的一部分来加速创新。”

Gil Shneorson,戴尔解决方案平台高级副总裁

“戴尔一直在提供可靠和一致的基础设施生命周期管理方面处于先驱地位;我们认为,随着系统的持续演化,为企业IT操作提供持续的、可靠和安全的系统更新至关重要。使组织能够扩展代码更新并减少部署时间的新技术,将是保持创新进程的关键。”

Frances Guida,惠普企业计算解决方案和AI总监

“HPE与红帽合作了二十年,提供结合了HPE计算平台和RHEL的行业领先解决方案。在快速增长的技术领域如生成式AI中,开放环境对创新至关重要,我们期待与RHEL AI和红帽探索新的合作领域,助力惠普客户取得成功。”

Darío Gil,IBM高级副总裁兼研究总监

“真正的开源创新引入AI模型开发,并利用广阔的社区力量,将改变企业对AI采用和扩展计划的思考方式。IBM一直支持开源社区,支持了Linux、Apache和Eclipse等有影响力的社区,我们与红帽的合作是我们致力于构建安全、负责任且高效AI的开放方式的一大步。RHEL AI和InstructLab,结合IBM的开源Granite模型家族,将为那些寻求为其特定用途构建模型的客户提供新的价值和选择。”

Hillery Hunter,IBM基础设施创新首席技术官兼总经理

“许多企业都在努力将AI融入其关键任务应用程序。RHEL AI和OpenShift AI在IBM云上的可用性将彻底改变社区和公司构建及利用生成式AI的方式。我们正在促进开放合作,简化模型定制,并为将AI整合到每个应用程序中提供企业级支持的模型和工具。”

Justin Hotard,英特尔数据中心及AI集团执行副总裁兼总经理

“AI的广泛采用需要完全开源,社区成员应该贡献并创造新的应用和使用案例。通过整合开源的Granite模型和InstructLab项目,RHEL AI正为我们与生产中的AI模型的互动方式、调整和最终使用中带来重大变革。”

Kirk Skaugen,联想ISG总裁

“部署AI驱动应用的客户需要能在一个可信、熟悉但仍具创新性的平台上测试和实验潜在模型。联想认为AI的未来是混合式的,我们视RHEL AI为广泛混合AI创新的关键途径,并通过红帽OpenShift AI实现生产规模化。我们很高兴与红帽合作,在我们的ThinkSystem 8-GPU服务器上进行联合测试,推动混合AI创新。”

Justin Boitano,NVIDIA企业产品副总裁

“红帽和NVIDIA长期以来一直保持紧密合作,红帽企业Linux AI展示了我们共同致力于为开发者和研究者提供全面的计算和软件解决方案,帮助他们构建下一波AI技术和应用。”