首页科普 正文
目录

如果是个伪命题,大模型时代的「云」应该怎么建?

淼同 科普2024-07-125570
大模型竞赛,这家云巨头不迷信万能模型。作者|ray编辑|郑玄2024年的大模型产业,注定将是会被反复提起的历史一页。这一年,被按下加速键的市场,刚刚过半,就已经显示出冰火两重天的格局:算法的单模态扩展到多模态,趋势如燎原之火,让全球陷入对世界模型畅想的狂欢中醺然欲醉;一级市场却逐渐走向熄火,投资人从向大牛要论文,变成了向企业要收入,百模齐发迅速被简化为几家独...

大模型竞赛,这家云巨头不迷信万能模型。

作者|ray

编辑|郑玄2024年的大模型产业,注定将是会被反复提起的历史一页。

这一年,被按下加速键的市场,刚刚过半,就已经显示出冰火两重天的格局:算法的单模态扩展到多模态,趋势如燎原之火,让全球陷入对世界模型畅想的狂欢中醺然欲醉;一级市场却逐渐走向熄火,投资人从向大牛要论文,变成了向企业要收入,百模齐发迅速被简化为几家独角兽之间的资本与技术持久战;云服务巨头,则以一种标准制定者,以及顶级大模型团队背后力量的角色出现,成为市场中隐形的手。在他们的主导下,过去IaaS、PaaS、SaaS的角色分工,在AI时代被芯片层、框架层、模型层和应用层取代,又迅速进化为基础设施、工具和应用的新「三层架构」。技术的发展,基础设施的成熟,让千行百业都产生了所有生意都值得在大模型时代重做一遍的信仰。但如何低成本、高质量的重新做一遍,是所有企业,必须回答的关键问题。一定程度上,今天凌晨举办的2024年亚马逊云科技纽约峰会,可以作为观察这个时代之问的最佳切口。

01

没有一个模型可以一统天下,

MaaS或许是个伪命题

一个新的业内声音是,MaaS(模型及服务),或许会是一个辉煌又短暂的概念。亚马逊云科技作为三大海外云服务巨头中最注重大模型企业业务,同时也是规模最大的一个,显然是这个观点的坚定支持者。包括今天凌晨的纽约峰会,多个公开场合,亚马逊云科技高管们都在宣扬同一个理念:「(现实落地中),不可能依赖单一、万能的大型语言模型应对各种任务。」将这句话,翻译的直白些,就是现实中,没有一个大模型可以一统天下。一方面,在算法落地中,技术、时延和成本之间往往会形成稳定的不可能三角,面对不同需求,往往对应着不同的最优解法。比如与GPT4系列叫板的Claude3.5,其实一共分三个版本,其中相对轻量级的Haiku版本,反而凭借着低时延与低成本优势,在实际案例部署中更受欢迎。即使单纯聚焦到技术的单一维度,「最强模型」也同样是个伪命题。依旧是拿最新Claude3.5与GPT-4o做横向参数对比,Claude-3.5-Sonnet在物理、化学和生物学几项中超过了GPT-4o,但是在数学、天文等科目中,则GPT-4o更占优。

既然需求多元、技术评价多维,那亚马逊云科技的思路,就要打赢这场仗,需要的是一场「人民的战争」,尽量接入最多的大模型在平台之上供用户选择。目前,AmazonBedrock,已经接入了三十多家世界顶流大模型。其中既包括亚马逊自研的基础模型(AmazonTitan),也包括了6家AI公司的第三方模型(如AI21Labs、Anthropic、StabilityAI等)。更多的模型接入之外,过去一年多时间里,AmazonBedrock还推出了一系列功能辅助模型微调与上线:如RAG(检索增强生成)、模型微调和定制功能、开发工具Agents、模型安全功能GuardrailsforAmazonBedrock等。在此基础上,本次发布会上,针对开发工具AgentsforAmazonBedrock,亚马逊云科技继续推出两大重磅新功能。(1)保留交互记忆——用户与算法的每轮对话的摘要将被保留,进而在航班预定、点外卖等复杂多步骤任务中,能够自动为用户推荐满足其座位偏好、餐食选择偏好的决策。真正做到让大模型适应每个用户独特需求和偏好做到千人千面。(2)代码解释功能上线——该功能可以在安全的沙盒环境中动态生成和运行代码片段,并能够处理复杂的用例,使得大模型能力提升到可以处理包括数据分析、数据可视化、文本处理、求解方程式和优化问题。不过,无论是成为覆盖最广的大模型货架,还是提供最全的工具箱,都不是亚马逊云科技野心的全部。它的目标是成为整个时代的基础设施。

02

亚马逊云如何布局

生成式AI的三大关键层次

比单纯否定MaaS更难的,是建立新的技术与规范。对亚马逊云科技来说,一个新的命题是,如果MaaS不成立,那亚马逊云科技又将如何应对来自不同客户的不同需求?对外,亚马逊云科技选择将AI开发者生态做大。截止当前,亚马逊云科技已经在200个国家和地区培训了超过3100万名生态开发者,提前一年多实现了到2025年为全球2900万人提供免费云计算技能培训的目标。对内,亚马逊云科技的答案则可以结合其在过去一年中在基础设施算力层、工具层、AI应用层三大维度的不断拼图补全,可以窥见亚马逊云科技对整个市场的认知与针对性解法。

算力层,做厚用于基础模型训练和推理的基础设施。这一层主要服务于有大模型训推能力的企业,为他们提供芯片、存储、网络在内的基础设施服务。高性能低成本与绿色,是亚马逊云科技的核心优势。目前已经有Anthropic、MistralAI、HuggingFace等众多明星AI团队在亚马逊云科技进行大模型的训练。

关于如何构建高性能计算集群,一方面,亚马逊云科技继续提供来自英伟达的计算实例,英伟达多款先进算力均率先在亚马逊云科技落地,包括亚马逊云科技将提供基于NVIDIAGraceBlackwellGPU的AmazonEC2实例,以加速构建及运行数万亿参数的规模大型语言模型的性能,亚马逊云科技将提供首款搭载英伟达GraceHopper超级芯片的云AI超级计算机,以及首款采用英伟达GH200NVL32的NVIDIADGXcloud。这些将在AmazonEC2实例上可用,可以让用户能轻松扩展至数千个GH200超级芯片。另一方面,亚马逊云科技也在持续投入自研芯片。针对大模型的训练与推理两个最重磅环节:亚马逊云科技的推理芯片Inferentia已经升级至二代,并专门针对包含数千亿个参数的生成式大模型进行了优化,与一代Inferentia相比,吞吐量提高了4倍,延迟降低了10倍。训练侧的加速芯片Trainium也同样升级到二代,专门针对超1000亿甚至万亿参数模型的深度学习训练打造。在成本侧,众所周知云计算是一个典型的具有规模效应的市场,玩家市场份额越高,单位算力的平均成本就越低:2023年,亚马逊云科技在全球云服务市场的市场占比为31%,营收高达908亿美元,连续多年蝉联全球第一。其中,仅在AI领域:全球就有96%AI独角兽将产品部署在亚马逊云科技,福布斯AI50榜单里的玩家,也有90%将其产品运行在亚马逊云科技。

而针对AI在近些年来变身高耗能行业,亚马逊云科技则在发布会上官宣,通过能效提升、增加服务器利用率以及建立光伏、风能站点,购买绿证等行为,如果是个伪命题,大模型时代的「云」应该怎么建?目前亚马逊云科技已经实现全球基础设施100%使用可再生能源,相较计划,提前了七年。

第二层,进一步完善中间工具层AmazonBedrock以及各种附加功能。这一层,主要服务于对大模型有深度应用需求,但没有开发能力的企业。亚马逊云科技提供的除了全球主流大模型公司产品之外,同时提供各种微调、知识库、测试比较、安全等多种工具。仅过去一年半,亚马逊云科技针对不同需求,GA(正式可用)的数量有326个之多,是其他供应商总和的两倍。

其中,模型微调能力,是这一层级企业对大模型需求的重中之重。此次发布会上,除了保留交互记忆、代码解释两大新功能上线之外,亚马逊云科技还针对AmazonBedrock中的已有明星模型Claude3Haiku版本,提供了微调能力。SK电信和路透社是其微调功能最先体验者。其中,路透社通过微调,其专属版本的Claude3Haiku任务性能提高了高达40%。在工具侧,针对已有的GuardrailsforAmazonBedrock功能(帮助模型过滤有害信息与敏感信息,可拦截高达85%的有害内容)亚马逊云科技做了进一步升级,将其变成独立的API,除了能够深度耦合AmazonBedrock平台,同时也可以支持非AmazonBedrock平台上的各种生成式AI模型。另外,亚马逊云科技还为GuardrailsAPI添加了一项名为ContextualGrounding的新功能,可以通过语境分析降低75%的大模型幻觉的产生。应用层则定位于企业级生成式AI助手,核心产品是AI助手AmazonQ为核心的一系列开箱即用AI应用集合。这一层主要针对有大模型使用意愿,但不想投入过多技术精力的企业,帮助他们降低AI的开发成本。本次的发布中,亚马逊云科技重点推出了一个名叫AmazonAppStudio的新功能。通过AmazonAppStudio,用户通过对话,就能建立自己的企业级应用程序。相较传统的企业搭建应用雏形,引入大模型填充细节,AmazonAppStudio从设计源头就引入大模型,并通过可视化的方式,将应用程序搭建的代码量一步降低80%,一个不擅长写代码的IT项目经理,也可以在几分钟内完成一位资深程序员几周才能解决的业务问题。举个简单例子,一家传统企业要创建一个库存管理程序时,只需要告诉AmazonAppStudio我要生成这个程序,然后在接下来的多轮交互中,不断细化「最高权限只能CEO具备」「同意按钮只能审阅者能使用」「某种类型商品出库必须经过三级审批」等等具体的要求,一个完整的程序就能在几分钟内创建完成。理想总是很丰满,但正如同大模型百人场景的POC与万人场景的应用难度不可同日而语,亚马逊云科技这一套新时代基础设施的成立与否,也需要来自实践的检验。

03

大模型的答案,

还是要回行业里找

伴随着亚马逊云科技在基础设施、工具、AI应用三大维度的拼图不断被补全,所有生意都值得在大模型时代重做一遍,几乎成了大部分企业的信仰。最新发布的AmazonAppStudio,在测试期间,已经展现出了其对传统软件开发模式的颠覆:作为全球审计龙头,德勤成为AmazonAppStudio第一批吃螃蟹的用户。在其首席顾问JBMcGinnis看来,德勤的客户来自全球各地不同行业,每个客户都有不同的任务和流程要求,借助AmazonAppStudio,只需几句话就能轻松地从想法转变为应用程序,整体运营效率与客服服务质量被极大提升。医疗大数据及分析服务提供商HealthVerity也成为了最早尝到AmazonAppStudio甜头的客户。过去公司需要至少安排五名程序员开发和维护公司的低代码平台,依然无法满足安全合规需求,AppStudio则做到了对开发人员时间精力的完全解放,普通员工也能在几分钟内构建自己的应用程序。即便在合规要求最严格的金融市场,上云、用AI也早已成为共识。早在2022年,从MRX期权交易所和债券交易所(NBE)开始,纳斯达克就已经逐步将其北美市场的业务迁移到亚马逊云科技之上,到了去年,纳斯达克又将旗下另一家期权交易所GEMX迁移到亚马逊云科技,上云后,延迟改善了10%,纳斯达克整体能处理的消息流量比五年前增加了四倍,每条信息的成本降低了80%。AmazonBedrock帮助下,纳斯达克的分析师进行市场信息提炼、分析的时间减少了33%。生物制药领域,大模型则彻底颠覆了过去百年的行业生产模式。拜耳在医疗保健和农业领域拥有150多年的历史和专业知识。在这一领域,伴随着全球人口的急剧膨胀,地球粮食总产量需要增产至少50%才能满足人类所需。这一背景之下,在技术开发侧,拜耳选择合作亚马逊云科技,通过AmazonQ,拜耳减少将模型从概念验证过渡到生产和最终业务采用所需的开发周期,降低了70%以上拜耳开发了图像分析管道将开发人员的开发时间降低了70%以上。以上并非个例,基础设施的迭代升级正推动行业应用的爆发,形成正向循环,所有生意在大模型时代被再次重构,正成为现实。

04

结尾

关于这一轮大模型热潮,过去相当长一段时间,市场都将最多的目光放在了算法本身的进步之上,随之而来,OpenAI、Anthropic、StabilityAI在内,一众明星算法公司被捧上神坛。产业链的力量,在一定程度上被忽视了:从底层的芯片、云服务,到中间层的模型,再到最上层的应用,整个大模型产业链的各个环节之间,如同互相嵌合连接的精密传动仪器,任何一个环节的进步与迭代,都会掀起整个市场的涟漪不断传导扩散。其中,云服务等基础设施范式的存在,如同整个板块的地基。地基之上,算法可以从CV火到NLP,体量可以从最初的十几层网络增长至如今的大模型,内容维度也可以从文字、图像上升到视频。但一个常识是,上层的算法应用越想改变世界,最底层的地基就要越稳固。亚马逊云科技的进步,也是整个大模型产业链不断向前飞奔过程中,被极大低估的一环。

参考资料:《拥抱云原生加速推进数字创新选择亚马逊云科技从容迈向新时代》https://baijiahao.baidu.com/s?id=1792572052533259617本文为极客公园原创文章,转载请联系极客君微信geekparkGO

直播预告

超!难!抢!票!的BilibiliWorld2024,我们来了!

作为国内二次元「浓度」最高的大型线下活动,这里有今年最热的鬼灭、芙莉莲,米家的原神、星铁、绝区零,还有60 独立游戏,各种酷炫的动漫、电竞、游戏周边,以及各路Coser大神……

抢不到票?未满18?不耐上海40℃ 高温?没有关系!7月12日(周五)12:30,来极客公园视频号直播间,二次元老炮带你暴走BW2024!

​扫描二维码推送至手机访问。

本文转载自互联网,如有侵权,联系删除。

本文链接:https://xiangshoe.com/post/31685.html

您暂未设置收款码

请在主题配置——文章设置里上传

扫描二维码手机访问

文章目录