您的位置  > 互联网

高性能计算与下落的HPC,有望再续前缘

传统上,HPC主要应用于大规模计算,例如天气预报、石油勘探、药物研发等。这些任务通常借助超级计算机或计算集群来运行,需要大量专用软件和硬件加速节点之间的通信并提高性能和可靠性。 在自成一体的同时,也阻碍了拥抱新技术、新平台的步伐。

云计算早期掀起了虚拟化浪潮,甚至试图与HPC紧密接触,但最终因性能损失和网络延迟而错失良机。 随着亚马逊等云平台的快速发展,通用计算领域几乎变成了云世界,千千万万个行业正在基于云基础进行数字化转型。 走向深入的云计算和HPC,已经陷入平凡的世界,有望继续领跑。

值得注意的是,外部环境的剧变也让“平行世界”的穿越成为可能。

一方面,数字经济的快速发展带来数据规模几何级增长,随之而来的对算力的需求也大幅增加。 现有的高性能计算集群或超级计算中心模式已经无法满足爆炸性的需求和多样化的场景。 HPC必须寻求新的演进路径。

另一方面,人工智能的快速渗透和新硬件的激增,让云计算如虎添翼。 机器学习和深度学习极大拓展了业务应用范围,促进了智能与高性能的紧密结合。

俗话说“驻足靠云,起航扬帆渡海”——当HPC犹豫、谋划变革时,恰巧遇到了正在崛起的云计算以及提供帮助的“小伙伴”,例如:例如人工智能和加速计算。 他们组成强大的HPC+阵营,一起奔赴数字化升级的星海。

这不仅仅是纸上谈兵,重要的是付诸行动。 近日,亚马逊云科技举办“云栖赋信高性能计算业务创新论坛”,与不同行业的专家共同探讨“HPC+”时代如何赋能客户,帮助客户加速创新。

行业领袖带头做出表率,是HPC+扬帆起航的标志性信号。 云上澎湃的计算能力将为客户解决运行大型复杂仿真和深度学习工作负载的问题,高性能计算将继续乘风破浪。

云计算驱动HPC扩张版图

市场研究数据显示,到2022年底,18.8%的HPC将运行在云端,而2021年这一数字仅为12.3%。

报告还显示,云高性能计算未来5年将保持21%的年复合增长率,2023年市场规模将达到220亿美元。

显而易见,HPC与云的深度融合正在加速。 这既是客户应对业务挑战的必然结果,也与高性能计算本身的演进密切相关。

从客户需求来看,本地高性能计算基础设施限制了工程师、科学家和研究人员及时获取结果,约72.8%的组织表示高性能计算工作被推迟或取消。 这会导致很多客户错过创新的窗口期,自然就很难达到他们的收入预期。

路径依赖带来的成本负担和技术压力不容忽视。 在建设和运营自己的数据中心的过程中,客户总是痛苦地在高峰期的捉襟见肘和日常闲置之间痛苦地摇摆。 采用新的算法来适应原有的基础设施,难免会牺牲一些性能,综合评估得不偿失。

如果再放大,你会发现HPC不再局限于原来的“三分之一英亩”。 应用场景的大幅拓展也促使基础设施向云化转型。

在计算机辅助工程和流体力学、天气气候预报、地震反演和储层预测、新药发现和基因检测等传统优势领域,高性能计算必须应对超高速计算带来的技术架构和投入产出比的挑战。大规模计算; 对于金融量化交易风控模型、电子芯片设计EDA、数字孪生、自动驾驶、影视渲染甚至量子计算等新场景,HPC必须融入到各行业的数字化转型过程中,以满足新兴的差异化需求。需要。

以竞争激烈的美洲杯帆船赛为例:像素分割模拟计算将对帆船比赛产生决定性影响——船只分割的像素越多,模型就越准确,但这意味着计算量会增加。呈指数级增长。 云计算的价值将凸显。 从某种意义上说,乘风破浪的动力不是风的力量,而是云的力量。

云的弹性、灵活性、可扩展性等先天禀赋是HPC解决问题的好方法。 所获得的市场渗透力及其与人工智能、加速计算等新兴技术的协同作用,使得云与HPC齐头并进。 奠定了坚实的基础。

云高性能计算的演进路径

作为云平台的创始人和领导者,亚马逊云技术在高性能计算领域屡创佳绩。 连续四年被HPC Wired杂志评选为“最佳HPC云平台”,并在2021 CCF年会上获得高性能计算实例。 产品创新奖。

目前,在全球高性能计算向云平台转移的过程中,约58%的高性能计算云计算量位于亚马逊云技术平台上。 亚马逊云技术依托领先的前瞻研究、成熟的服务体系和扎实的实施案例,探索云与HPC融合的最佳路径,并根据市场环境的变化不断演进。

亚马逊云技术大中华区产品部总经理陈晓健认为,构建HPC云服务并不是堆叠服务器资源那么简单。 其背后是完整的HPC生态系统。

以亚马逊云技术建立的全栈HPC服务模型为例:

最底层的基础层涵盖了计算资源、高速网络和存储,是整个系统的基石。 亚马逊云技术500+不同类型的服务器组合满足各种复杂场景的需求,提供超过100G的带宽吞吐量,并支持MPI EFA网卡让网络不再成为高性能计算的瓶颈,支持高性能计算并在云中实现多级计算。 文件存储策略进一步帮助客户提高资源利用效率。

中间控制层是HPC生态系统的大脑,主要涉及集群创建和任务编排——亚马逊云技术提供各种性能和功能的产品,为不同场景的客户带来价值; 顶层可视化致力于打造一个轻松的应用环境,基于NICE DCV解决方案的亚马逊云技术可以在极低的网络吞吐量的前提下提供高分辨率和低延迟的用户体验。

需要指出的是,HPC生态系统并不是长期存在于一个稳定的环境中,而是必须随时应对大系统的变化和小场景的打磨。 在混合云日益普及的背景下,公有云平台需要推出更有针对性的策略才能立于不败之地。

亚马逊云技术基于NICE+HPC中间件,帮助客户实现混合云架构下本地数据中心与云资源之间的平滑切换,并根据不同场景提供合适的解决方案:

应对突发任务并将其迁移到云端,当客户本地数据中心无法支持该任务时,可以无缝访问亚马逊云技术的充足资源; 对于缺乏云迁移经验的客户,我们将通过HPC混合云逐步、批量地帮助客户使用相关资源; 对于决定迁移工作的客户,可以使用统一控制台有计划、大规模地跨本地数据中心和云环境部署 HPC 任务。

从更长远的角度来看,量子计算是未来算力增长的源泉。 亚马逊云技术不仅拥有这样的商业产品,还构建了量子计算的多层次服务体系,在化学与材料科学、城市交通优化等场景中取得积极进展。

首先,亚马逊云技术打破了量子计算的技术壁垒,建立了完全托管的服务模式,方便客户快速探索和实验; 其次,提供专家级支持,客户可以与亚马逊量子实验室进行深度合作; 三是基于量子计算中心在量子算法和硬件方面进行创新研究,寻找通向未来的算力密码。

HPC+推动场景化创新

《美国创新史》一书的作者埃文斯发现,更多的创新是通过借用和组合产生的,而不是纯粹的发明,而且看到事物之间相互联系的能力比创造力更重要。

以前定义HPC工作负载的方法通常基于高性能计算任务是松耦合还是紧耦合。 更加重视网络带宽和延迟要求,并且还考虑了 HPC 任务所涉及的数据规模。

但近两年来,亚马逊云技术发现,随着硬件技术的创新和人工智能的快速发展,越来越多的HPC任务与AI、ML、DL相结合。 这就需要为客户提供相应的解决方案,这就催生了HPC+的概念——从更广阔的角度设计服务和构建解决方案,包括加速计算、机器学习、深度学习等方面。

随着HPC重量级合作伙伴逐渐增多,围绕HPC+的场景化创新层出不穷,其中亚马逊云技术发挥了举足轻重的作用。

助力影视渲染行业转型,是HPC+展现能力的新舞台。 内容制作需要超大规模的渲染计算能力。 从传统的CPU渲染升级到GPU渲染可以加快制作过程。 深度学习自动生成形状、材质、灯光和场景,以提供增强的观看体验——这三者分别对应于云和加速。 计算、人工智能,HPC+的好搭档,一个都不能缺少。

以其众多史诗作品而闻名的影视制作巨头维塔就是一个典型案例。 十多年前,《阿凡达1》是基于维塔自己的数据中心制作的; 从2020年开始,亚马逊云技术将为其提供大规模渲染集群、云工作室解决方案、机器学习堆栈等服务支持,显着提升其制作效率和渲染效果,《阿凡达2》即将完成,值得期待。

协助创新药物和疫苗的研发也是HPC+擅长的领域。 靶点选择与确认、化合物发现与优化、临床研究、真实世界分析等都离不开各方的协同努力。 亚马逊云技术与药明康德在药物使用机制方面进行合作,利用图神经网络技术将建模时间缩短5倍; 他们还与晶泰科技在分析发现上取得突破,不仅计算出了最稳定的晶体结构,还获得了其全景图,为后续药物研发打下了坚实的基础。

此外,HPC+在自动驾驶、流体仿真等场景中也发挥着不可或缺的作用,在海量数据存储和分析、从仿真结果中提取复杂关系方面取得了显著成果。 据了解,亚马逊云技术已为国内外主流商用车和乘用车制造商提供自动驾驶相关的服务支持,并在F1赛车、帆船比赛等流体模拟应用前沿屡有建树。

未来,HPC+产品阵容将不断壮大。 那些曾经孤军奋战的船只,将组成坚不可摧的航母,驶入数字海洋的最深处。

2022亚马逊云技术中国峰会将于9月22日至23日在上海举办,帮助各界合作伙伴和客户在云中自由构建、无限探索。 注册现已开放:/2022/homes?=gh/=&type=2