墨芯独创双算法，运用企业优势，共创AI计算未来

今日集微网报道，随着人工智能应用的普及，稀疏化已经进入人工智能行业主流玩家的视野。 稀疏计算可以帮助人工智能突破硬件计算能力的限制，有望将人工智能应用加速十倍甚至一百倍，并大幅降低计算成本。

自墨心人工智能诞生以来，墨心一直是稀疏计算领域的领导者，致力于提供云端和终端AI计算平台和服务。 Ink Core独创的双稀疏算法利用企业优势，为客户提供优质的AI计算解决方案，共同创造AI计算的未来。 为此，魔心人工智能首席科学家严恩旭向集微网分享了他对公司目前的发展历程、研究成果、公司优势以及未来发展的看法和看法。 以下为采访内容：

集微网在AI报告中发现，Moxin AI在稀疏计算方面的商业进展令人印象深刻。 Ink Core成立于2018年。当时，稀疏化可能是非常小众的。 能否分享一下Ink Core为何选择稀疏化的技术路径作为创业方向？

【颜恩旭】我之所以对稀疏化这么感兴趣，是因为它有巨大的潜力和想象空间。 稀疏计算可以帮助人工智能突破当前硬件所能达到的计算能力的极限，它给社会带来的进步是令人兴奋的。

2008年，当我还是一名本科生学习机器学习时，我对稀疏算法技术产生了兴趣。 我作为博士发表的第一篇论文。 卡内基梅隆大学的学生研究的是稀疏化，这成为了我博士的研究方向。 在稀疏化领域，我创造了独创的双稀疏算法，并坚信它可以使尖端的AI技术成为现实，可以解决世界上的一些严峻挑战。

事实上，当时我们使用稀疏化来加速CPU上的AI。 过去，算法优化是最常用的AI加速方式，而稀疏化是我在算法优化中用过的最有用的加速方案。 尤其是当AI模型变得越来越大时，稀疏化几乎是唯一能够将AI训练和推理加速十倍、数百倍的解决方案。

但如何将技术从理论变为现实呢？ 这是一个难点。 虽然我的大部分职业生涯都在学术界，但其实我从初中起就想创业。 初中的时候，我能够自学完大学数学课程，才发现教育资源并不稀缺。 我想建立一个教育平台，帮助更多人更独立、更便捷地获得自己想要的教育资源，而无需上网。 传统的教育体系有很多曲折。 后来这件事就没有继续下去了，因为我去美国读博士了。 但我个人的热情在于将学术与现实结合起来，真正解决一些现实生活中的问题，用科技为社会带来更多的机会和进步。

2018年，我认识了卡内基梅隆大学的校友，魔心人工智能的创始人、也是我们的CEO王伟先生。 王伟先生是硅谷数模混合电路专家，拥有15年从业经验。 他曾是一名 CPU 高速链路架构师。 拥有多年硅谷半导体创业经验。 曾担任Intel、高通核心架构师，参与Intel五代CPU处理器的开发，累计量产超过50亿颗。

最重要的是，我和王伟老师都坚信稀疏化是AI计算的未来，所以我们决定一起创业，把稀疏算法升级到计算层面，用我们掌握的技术来为人工智能带来一些我们引以为傲的东西。 改变。 Moxin目前的核心团队，无论是首席架构师还是工程VP，都有一个共同的信念：“稀疏化一定会改变AI的未来”。

集微网获悉，Ink Core首款基于®️的高稀疏倍率AI计算卡S4即将发布。 您能跟我们分享一下您在魔信创业过程中，从稀疏算法到稀疏计算，再到将高倍稀疏计算卡变成现实时遇到的困难和挑战吗？ 墨芯问题如何解决？

【颜恩旭】魔心人工智能聚焦稀疏化，将稀疏化从算法升级到计算层面，实现高倍稀疏算法。

当时我们遇到的主要挑战之一是CPU和GPU都不是实现高速稀疏计算的理想硬件。 因为要实现墨芯细化技术理想的加速效果，现有硬件必须能够实现高速率细化并支持大规模并行计算。 现有的GPU硬件架构无​​法实现高倍稀疏加速，而CPU虽然可以支持高倍稀疏加速，但由于其核心数量的限制，无法实现大规模并行计算，并不是最理想的硬件支持稀疏计算。

为此，我们需要从算法和软件入手，设计相应的硬件和架构。 因此，Ink Core坚持软硬件协同开发，构建稀疏运算持续多级优化的底层算法能力。 该架构保证了可编程性、高扩展性和快速迭代能力。 Ink Core首款计算卡产品S4就是这些理念的具体体现。

那么，Ink Core的稀疏计算解决方案可以应用在哪些行业和场景呢？ 到目前为止取得了哪些进展？

【颜恩旭】墨信稀疏计算产品及解决方案可广泛应用于互联网、运营商、生物医药等数据中心的人工智能应用场景。 目前，墨心人工智能首款高倍稀疏计算卡S4专注于数据中心AI推理应用。

今年是AI芯片的商用年。 能否跟我们分享一下Ink Core今年在产业化方面的最新进展？

【颜恩旭】2021年的最后一天，墨芯第一颗芯片®️成功返还。 目前已在多个客户及生态合作伙伴的测试环境中运行了多个主流AI模型，性能测试令人满意。

今年6月13日，魔心加入浪潮远脑，我们和浪潮将共同打造稀疏生态系统。 墨心凭借领先的稀疏计算技术和产品以及广阔的生态潜力，整合资源和算法，打造全栈AI解决方案，为各行各业的AI应用提供强大的计算引擎和生态支撑，帮助企业降本增效。 。 效率，加速行业​​人工智能化进程。

未来，我们还将与大家分享更多的产业化进展。 例如，在需要实现大型模型的场景中，稀疏计算具有特殊的优势。 实测数据显示，S4运行主流AI模型-50和BERT，性能是国际大厂主流AI推理卡的6倍，功耗仅为后者的一半。

值得注意的是，S4可以实现“单卡推理大模型”，解决了目前大模型普遍需要分布式部署、实施难度大、成本高等痛点。 在最近的测试中，S4在单卡上支持大型号T5-8B时，内存占用仅为7.8%。 这也意味着S4有更多的想象空间，可以支持最大千亿参数的大型模型。

集微网注意到，稀疏化已经有了一些工业应用。 与其他行业玩家相比，墨芯稀疏化技术的核心优势是什么？

【颜恩旭】总体来说，墨芯的计算解决方案具有高性能、高能效、高精度、高性价比的优势。 在一些对算力和能效比要求特别高、对功耗非常敏感的应用场景中，Ink Core的计算解决方案尤其具有优势。 这意味着客户可以在不显着增加服务器运维成本的情况下实现显着的性能提升。

具体来说，我们的优势如下：

首先，我们的解决方案是业内第一个支持高倍稀疏计算而不影响精度的方案。 这意味着莫信的计算卡可以突破单卡的计算能力限制，在性能方面给客户带来惊喜；

其次，我们对大模型很友好。 不仅可以单卡支持大型模型，为客户提供高性能，还可以保持低功耗、高精度、高能效。 这在很多场景下都是非常有竞争力的，比如互联网、生命科学。

第三，我们支持大规模并行计算。 根据目前潜在客户的反馈，稀疏计算是一种非常有竞争力的AI计算解决方案。

我们认为稀疏计算解决方案的优势在于能够突破计算能力的限制并具有良好的通用灵活性，帮助企业以极低的迁移成本一键将稀疏计算功能添加到现有的计算设施中。 中间。

在当前稀疏化技术的发展中，您认为有哪些热门研究方向？

【颜恩旭】近年来对稀疏化的关注和研究值得称赞。 谷歌人工智能总监 Jeff Dean 在 2021 年提出了名为“通用 AI 架构”的通用 AI 架构，判断稀疏性是下一代 AI 架构的关键词之一。 尤其值得注意的是，在谷歌开发的下一代模型家族中，谷歌去年年底发表的一篇论文特别印证了墨芯“稀疏化是AI计算的未来”的判断。

谷歌提到，大型模型在许多任务上表现出色，但训练甚至微调的成本很高。 不仅如此，它的解码速度非常慢，使用困难，实现起来非常困难。 想到了用稀疏化来解决这个问题。

谷歌提出，他们认为在当前的硬件条件下，稀疏化是让每个终端都有能力运行高性能大型模型的最快方法。 稀疏化技术的引入只选择重要的参数进行计算，使得扩展后的稀疏模型的运行速度在保留标准模型精度的同时得到了极大的提高。 在这篇论文中，谷歌还使用了其他类型的稀疏化算法技术来实现这一结果，谷歌认为稀疏化可以与最先进的（AI加速）技术竞争。

这与我们的判断非常一致。 稀疏计算潜力巨大，是AI计算的未来。

最后您能跟我们分享一下您从科学家到企业家遇到的最大挑战是什么吗？ 最有成就感的事情是什么？

【颜恩旭】我遇到的最大挑战是，与做学术工作或做计算解决方案不同，你不仅需要在自己擅长的领域具有极强的竞争力，还需要满足其他地方客户的需求，并且足够好。 最有成就感的就是看到自己开发的计算解决方案能够真正得到业界的认可并满足现实中的客户需求，帮助客户解决疑难问题，用技术为社会带来更多机会。 带来更快的进步。