网站首页

产品中心

智能终端处理器 智能云服务器 软件开发环境

新闻中心

关于PG电子

公司概况 核心优势 核心团队 发展历程

联系PG电子

官方微信 官方微博
主页 > 新闻中心

人工智能领域存储器解决方案成最大方向

发布时间:2023-12-02 14:02浏览次数: 来源于:网络

  SK海力士预测在人工智能(AI)领域,存储器解决方案的比重将进一步增加,可以通过类似AiMX的解决方案部分替代图形处理单元。在首尔江南区科技会议中心举行的“ETRI Conference 2023”上,SK海力士副社长表示,对于像BERT这样的模型,内存密集型功能仅占约5%,而在GPT2中,内存功能约占45%。在175B GPT3中,内存密集型功能已经达到92%。

  内存密集型函数是GEMV,即矩阵和向量相乘的运算,是大型语言模型(LLM)的核心。“现在LLM的GEMV内存密集比例已达到92%”,并解释说,“92%是通过Accelerator in Memory(AiM)处理的,其余8%是通过AiM Control处理的Hub。SK海力士计划将AiM控制器改为AiMX专用SoC,而不是FPGA。

  AiMX是SK海力士去年发布的基于内存的加速器,专为内存密集型函数计算进行优化,配备有16个1GB GDDR6-AiM和2个可编程半导体(FPGA)。“设计AiM控制中枢的成本太高,首先使用FPGA创建了一个加速器。当创建自己的片上系统时,将添加更多的GDDR6-AiM,以制造64GB或更大的产品。”

  在LLM中,AiMX的延迟比GPU快13倍,功耗降低17%,与GPU相比,LLM具有更优越的性能。“主要供应AiM芯片并提供参考设计来帮助超大规模客户,”并表示SK海力士将支持创建加速器系统。由于公司最大的客户之一是GPU公司,因此在推广AiMX时需要谨慎,以确保其利益与客户的利益部分重叠。

下一篇:人工智能研究迎来新突破
上一篇:学者共议:新人工智能时代的MBA教育何去何从?

咨询我们

输入您的疑问及需求发送邮箱给我们