MLC 项目使得 AMD GPU 在 LLM 推理方面具有竞争力
(资料图片仅供参考)
编程客栈() 8月11日消息:AMD GPU 通过 MLC(MAChine learning compilation)项目在编译和部署大模型方面取得了进展,实现了与英伟达 GPU 相当的性能。MLC-LLM 方案在 AMD RX 7900 XTX 上的性能达到了英伟达 GeForce RTX 4090 的 80%,而价格只有 RTX 4090 的 60%。
MLCTGqdUq-LLM 可以编译 LLM 并将其部署在使用具有竞争性能的 ROCm 的 AMD GPU 上。更具体地说,对于phpLlama2-7B/13B,AMD Radeon™ RX 7900 XTX 的速度是 NVIDIA GeForce RTX™ 4090 的 80%,是 NVIDIA GeForce R编程客栈TX™ 3090Ti 的 94%。除了 ROCm 之外,Vulkan 支持还允许我们将 LLM 部署推广到其他 AMD 设备,例如具有 AMD APU 的 SteamDeck。
机器学习编译(MLC)是一种新兴技术,用于编译和自动优化机器学习工作负载。与为每个独立的后端(如 ROCm 或 CUDA)编写特定的内核不同,MLC 解决方案会js自动生成适用于不同后端的代码。利用基于 ML 编译的解决方案 MLC-LLM,为 LLMs 提供高性能的通用部署。MLC-LLM 建立在 Apache TVM Unity 之上,它是一种机器学习编译栈,提供了基于 python 的开发和通用部署。MLC-LLM 为各种后端编程(包括 CUDA、Metal、ROCm、Vulkan 和 OpenCL)提供了最先进的性能,涵盖了服务器级 GPU 到移动设备(iPhone 和 android)。
在较高的层次上,该框架允许用户采用基于 Python 的工作流程,包括转换计算图的 API,优化 GPU 内核的布局和调度,并将其在感兴趣的平台上进行本地部署。
关键词:
相关阅读
-
MLC 项目使得 AMD GPU 在 LLM 推理方面具有竞争力
编程客栈()8月11日消息:AMDGPU通过MLC(MAChinelearningcompilation) -
博菲电气:公司磁悬浮动力电机部件10500...
2023年8月11日,有投资者在互动平台向博菲电气公司提问:公司磁悬浮动 -
《莲花楼》40集大结局:3个细节暗示李莲...
随着桃厂大结局直通车的开启,《莲花楼》提前一周大结局了,这对观众们 -
人民银行:7月末M2余额285.4万亿元,同...
北京商报讯(记者廖蒙)8月11日,人民银行发布2023年7月金融统计数据报 -
中源协和:子公司产品获美国FDA孤儿药资...
上证报中国证券网讯(记者孔子元)中源协和公告,近日,全资子公司 -
拼多多和 SHEIN 互殴,用「中国模式」...
来自东方的「神秘力量」,在征服海外之前,自己先打起来了。说的就是美 -
历时2年,南京长江大桥穿好“防撞衣”
南京长江大桥增设桥墩防撞设施工程全部完成2023年8月8日至10日南京长江 -
赵眜是不是赵胡?两人什么关系?
赵眜是中国古代历史上的一位著名人物,他是南北朝时期的北魏国皇帝。然 -
甘肃东中部多地出现暴雨 已启动洪水...
新华社兰州8月11日电(记者王朋、张玉洁)11日10时许,甘肃省水利厅对 -
集邦咨询称苹果 2026 年推出 Micro ...
IT之家8月11日消息,集邦咨询(TrendForce)昨日发布报告,表示在大型 -
央行:7月份人民币贷款增加3459亿元,同...
狭义货币(M1)余额67 72万亿元,同比增长2 3%,增速分别比上月末和上年 -
豫股半年报丨天迈科技持续亏损两年半,...
8月10日,天迈科技(300807 SZ)发布2023年半年度业绩报告。报告期内, -
方便面卖不动了 统一靠卖地来“充大”利润
8月10日,统一企业中国控股有限公司(简称“统一”)披露2023年上半... -
专访平安银行战略发展部董事总经理卢乐...
“绿色金融在银行对公领域已是非常成熟的产品,但是在银行零售端消... -
10月底,来前滩演艺集聚区“艺起造浪”!
人民网上海8月11日电8月9日,浦东地区乃至上海又一大型文娱、商业新地 -
两部门紧急预拨14.6亿元支持京津冀黑吉...
新华社北京8月11日电记者从财政部了解到,针对近期京津冀及东北地区严 -
美术本科留学意大利挪威冰岛哪个好?
一、美术本科留学意大利挪威冰岛哪个好?题主你好,如果想去欧洲学习并 -
面积26854平方米!投资3093万!太原北城...
太原市尖草坪区将迎来一座新公园!记者日前从全国公共资源交易平台获悉 -
8月10日基金净值:工银新能源汽车混合A...
8月10日,工银新能源汽车混合A最新单位净值为2 7824元,累计净值为2 78 -
退伍不褪色 尽责显担当
“设备数据正常!”8月1日,河南能源新疆公司众泰煤焦化(以下简称...