帮友们,早上好!我是蜗牛道人。
最近有个大新闻,不知大家有没留意?谷歌TPU第一代设计者Jonathan Ross创立的Groq公司推出了新一代LPU,这玩意儿在公开测试中表现惊人,价格低得让人咋舌,推理速度竟然比GPU翻倍!听说还有三方测试显示,这LPU对大语言模型推理优化效果显著,速度比英伟达的GPU还快了10倍!
这个LPU和GPU到底有啥区别呢?其实核心区别就在于LPU内存采用了SRAM,而不是HBM。SRAM这名儿听起来挺高级,其实就是串行静态随机存取存储器,比咱们常说的DRAM(动态随机存取存储器,也就是内存)快多了,耗电还少。速度能达到20-40ns,比DRAM的60-100ns快不少。但缺点就是成本太高,一般就用作CPU的内存缓存,或者高端、高性能服务器。
现在绝大多数SRAM都被集成到SoC内核里了,咱们平时用的电脑手机里都有,俗称二级缓存。单独作为存储芯片的市场小得不能再小,只有那些特殊行业才会用到。但这次LPU就用了这么一小块230Mib的 SRAM,速度比HBM3还快20倍!这可真是让人眼前一亮!
不过,因为单个SRAM容量小,所以他们得用256个芯片来运行Llama 70B。不过性能可以实现线性扩展,不需要重构系统,这简化了AI模型的硬件需求,真是厉害!
这SRAM概念一出来,市场就炒得火热。睿能科技涨停,西测测试涨超10%,光韵达、万润科技、东方中科、好上好、恒烁股份等也跟着涨。看来市场对新概念还是比较热衷的,可能会掀起新一轮的炒作浪潮。
总的来说,这次LPU的出现确实给我们带来了不少惊喜,SRAM概念也让人眼前一亮。但咱们投资还得谨慎,别盲目跟风。毕竟,投资这事儿,还是得靠咱们自己的眼光和判断!
码字不易,如果帮友觉得这篇帖子有帮助,别忘了点个赞,给个鼓励,右上角加个【关注】
- 三毛在路上:我也对这个LPU很感兴趣,希望它能早日普及。
- n潜力A股:早上好!我也听说了这个消息,真是令人振奋!
- A股智多星:今天股市暴跌,我的股票全部亏损,看来我需要重新考虑我的投资策略了。