热爱是保持年轻的秘诀 --- 梅耶.马斯克(马斯克母亲）
一个成功的投资者，85%归功于正确的资产配置，10%来自于选择投资目标的功力，5%必须靠上帝的保佑。--威廉·夏普上路看世界，归家读闲书，陋室观天下，余暇思古今，静坐听音乐，提笔写文章。-- 南半球
有钱不花是穷人。-- 蔡澜
最新文章
文章分类
归档
2012 (1)
2020 (65)
2021 (62)
正文
1. 在大型training方面，每3.5月，算力需求就增加一倍。目前根本跟不上这个需求。
如果没有S/W 和H/W ARCHITECTURE INNOVATION，这个问题是无解的！
2. 解决方法有两个：
A） Approximate Computing:就是FP8，4-bit, 2-bit inferencing（weight and activiation uses reduced precision). 需要在误差和性能之间找到平衡。
B） Analog AI (in-memory computing): 把计算搬到memory 里面。从而解决了Von Neuman bottleneck。目前在实验阶段。有信心商业化。
评论
目前还没有任何评论
登录后才可评论.
