热爱是保持年轻的秘诀 --- 梅耶.马斯克(马斯克母亲)

一个成功的投资者,85%归功于正确的资产配置,10%来自于选择投资目标的功力,5%必须靠上帝的保佑。--威廉·夏普
上路看世界,归家读闲书,陋室观天下,余暇思古今,静坐听音乐,提笔写文章。-- 南半球
有钱不花是穷人。-- 蔡澜
个人资料
正文

AI 硬件读书笔记

(2019-03-31 12:17:35) 下一个

1.  AI 硬件需要10X/year 的性能提升。这个只有靠scaling 实现(multi-core; multi-chip; multi-cluster, etc.)。靠制程缩小(比如5nm) 和 构架创新(architecture innovation)是达不到的。

2.  在DATA CENTER (TRAINING)领域,NVIDIA 一人独大。没有人能够挑战。INTEL 可能挑战。但是目前还不行。

3.  目前所有的初创公司,都是在EDGE领域做 INFERENCING。而不是在DATA CENTER (TRAINING)领域。原因:挑战NVIDIA,机会太渺茫。

4.  各大公司都在发展自己的SOC 构架协议: memory interconnect protocol; memory protocol; network fabric.  比如:INTEL, NVIDIA。小一些的联合起来做:

Rivals AMD, Arm, IBM, and Xilinx ganged together around CCIX and GenZ, a cache-coherent interconnect for accelerators and a link for memory, respectively. Recently, Intel countered with a more open processor interconnect for accelerators and memory called CXL, but so far, it lacks the third-party support of CCIX and GenZ.

6.  各大公司研发自己的accelerator (谷歌,百度,亚马逊,阿里巴巴,脸书)。同时,减小精度(4位,2位,甚至1位的数据宽度。浮点变定点),减少存储。

7.  性能评判标准很不成熟。还在发展中。  MLPerf 由谷歌起草;百度也有一个。

8.  深度学习这个领域还处在早期阶段,所以,保持硬件的灵活性很重要。研发者应该在可编程(programmability) 和性能(performance) 之间找到平衡。

[ 打印 ]
阅读 ()评论 (1)
评论
天涯追梦 回复 悄悄话 为什么那时候没有想到投资NVDA股票呢?
查了一下。APRIL/1/2019, 也就是这个文章写的之后,NVDA 是 $45.26.
今天是:NVDA : $547.10.
547.10/45.26 = 12.087936368

难怪我发不了!太不敏感了!
登录后才可评论.