為什麼 NVIDIA 前幾年開始從每兩年發布新架構，改為每年發布？ Token generation rate 指數成長 (Alibaba CEO Eddie Wu/Microsoft CEO Satya/OpenAI CEO Sam Altman): 1. 用戶數指數成長. (ChatGPT 在 2 years 內達到了 8 億個周活躍用戶) 2. 每個用戶產生數量更巨大的 tokens，因為用戶開始使用 reasoning 的功能。 因為上述兩種指數成長疊加，token generation rate 以驚人的速度成長，如果沒有大幅增加 AI 運算的性能，token generation 的成本會大幅增加。 因此 NVIDIA 必須每年大幅提升 AI 運算的性能。 AI 運算的能效在過去 10 年內提升了 10 萬倍 (從 Kepler 到 Hopper)。 而從 Hopper 到 Blackwell，AI 運算的能效在 1 年內就提升了 30 倍。 因為 Moore’s Law 已死，不能只依賴製程的進步來提升能效，NVIDIA 的挑戰在於把 AI 運算的整個環節在 system level 做拆解，同時優化 model, algorithm, system, chip (the ultimate extreme co-design)。 除了在 IP 層面 (CPU, GPU)、晶片層面、系統層面 (NVLink, Spectrum-X)，還必須擴展到多個 AI factory 層面 (switches, networking)。 Source: https://www.youtube.com/watch?v=mA85rfzvPzQ 31:10 - 37:48
