跳轉到

2020s - 雲端與 AI 時代：算力即電力#

案件摘要#

2020 年代，電腦史的主軸從「個人擁有硬體」轉為「租用雲端算力」：IaaS/PaaS/SaaS 三層服務與 AWS/Azure/GCP 三雄定義基礎設施；GPU + CUDA 點燃深度學習；Transformer 與 LLM 的 scaling law 讓「砸更多算力就會更聰明」成為可預測的定律。本案偵破的真相是：ENIAC 以來 80 年的算力成長曲線，終於在這十年撞上了「智慧」這個應用。

前因 -- 為什麼會有這個案子#

  • 虛擬化的鋪路：1972 年 IBM VM/CP 證明一台機器可跑多個虛擬機（詳見本 wiki〈虛擬機〉篇）；x86 硬體虛擬化（Intel VT-x，2005）讓虛擬化成本趨近於零。
  • AWS 的誕生（2006）：Amazon 把自家的基礎設施能力（EC2、S3）外包給全世界，開創「以效用計費」的雲端模式，如同電力公司賣電。
  • Docker（2013）與 Kubernetes（2014）：作業系統層虛擬化（容器）取代笨重的虛擬機，部署單位從「機器」縮小為「行程」，編排自動化使其可規模化。
  • CUDA（2007）：NVIDIA 推出 CUDA，把 GPU 從「繪圖專用」變成「通用平行計算機」，恰好在 2012 年被 AlexNet 用於影像辨識，引爆深度學習革命。
  • 移動網際網路：iPhone 之後（詳見〈2007-iPhone〉篇）數十億行動裝置每天產生海量數據，只有雲端能承載與分析。

線索與推理 -- 數學式、程式、理論#

雲端三層：IaaS / PaaS / SaaS#

層級 你管什麼 供應商管什麼 例子
IaaS 應用、OS、中間層 硬體、網路、虛擬化 AWS EC2、GCE
PaaS 只有應用程式碼 OS、執行環境、擴展 Heroku、App Engine
SaaS 什麼都不用管 全部 Gmail、Salesforce

責任分界的遞減對應「管理成本 \(\to 0\) 、抽象程度 \(\to\) 最高」的趨勢。

虛擬化 → 容器 → Serverless 的演進#

三代的資源開銷與啟動延遲呈指數級改善：

\[ \text{VM（GB 級記憶體開銷，分鐘級啟動）} \;\to\; \text{容器（MB 級，秒級）} \;\to\; \text{Serverless（近零閒置成本，毫秒級冷啟動）} \]

容器本質是 Linux namespace + cgroup 的隔離（詳見〈虛擬機〉篇之交叉參照）；Serverless（AWS Lambda，2014）則把計費單位細化到「每次函式呼叫 × 執行毫秒數」：

\[ \text{成本} = \text{呼叫次數} \times \frac{\text{記憶體(GB)}}{1024} \times \frac{\text{執行時間(ms)}}{1000} \times \text{單價} \]

GPU 運算與 AI 訓練#

神經網路訓練的核心操作是矩陣乘法 \(\mathbf{C} = \mathbf{A}\mathbf{B}\) ，其計算量為 \(O(n^3)\) （ \(n \times n\) 矩陣），但各元素獨立可平行——GPU 以數千核心同時計算，吞吐量可達 CPU 的百倍以上。批次訓練的平行度為：

\[ \text{並行計算數} = B \times n^2 \quad (B = \text{batch size}) \]

CUDA 讓程式設計師用 C 語法寫 GPU 核心；今日框架（PyTorch/TensorFlow）再抽象一層，但底層仍是 cuBLAS/cuDNN 的矩陣核心。

Transformer 與 LLM 時代#

2017 年 Google 論文 "Attention Is All You Need"（Vaswani et al.）提出 Transformer，以自注意力（self-attention）取代循環結構，使序列內所有位置可完全平行計算：

\[ \text{Attention}(Q, K, V) = \text{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}\right)V \]

其複雜度為 \(O(n^2 d)\) （ \(n\) 為序列長度、 \(d\) 為維度）——這個平方項既是 LLM 能力的來源，也是「長上下文很貴」的數學原因。

Scaling law（Kaplan et al., 2020）給出損失與參數量 \(N\) 、資料量 \(D\) 、算力 \(C\) 的冪律關係：

\[ L(N) \propto N^{-\alpha}, \quad L(D) \propto D^{-\beta}, \quad L(C) \propto C^{-\gamma} \]

實證上 \(\alpha \approx 0.076,\ \beta \approx 0.095,\ \gamma \approx 0.050\) （Kaplan 2020）。這條曲線把「更大模型會更好」從信仰變成可外推的工程預測，直接催生 GPT-3（175B, 2020）、GPT-4（2023）與隨後的模型軍備競賽；Chinchilla（2022）進一步指出在固定算力下， \(N\) 與 \(D\) 應等比放大。

Python：Scaling law 曲線繪製#

以冪律模型 \(L(N) = A \cdot N^{-\alpha}\) 擬合繪製（對數—對數座標下為直線）：

import numpy as np
import matplotlib.pyplot as plt

# 模擬 scaling law：L(N) = A * N^(-alpha)
A, alpha = 100.0, 0.076           # 依 Kaplan et al. (2020) 的量級
N = np.logspace(6, 12, 50)        # 參數量 1e6 ~ 1e12
L = A * N ** (-alpha)

# 加入雜訊模擬實測點
rng = np.random.default_rng(42)
N_obs = np.logspace(7, 11, 12)
L_obs = A * N_obs ** (-alpha) * (1 + rng.normal(0, 0.05, N_obs.size))

# 對數座標擬合：log L = log A - alpha * log N
coef = np.polyfit(np.log10(N_obs), np.log10(L_obs), 1)
fit_alpha = -coef[0]
fit_A = 10 ** coef[1]

plt.figure(figsize=(7, 5))
plt.loglog(N, L, "-", label=f"model: A·N^-a (a={alpha})")
plt.loglog(N_obs, L_obs, "o", label="observed (simulated)")
plt.loglog(N, fit_A * N ** (-fit_alpha), "--",
           label=f"fit: a={fit_alpha:.3f}")
plt.xlabel("Parameters N")
plt.ylabel("Loss L")
plt.title("LLM Scaling Law: L(N) ∝ N^(-α)")
plt.legend()
plt.grid(True, which="both", alpha=0.3)
plt.savefig("scaling_law.png", dpi=150)
print(f"擬合 alpha = {fit_alpha:.3f}（真值 {alpha}）")

邊緣運算與端雲協同#

並非所有計算都該上雲：延遲敏感（自駕、AR）、隱私敏感（人臉）的任務下沉到「邊緣」。端雲分工的決策準則可寫成：

\[ \text{本地處理} \iff T_{\text{edge}} + \lambda \cdot P_{\text{隱私}} < T_{\text{cloud}} + \lambda \cdot P_{\text{隱私}}\big|_{\text{外傳}} \]

典型架構：手機/邊緣盒做推論（量化後的小模型，如 INT8 之 \(4\times\) 縮減），雲端做訓練與大模型推論；iPhone 的神經引擎（ANE）正是邊緣 AI 硬體的代表。

從 ENIAC 到 AI：電腦史總結#

ENIAC（1946）每秒約 5,000 次加法；2020s 的 AI 叢集（如上萬張 H100 GPU）每秒可達 \(10^{18}\) （exaFLOP）級混合精度運算：

\[ \frac{5 \times 10^3\ \text{FLOPS (1946)}}{\;10^{18}\ \text{FLOPS (2020s)}\;} \;\Rightarrow\; \text{80 年算力成長約 } 2 \times 10^{14} \sim 10^{15} \text{ 倍} \]

這條指數曲線（Moore's Law + 平行化 + 專用晶片）貫穿了整部電腦軟硬體史：真空管 → 電晶體 → 積體電路 → 微處理器 → 多核/GPU → SoC/AI 加速器。軟體面則從機器碼 → 高階語言 → 作業系統 → 網際網路 → 雲端 → LLM。2020s 是兩條曲線交會的十年：算力便宜到可以租、模型大到可以理解語言。

結案 -- 後果與影響#

  • 雲端成為基礎設施：2020s 全球雲端市場每年逾 6,000 億美元，AWS/Azure/GCP 三雄合計市佔約 65%；企業 IT 從「買機器」轉為「租算力」。
  • 容器與 Serverless 標準化：Kubernetes 成為事實標準，部署從「機器思維」進入「服務思維」（詳見〈虛擬機〉篇的終章續曲）。
  • AI 工業化：GPT-4 等多模態 LLM 進入搜索、程式設計、辦公；「模型即服務」（MaaS）成為雲端的第四層。
  • 地緣與能源課題：先進晶片（製程 3nm 以下）與資料中心電力（單一訓練叢集數百 MW）成為國家級戰略資源——「算力即電力」字面成真。
  • 深遠影響：Scaling law 若持續有效，推理成本每年約降 10 倍，AI 將如電力般滲透所有裝置，完成從 ENIAC 到「隨處智能」的 80 年弧線。

關鍵人物與文獻#

  • Jeff Bezos / Andy Jassy：AWS（2006）的戰略與執行。
  • Solomon Hykes：Docker（2013）；Google：Kubernetes（2014，Borg 的開源後繼）。
  • Jensen Huang（NVIDIA）：CUDA（2007）與 AI 算力生態。
  • Vaswani et al.："Attention Is All You Need"（NeurIPS 2017）。
  • Jared Kaplan et al.："Scaling Laws for Neural Language Models"（2020）；Hoffmann et al.："Training Compute-Optimal LLMs"（Chinchilla, 2022）。
  • 文獻：NIST 雲端定義（SP 800-145）；OpenAI GPT-3 論文（2020）、GPT-4 技術報告（2023）。