ROADMAP

AI03 · AI 核心技術概念 詳細 ROADMAP

計畫文件，不會被 Quartz 渲染。 回主 roadmap → ai/ROADMAP.md

---

章節目標

不用自己訓練，但要聽得懂技術會議、看得懂文件。受眾：想理解原理的人（PM、技術主管、轉職者）。本章涵蓋 LLM 運作的核心概念——Token / Embedding / 模型參數 / Fine-tuning / 開源 vs 閉源 / 多模態。

跟其他章分工：

• AI01 是 user 視角（能不能用）
• 本章是中間層（懂原理但不寫 code）
• AI04 是工程實作（寫 code 串起來）

---

🌱 基本介紹

#	主題	Slug	Stage	大綱
01	AI 全景（從原有 01 吸收）	01-ai-landscape	🌿	已有，從舊 01-ai-landscape.md 搬

---

❓ 為什麼需要

#	主題	Slug	Stage	大綱
02	為什麼要懂 Token	02-why-understand-token	🌱	Token 決定成本、決定 context window、決定 prompt 設計上限；不懂 token 無法估 cost
03	為什麼 Fine-tuning 不是你第一個該做的事	03-why-not-finetune-first	🌱	RAG / Prompt Engineering 夠用的場景遠比 fine-tuning 多；成本差異、維護 overhead；跟 #07 連動

---

🕰️ 演進

#	主題	Slug	Stage	大綱
04	AI 技術概念演進驅動力	04-concept-evolution-drivers	🌱	Word2Vec 1-to-1 embedding 撞語意撞牆 → Transformer attention；靜態 embedding 撞 context 撞牆 → Contextual embedding（BERT）；純 text 撞多模態撞牆 → CLIP / GPT-4V；4K context 撞長文件撞牆 → 100K+ context；dense model 撞成本撞牆 → MoE（Mixtral）

---

🧠 知識型

F03-A 語義表示

#	主題	Slug	Stage	大綱
05	Token、Embedding、向量：AI 怎麼理解文字	05-token-embedding	🌱	Tokenization 算法（BPE / WordPiece）；embedding 空間；相似度計算；吸收自舊 01-2-llm-terminology.md
06	Embeddings 服務選型深入	06-embeddings-services	🌱	OpenAI text-embedding-3 / Cohere embed / 自架 BGE / Voyage AI；dimensions 選擇；跟 Vector DB 對齊；embedding drift 處理；跟 I04 #30 Vector DB 呼應

F03-B 模型參數

#	主題	Slug	Stage	大綱
07	Temperature / Top-p / Context Window	07-model-parameters	🌱	三個最常調的參數；對輸出 creativity 的實際影響；context window 用盡的行為
08	模型大小與能力的關係	08-model-size-capability	🌱	參數量 vs 能力非線性；scaling law；為什麼 1B 模型某些任務打 70B

F03-C 訓練與調整

#	主題	Slug	Stage	大綱
09	AI 模型怎麼訓練的（非技術版）	09-how-models-train	🌱	Pre-training / SFT / RLHF / DPO；每階段解什麼問題；從舊 01-3-*.md 吸收
10	Fine-tuning vs RAG vs Prompt Engineering	10-finetune-rag-prompt	🌱	三選項決策樹；成本對比；什麼資料 / 場景選哪個；從舊 01-3-finetuning-vs-rag.md 搬

F03-D 模型選擇

#	主題	Slug	Stage	大綱
11	開源 vs 閉源模型	11-open-vs-closed	🌱	2025 現況（Llama 3 / Qwen / Mistral / DeepSeek vs GPT-4 / Claude / Gemini）；cost / lock-in / 效能；自架 vs API 決策
12	多模態模型	12-multimodal-models	🌱	Vision / Audio / Video 模型；部署成本差；實用場景對比；從舊 04-tool-comparison-3.md 吸收

---

🔧 小實作注意事項

#	主題	Slug	Stage	大綱
13	算 Token 實戰	13-token-calculation	🌱	OpenAI tiktoken / Anthropic count tokens API；估算成本；怎麼壓縮 prompt
14	部署成本試算	14-deployment-cost-estimate	🌱	從舊 01-4-deployment-and-cost.md 吸收

---

💣 Anti-pattern

#	主題	Slug	Stage	大綱
15	概念理解 Anti-patterns	15-concept-antipatterns	🌱	以為 temperature 是「準不準」（其實是 creativity）；以為 fine-tuning 能修任何幻覺（不能）；以為 context window 越大越好（成本 / 注意力稀釋）；混淆 token 跟字元

---

🧰 對應檢查工具

#	主題	Slug	Stage	大綱
16	概念探索工具	16-fundamentals-tooling	🌱	tiktoken / Token visualizer、Hugging Face Tokenizer playground、Anthropic Workbench、LMSys Chatbot Arena（模型對比）

---

📎 補充

#	主題	Slug	Stage	大綱
S01	AI 風險（幻覺 / 偏見 / 越獄）	s01-ai-risks	🌱	從舊 01-5-ai-risks.md 吸收；跟 AI04 F-I 分工（本篇是原理層，AI04 是防禦實作層）

---

章節進度統計

• 知識主題：16 項（4 🌿 + 12 🌱）
• 🌿 growing：4（吸收自舊 01-* 5 篇）
• 🌱 seed：12

---

跨系列連結

• → AI02（Prompt 是 model parameter 的應用）
• → AI04 F-B RAG（Fine-tuning vs RAG 深入實作）
• → AI04 F-I AI Security（風險防禦實作）
• → I04 #30 Vector DB 運維（Embeddings 存儲）