Terry Yao's Blog

ROADMAP

ROADMAP

閱讀時間約 6 分鐘

AI07 · AI 方法論 詳細 ROADMAP

計畫文件，不會被 Quartz 渲染。 回主 roadmap → ai/ROADMAP.md

章節目標

Cross-cutting 思維 / 決策框架 / 開發流程 / 協作模式。本章是 AI 系列的「how to think」——不是「做什麼」而是「怎麼思考做什麼」。

跟其他章分工：

  • AI04/AI05/AI06 = 技術概念（know what / how it works）
  • AI08/AI09 = 動手建造（know how to build）
  • 本章 = 思維框架（know how to approach / decide / iterate）
  • AI10 Adoption = 組織層導入（how to adopt）；本章是個人 / team 工作法

🌱 基本介紹

#主題SlugStage大綱
01AI 方法論全景01-ai-methodology-landscape🌱為什麼 AI dev 需要專屬方法論：非確定性輸出、eval-driven、iterative；跟傳統軟體 dev 有什麼關鍵差異

❓ 為什麼需要

#主題SlugStage大綱
02為什麼傳統軟體方法論不夠用02-why-traditional-sdlc-insufficient🌱確定性測試 assumption 斷裂；TDD 只能管 code 不能管 prompt / data；AI 系統失敗模式不同
03為什麼要 AI Problem Framing03-why-ai-problem-framing🌱AI 不是每個場景都合；先決定該不該用 AI 才有價值；不 framing 直接寫 POC 很容易跑偏
04為什麼要 Eval-first 思維04-why-eval-first🌱改 prompt 可能讓某類 input 退步別類進步；沒 eval 看不到；跟 test-first 類比但有關鍵差異

🕰️ 演進

#主題SlugStage大綱
05AI 方法論演進驅動力05-methodology-evolution-drivers🌱Ad-hoc prompting 撞覆蓋性撞牆 → Prompt iteration 流程；手感調校撞 regression 撞牆 → Eval-driven；single-turn 撞複雜任務撞牆 → Agentic methodology；一人開發撞規模撞牆 → Human-AI collaboration pattern

🧠 知識型

F07-A 決策框架

#主題SlugStage大綱
06AI Problem Framing06-ai-problem-framing🌱該不該用 AI 的決策樹：問題可 codify 度、tolerance for error、成本 vs 價值、人工 baseline 是什麼
07AI vs 規則 vs 人工 決策07-ai-vs-rules-vs-human🌱三選項對比；什麼場景規則夠用；什麼場景人工比 AI 好（且更便宜）；混合策略
08Buy vs Build vs Partner08-buy-vs-build-vs-partner🌱用現成 SaaS / 自己 build / 找 partner 的決策框架；跟 AI10 #07 AI 導入成本 對照
09AI Fallback 策略09-ai-fallback-strategy🌱AI 壞了怎麼辦：降級到規則、人工接手、靜默失敗、告警升級；fallback 的成本跟 UX 考量
10Kill Criteria / Exit 設計10-kill-criteria🌱AI 專案預設的 exit 條件；避免 sunk cost fallacy；POC 什麼時候該止血

F07-B 開發流程

#主題SlugStage大綱
11Eval-Driven AI Development11-eval-driven-dev🌱Eval 先寫再寫 prompt / retrieval / agent；eval dataset 如何建；eval 跑在 CI；跟 AI04 F-G 評估實作對照，本章是流程哲學
12Prompt Iteration 方法論12-prompt-iteration🌱系統化改 prompt：hypothesis → test → compare → commit；避免憑感覺改；A/B test 跟手感改的區別
13RAG 迭代方法論（POC → Production）13-rag-iteration🌱POC 階段重點 / Beta 階段重點 / Production 階段重點；每階段該動什麼（chunking / retrieval / reranking / prompt）
14跟非確定性系統協作的 dev 哲學14-non-deterministic-dev-philosophy🌱傳統 code：given input → guaranteed output；AI：given input → probability distribution；debugging / testing / deploying 思維調整

F07-C 協作模式

#主題SlugStage大綱
15Human-AI Collaboration Patterns15-human-ai-collaboration-patterns🌱HITL（Human-in-the-Loop）/ HOTL（Human-on-the-Loop）/ Review Layer / Escalation；每個 pattern 的成本 vs 品質 trade-off
16Pair Programming with AI16-pair-programming-with-ai🌱AI 當 pair（driver / navigator 切換）；什麼時候讓 AI 主導 / 什麼時候自己主導；跟真人 pair 的差異
17AI Code Review 方法論17-ai-code-review-methodology🌱Review AI 產出的專門流程：correctness check / style / security / 過度設計；review fatigue 跟 trust calibration

🔧 小實作注意事項

#主題SlugStage大綱
18AI Project Kick-off Checklist18-kickoff-checklist🌱可複製模板：目標 / baseline / eval dataset / kill criteria / fallback / stakeholder / timeline
19Prompt Change Log 建檔19-prompt-changelog🌱每次改 prompt 記錄 hypothesis / eval result / decision；累積成團隊知識庫

💣 Anti-pattern

#主題SlugStage大綱
20AI 方法論 Anti-patterns20-methodology-antipatterns🌱沒 framing 直接 POC；沒 eval 憑感覺改 prompt；AI 失敗後沒 fallback 就直接對 user 報錯；把 AI 當 deterministic function；human review 疲勞後變 rubber stamp；POC 數字漂亮但沒跑 eval dataset；反向 sunk cost（該砍不砍）

🧰 對應檢查工具

#主題SlugStage大綱
21AI 方法論工具21-methodology-tooling🌱Framing: Problem framing canvas / RICE；Eval: RAGAS / DeepEval / Promptfoo；Collaboration: CodeRabbit / Greptile（AI review）；Tracking: Linear / Jira 開 AI ticket 的 convention；Changelog: Git / Obsidian prompt changelog

📎 補充

#主題SlugStage大綱
S01AI 方法論跟 Agile 的關係s01-ai-vs-agile🌱Agile 假設 iteration 是 dev → test → ship；AI iteration 是 eval → prompt → eval → ship；sprint 長度跟 ceremony 調整

章節進度統計

  • 知識主題：21 項 + 1 補充 = 22 項
  • 🌿 growing：0
  • 🌱 seed：22

跨系列連結

關係圖譜