AI 輔助 QA

2026-06-13 #ai-agent#tool-calling#autonomous#llm-agent#evaluation

AI Agent 系統測試 — 自主執行 / 工具呼叫 / 多步推理的 QA 策略

測試 AI Agent 完整方法。Tool calling 驗證、Trajectory 評估、Failure mode 分類、無限迴圈防止、成本上限、安全 sandbox、Multi-agent 協作測試。

2026-06-13 #ai-tools#copilot#claude#chatgpt#qa-workflow

AI 共存的 QA 工具箱 — Copilot / Claude / ChatGPT 怎麼用、什麼不該用

QA 工程師的完整 AI 工具地圖。Coding Copilot、LLM Chat、AI 視覺迴歸、AI debugger、自動 PR review 各自適合什麼。實戰 workflow + 限制 + 紅線。

2026-06-13 #llm-evaluation#ai-testing#eval-set#llm-judge#regression

LLM Evaluation Testing — 怎麼測 AI 是不是真的對？評估指標完整指南

LLM 系統評估完整方法。Eval set 設計、4 種自動評估指標（BLEU/ROUGE/Embedding/LLM-as-judge）、Human review 流程、回歸防漂移、CI 整合。

2026-06-13 #rag#retrieval#llm#knowledge-base#evaluation

RAG 系統測試 — Retrieval / Augmentation / Generation 三層完整 QA 流程

RAG (Retrieval-Augmented Generation) 系統完整測試指南。Retrieval 評估（recall/precision）、Chunking 策略測試、Citation 驗證、幻覺偵測、知識庫漂移。

2026-06-09 #llm#spec-review#prompt#claude#ai-qa

用 LLM 跑 Spec Review — 兩段式 Prompt 把模糊需求釣出來

把 Spec review checklist 工具化。用 Claude / ChatGPT 兩段式 prompt 先列「需澄清」、再列「邊界與漏洞」，配合人工判讀流程。

2026-06-09 #llm#claude#prompt#test-case#ai-qa

用 LLM 生 Test Case — Prompt 範本、品質檢核、實務踩雷

把 Claude / ChatGPT 變成測試案例產生器。從 spec 到 test case 的 prompt 範本、輸出品質檢核、什麼能交給 AI、什麼不能。