AI 客服的大腦升級術：從「指令」到「情境」，打造真正聰明的 AI 代理

範式轉移：AI 的智慧，不只靠「說話的藝術」

你是否曾對 AI 聊天機器人感到失望？一開始它似乎無所不知，但多問幾句就開始「失憶」，忘記你們剛剛聊過的內容，或者對你的公司內部問題一問三不知。這不是 AI 不夠聰明，而是我們與它互動的方式需要一次大升級。

長久以來，我們專注於「提示工程」（Prompt Engineering）——也就是研究如何下達最精準的指令，讓大型語言模型（LLM）吐出我們想要的答案。這是一門重要的藝術，它教會我們如何與模型「對話」。

但現在，遊戲規則變了。要打造一個能真正解決複雜問題、能記住客戶、能使用工具的 AI 代理（Agent），光靠漂亮的指令是遠遠不夠的。我們需要從「對話的藝術家」轉變為「世界的建築師」。

歡迎來到「情境工程」（Context Engineering）的時代——一門為 AI 建構整個認知世界的架構學。

等一下，什麼是提示工程？

在我們深入探討情境工程之前，先快速回顧一下它的基礎。提示工程，說穿了，就是設計和優化文字指令的學問，目標是在不改動模型本身的前提下，引導它產生最準確、最有用的回應。這就像學會如何跟一位博學但需要清晰指引的專家溝通。

常見的技巧有三種：

• 零樣本提示 (Zero-Shot Prompting): 直接下指令，不給任何範例。例如：「幫我把這段文字總結成三點。」這適用於模型已經很熟悉的簡單任務。
• 少樣本提示 (Few-Shot Prompting): 在指令中提供幾個「輸入-輸出」的範例，像是在教它舉一反三。例如，先給它看幾個「產品特點 -> 產品描述」的範例，它就能學會你的風格。
• 思維鏈提示 (Chain-of-Thought, CoT): 引導模型「一步一步地思考」。這能讓模型在處理數學或邏輯問題時，先把推理過程寫下來，大幅提升複雜任務的準確率。

提示工程是所有 AI 應用的基石，但當我們試圖打造一個能處理多輪對話、需要存取外部資料的客服代理時，它的局限性就暴露無遺了。

思維的升級：為何我們需要「情境工程」？

想像一下，你正在和一位客服專員對話。如果他每秒都在失憶，忘記你的名字、你的問題、你上一秒才提供的訂單編號，你是不是會抓狂？

很多 AI 代理的失敗，正是源於這種「情境失敗」（context failures）。問題不在於模型（LLM）不夠強大，而在於系統沒能把解決問題所需的關鍵資訊提供給它。

一個絕佳的比喻：CPU、RAM 與作業系統

要理解情境工程的威力，這個類比絕對能讓你豁然開朗：

• 大型語言模型 (LLM) 就像電腦的 中央處理器 (CPU)，是負責思考和計算的核心。
• 模型的「情境視窗」(Context Window) 則相當於 隨機存取記憶體 (RAM)，這是模型處理當前任務的工作記憶體，容量有限。
• 而「情境工程」，扮演的正是 作業系統 (OS) 的角色。

作業系統的核心工作是什麼？就是高效管理有限的 RAM，決定在這一刻，應該把哪些資料載入記憶體讓 CPU 處理。同樣地，情境工程的任務，就是在 AI 代理做決策的每一步，都精準地將「對的資訊」填入它有限的情境視窗中。這些資訊可能包括：對話歷史、使用者偏好、外部知識庫的文件、可用的工具等等。

當我們從簡單的展示應用，擴展到複雜的 AI 代理時，情境視窗很快就會被對話紀錄、工具回傳結果、檢索到的資料塞爆。這會導致「情境中毒」（被錯誤資訊污染）或「情境分心」（被無關資訊干擾），最終讓 AI 變得既笨拙又不可靠。

所以，情境工程不是提示工程的重新包裝，而是在應對規模化挑戰時，必然誕生的全新學科。我們的焦點，正從提示的「措辭藝術」，轉向 AI 系統的「架構科學」。

所以，到底差在哪？提示工程 vs. 情境工程

必須強調，這兩者並非對手，而是互補的夥伴。情境工程是頂層的系統架構，而提示工程是實作這個架構中，「指令」這個元件的精加工手藝。

一個設計再好的提示，如果被丟進一個充滿雜訊的混亂情境中，也會失效。反之，一個架構完美的系統，依然需要清晰的指令來驅動模型。

簡單來說，情境工程決定「哪些內容」該被看見，提示工程則優化「指令該怎麼說」。

為了更清楚地比較，下表從多個維度進行了剖析：

我該優先考慮哪個？

• 優先提示工程的場景： 當你的任務是一次性的、無狀態的內容生成時。例如：寫文案、生成社群貼文、腦力激盪。
• 優先情境工程的場景： 當你要建構一個生產級別、有狀態的 AI 系統時。例如：具備記憶能力的客服機器人、需要處理多輪對話的 AI 代理，以及任何要求可靠性與可擴展性的應用。

情境的剖析：AI 大腦裡的組件有哪些？

一個精心設計的情境，就像一個功能完備的「工作記憶體」。它由以下幾個關鍵層次構成，共同塑造了 AI 的智慧。

1. 核心指令層 (Instructions):

   • 系統提示 (System Prompt): 這是 AI 的「人格設定」。定義它的角色（「你是一位專業的金融顧問」）、語氣（「專業且有同理心」）、行為準則（「絕不提供醫療建議」）。
   • 使用者提示 (User Prompt): 使用者當前的問題，是驅動對話的直接動力。

2. 對話記憶層 (Memory):

   • 短期記憶 (Chat History): 當前的對話紀錄，讓 AI 能理解「它」指的是哪個東西。
   • 長期記憶 (Long-Term Memory): 跨越多次對話的永久知識庫。儲存使用者的偏好、歷史訂單、會員等級等，是實現真正個人化的核心。

3. 外部知識層 (Knowledge):

   • 檢索增強生成 (RAG): 這是解決 AI「胡說八道」的關鍵。當 AI 需要回答專業問題時，它會先去外部知識庫（如公司產品手冊、政策文件）查詢，把最相關的資訊注入情境，再生成答案。

4. 行動與能力層 (Actions):

   • 可用工具 (Tools): 賦予 AI 「動手」的能力。這些工具通常是 API，能讓 AI 執行「查詢訂單狀態」、「處理退款」、「轉接真人客服」等操作。

5. 輸出控制層 (Output Control):

   • 結構化輸出 (Structured Output): 強制 AI 的回應必須符合特定格式（如 JSON），確保輸出的資訊能被後端系統直接使用，而無需複雜的文字解析。

這些層次並非獨立運作。一個簡單的問題，比如「我上次訂的那個東西到哪了？」，就能觸發一個跨越所有層次的複雜資訊流，這也揭示了情境工程的本質——它不只是填充資訊，而是在協調一個動態的工作流程。

實戰藍圖：四個階段，打造情境感知的 AI 客服

理論說完了，現在來點實際的。以下是一個分階段的指南，引導你從零開始，建構一個高階的 AI 客服代理。

第一階段：建構知識庫 (RAG 管線)

目標是讓 AI 能存取你的內部知識，回答得有憑有據。

1. 資料準備與分塊 (Chunking): 收集你的文件（如 FAQ、產品手冊），並將它們切分成語義連貫的小片段。

2. 嵌入與索引 (Embedding & Indexing): 使用嵌入模型，將文本塊轉換為數學向量。

3. 選擇向量資料庫 (Vector Database): 將這些向量存入專門的向量資料庫。這類資料庫能高效地進行語義搜索。選擇哪個資料庫是關鍵的架構決策。

   主流企業級 RAG 向量資料庫比較

第二階段：工程化對話狀態與個人化

目標是讓 AI 能進行連貫的多輪對話，並提供個人化體驗。

1. 實施對話狀態追蹤 (DST): 在每一輪互動中，讓 AI 維護一個結構化的狀態摘要，例如 {'主題': '訂單狀態', '訂單ID': '12345'}。
2. 管理對話歷史: 為了不讓情境視窗爆炸，可以採用「滑動視窗」（只保留最近幾輪對話）或「摘要化」策略。
3. 建構長期記憶層: 透過 API 將 AI 與你的 CRM 系統連接。當客戶進來時，立即讀取他的歷史訂單、會員等級和偏好。對話結束後，將本次互動的摘要存回客戶檔案。

第三階段：賦能行動與工作流自動化

目標是將 AI 從「資訊員」提升為「執行者」。

1. 設計穩健的工具庫: 定義一組 AI 可以呼叫的函式，例如 get_order_status(order_id)、process_refund(order_id)、escalate_to_human_agent()。
2. 為工具使用設計提示 (ReAct 框架): 使用 ReAct（Reason and Act）框架，引導 AI 在行動前先「思考」，寫下它的推理過程，再呼叫工具。這讓 AI 的行為更可控、更可解釋。
3. 安全的 API 整合: 實施後端邏輯來安全地執行 AI 呼叫的 API，並處理好錯誤情況。

第四階段：協調最終情境

這是見證奇蹟的時刻。在每一輪對話中，動態地將所有情境元件組合起來，餵給 LLM。

想像一下這個流程：

1. 使用者: 「我最新的訂單在哪裡？」
2. 系統: 檢索到這位使用者是「白金會員瑪麗」。
3. AI 思考: 「使用者問訂單狀態。我需要訂單 ID。我先查她的客戶資料。」
4. AI 行動: 呼叫 get_customer_details() 工具，得到最新訂單 ID。同時，它預見到後續問題，可能向 RAG 系統查詢「白金會員的快遞政策」。
5. 情境組合: 協調器將 系統提示 + 長期記憶 + 對話歷史 + 工具結果 + RAG 知識 全部打包。
6. LLM 生成回應: 接收到這個極度豐富的情境後，LLM 就能生成一個超乎期待的回應：「瑪麗您好，您的訂單 XYZ789 正在配送中。由於您是我們的白金會員，我們已為您免費升級為次日達快遞，預計明天就會送達。」

如何衡量成功？將技術與商業價值掛鉤

建構這樣的系統投入不菲，如何證明它的價值？我們需要一個超越傳統指標的評估框架。

將這些 KPI 與商業價值聯繫起來，是獲得支持的關鍵。案例顯示，美妝巨頭絲芙蘭 (Sephora) 透過其情境感知的 AI 系統，將產品推薦的轉換率提高了 11%。設計良好的 AI 客服，甚至可以將工單處理時間減少 40%，直接節省營運成本。

結語：未來已來，AI 的未來是「代理式」的

從提示工程到情境工程的轉變，是 AI 發展從量變到質變的里程碑。它標誌著我們不再滿足於讓 AI 成為一個被動的問答機，而是要將其打造成一個主動、可靠、有記憶的智慧代理。

給企業的建議很簡單：

1. 從高價值的工作流開始： 選擇一個對情境最敏感、對業務影響最大的場景作為試點。
2. 繪製你的資料地圖： 在寫程式前，先盤點清楚你的資料在哪裡。
3. 設計模組化的情境層： 建構可重複使用的元件，加速未來擴展。

展望未來，情境工程自身也在快速演進。我們將看到更複雜的「工作流工程」、更自主的 AI 代理，甚至是能自我優化的「元 AI」系統。

這趟旅程才剛剛開始。掌握了情境工程，你就不再只是一個 AI 的使用者，而是它智慧世界的創造者。

• ←上一頁
• 下一頁→