透過 Prompt 讓 LLM「執行任務」的機制（Tool Calling）

✦ 表面上看起來的流程:

           prompt                tool intent
Code ←----------------→  LLM  ←---------------→ Execute (call API)
          response

看起來像是 LLM 能直接呼叫 API 並回傳執行結果。



✦ 實際上的運作流程:

                     prompt
 Code ←--------------------------------→ LLM
    ↑   response (tool intent in JSON)
    |
    |
    | parse JSON
    |
    |
    ↓
Execute (call API)


LLM 在 response 中，以結構化的 JSON 格式描述「它想要呼叫的 API 與參數」。


Code 端負責:

  • 解析與驗證這個 intent

  • 實際呼叫對應的 API 或 Tool

  • 控制權限、錯誤處理與界定安全邊界

API的執行結果，通常會再由 Code 傳回給 LLM，作為下一輪推理或回覆的上下文



✦ 總結:

Tool Calling 的核心精神是：LLM 負責「想做什麼」，Code 負責「怎麼做、能不能做」。

這也是 Agent、MCP 與各種 Agentic AI Framework 的運作基礎。



參考資料：
AI Engineer Agentic Track: The Complete Agent and MCP Course, Ed Donner

P.S.
文字潤飾與內容補完，透過 ChatGPT 協助完成
圖片由 Gemini 繪製