技術分享
AI 語音客服怎麼導入?Voice Agent 的架構、適合場景、廠商評估與費用
AI 語音客服(Voice Agent)是讓 AI 直接接聽電話、聽懂來電者的問題並用語音回答,答不了或需要負責的事再轉給真人。它適合問題重複、量大、答案寫得清楚的來電,例如查進度、營業資訊、預約變更;客訴、退款與需要身分核對的交易,仍應保留給真人。本文說明 Voice Agent 的兩種架構、導入前要確認的事、怎麼評估廠商,以及費用由哪些項目組成。

重點摘要
- AI 語音客服由語音辨識、AI 回答、語音合成與電話系統串接四塊組成,難點多半在電話串接與轉真人,不在模型。
- 適合交給 AI 的是重複、量大、答案明確的來電;客訴、退款與需要核對身分的交易應直接轉真人。
- 語音比文字多兩個驗收項目:回應延遲與聽錯率,PoC 要用真實來電錄音測,不能只用文字題目測。
- 通話錄音與逐字稿屬於個人資料,蒐集前要告知、保存要有期限,也要決定資料放在哪裡。
- 費用階段與文字 AI 客服相同,另外加上語音 API 用量與電話系統串接,第一階段建議只開一條來電路線。
本文目錄
AI 語音客服能不能用,看的是三件事:來電問題夠不夠重複、電話系統接不接得上,以及轉真人的流程有沒有先設計好。 模型本身已經能聽懂多數中文口語,真正讓專案卡住的,通常是電話串接、延遲與責任歸屬。下面依導入的順序,說明架構、場景、評估方式與費用。
AI 語音客服(Voice Agent)是什麼?
AI 語音客服是讓 AI 接聽電話、聽懂來電者的問題、依企業資料用語音回答的系統,答不了或需要負責的事會轉給真人。它和傳統語音選單(按 1 查詢、按 2 轉接)最大的差別,是來電者可以直接用說的。
傳統語音選單要求來電者照著選單走,選項一多就容易按錯、繞回原點。AI 語音客服則是先聽懂來電者想做什麼,再依知識庫回答,或帶著已經問到的資訊轉給真人,客服人員不用從頭再問一次。
和文字 AI 客服相比,語音多了兩個限制:回答要夠快,否則對方會以為斷線;回答要夠短,因為聽的人沒辦法回頭重看。這兩點會影響架構與驗收方式。
AI 語音客服的架構有哪幾種?
常見有兩種架構:一種是「語音轉文字、AI 回答、文字轉語音」三段串接,另一種是語音直接進出的即時語音模型。前者每一段都能替換與檢查,後者延遲較低、語氣較自然。
| 比較項目 | 三段串接 | 即時語音模型 |
|---|---|---|
| 運作方式 | 語音辨識轉成文字,AI 依知識庫回答,再合成語音 | 模型直接聽語音、直接說語音 |
| 延遲 | 三段相加,較容易感覺到停頓 | 較低,對話比較順 |
| 可檢查性 | 每一段都有文字紀錄,容易查是聽錯還是答錯 | 要另外存逐字稿,除錯較難 |
| 替換彈性 | 辨識、模型、語音合成可以各自換廠商 | 綁定支援即時語音的模型 |
| 適合 | 重視稽核、要查是哪一段出錯的場景 | 重視對話體驗、問題較單純的場景 |
兩種架構都要再接上電話系統,也就是企業原本的總機、客服中心系統或雲端電話服務。Microsoft 的 Azure AI Speech 提供語音轉文字與文字轉語音,OpenAI 的 Realtime API 提供低延遲的語音對話,選哪一種要看企業對延遲、稽核與資料存放的要求。
哪些來電適合交給 AI 語音客服?
適合的是重複、量大、答案明確的來電,例如查詢進度、營業時間、預約變更與常見規則說明。需要人判斷、要負法律或財務責任,或來電者情緒激動的電話,應該直接轉真人。
| 來電類型 | 建議做法 | 原因 |
|---|---|---|
| 營業時間、地點、規則說明 | 交給 AI 回答 | 答案固定,寫在文件裡就答得出來 |
| 查訂單、查維修或申請進度 | AI 回答,先只開放查詢 | 要串接既有系統,修改類動作保留人工 |
| 預約、改期、取消 | AI 處理後由系統或人工確認 | 牽涉名額與時段,要防止重複或誤刪 |
| 需要核對身分的交易 | 轉真人 | 身分驗證與責任歸屬要由人負責 |
| 客訴、退款、帳務爭議 | 直接轉真人 | 需要判斷與安撫,AI 回答容易擴大問題 |
判斷的方法很簡單:把過去 3 個月的來電紀錄依問題分類,看前幾類占了多少比例,以及答案是否寫在文件或系統裡。答案找得到、問法又重複的類別,才是第一階段的候選。
導入 AI 語音客服前,要先確認哪些事?
最重要的是三件事:電話系統能不能把通話交給 AI、轉真人時能不能帶上前面的對話內容,以及錄音與逐字稿怎麼保存。這三件事沒確認,PoC 做得再好也上不了線。
- 確認電話系統的串接方式。 問清楚現有總機或客服中心系統能不能轉接到外部服務、支援哪些通訊協定,雲端電話服務通常比傳統總機容易串接。
- 設計轉真人的條件與流程。 哪些關鍵字、哪些情緒、問了幾次答不出來就轉真人,轉過去時客服人員要看到什麼資訊。
- 整理知識庫。 把常見問題的答案寫成適合「聽」的版本:句子短、先講結論、數字和日期講清楚。
- 決定錄音與逐字稿的處理方式。 依《個人資料保護法》,蒐集個人資料前要告知目的;通話開頭要說明會錄音與使用 AI,保存期限與存放位置也要先定。
- 訂出驗收指標。 除了答對率,還要量回應延遲、聽錯率與轉真人比例,測試用真實來電錄音,而不是只用文字題目。
NIST 的 AI 風險管理框架把上線後的持續監控列為治理重點。語音客服上線後,要定期抽聽通話、檢查答錯與轉真人的案例,再回頭補知識庫。
AI 語音客服的廠商怎麼評估?
評估時看的不是展示有多流暢,而是對方能不能接上你們的電話系統與既有資料、能不能說清楚延遲與聽錯率怎麼量,以及資料放在哪裡。展示用的題目都是挑過的,要用自己的真實來電測。
| 評估項目 | 要問的問題 |
|---|---|
| 電話串接 | 能不能接我們現有的總機或客服中心系統?轉真人時會帶哪些資訊? |
| 知識與系統串接 | 回答依據哪些文件?能不能查訂單、預約等系統?查詢與修改的權限怎麼分? |
| 驗收方式 | 用什麼資料測?答對率、回應延遲、聽錯率與轉真人比例各怎麼量? |
| 資料處理 | 錄音與逐字稿存在哪裡?保存多久?會不會被拿去訓練模型? |
| 上線後維運 | 知識庫誰更新?答錯的通話多久檢討一次?模型更新後誰重新測試? |
| 交付物 | 原始碼、設定與文件歸誰?之後要換語音或模型廠商,能不能只換那一段? |
市面上的做法大致分成兩類:一類是平台型服務,開通後設定知識庫就能用,按通話分鐘數或處理次數計費;另一類是客製整合,依企業的電話系統與既有系統開發。問題單純、不用查內部資料時,平台型比較快;要查訂單會員資料、資料不能離開指定環境時,客製整合比較合適。選擇方式和文字 AI 客服相同,可以參考 AI 客服導入費用裡的比較。
AI 語音客服的費用怎麼算?
客製導入的階段與文字 AI 客服相同:需求評估免費,單一場景 PoC 約 NT$30 萬至 80 萬、正式上線約 NT$80 萬至 250 萬。語音另外多出電話系統串接,以及語音辨識、語音合成或即時語音模型的用量費。
| 費用項目 | 計費方式 | 影響金額的因素 |
|---|---|---|
| 需求評估、PoC、正式上線 | 需求評估免費,之後依階段計費,區間同 AI 客服導入頁 | 來電類型數量、知識庫整理難度、要串接的系統 |
| 電話系統串接 | 依範圍估價 | 現有總機或客服中心系統的開放程度、轉真人的設計 |
| 語音與 AI 模型 API | 依用量(通話分鐘數或處理量) | 每月來電數、平均通話長度、選用的架構 |
| 雲端電話與主機 | 依用量與規格 | 同時通話數、錄音保存量、是否需要私有部署 |
| 維運 | 另訂合約 | 知識庫更新頻率、通話抽檢與報表需求 |
控制預算最有效的方法,是第一階段只開一條來電路線,例如只接「查進度」這類電話,其他電話照舊由真人接。量到答對率、延遲與轉真人比例都達標,再擴大到其他問題類型。
JoinX 做過哪些 AI 對話與語音專案?
JoinX 公開的相關專案包括保險公司的 AI Agent 對話介面、聯經數位的 AI 語音生成平台,以及官網上的 JoinX GPT。共同做法是依既有資料與工作流程設計,AI 負責查詢與整理,需要負責的決定留給人。
- 保險公司: 2026 年為保險業務情境設計並製作 AI Agent 的對話介面與操作流程,依第一線人員的工作順序,讓 AI 協助查詢與整理資料,最後由人確認。詳見保險公司 AI Agent 案例。
- 聯經數位: 設計從原稿上傳、文本拆解、角色辨識、情緒分析、聲音標記到語音合成的完整流程,把電子書轉成角色鮮明的有聲內容。詳見聯經數位案例。
- JoinX GPT: joinx.co 右下角的 AI 助手,依官網的服務、流程與文章內容回答問題,問不到的交給業務。
語音客服要接電話系統與既有資料,比單純的文字對話多了串接與驗收的工作。JoinX 的做法是先盤點來電類型與電話系統,再用一條來電路線做 PoC,確認數字達標才擴大。
常見問題
AI 語音客服和傳統語音選單(IVR)差在哪?
傳統語音選單要來電者照著按鍵選項走,AI 語音客服則讓來電者直接用說的,AI 聽懂問題後回答或轉接。很多企業會保留原本的語音選單,只把其中幾個選項改由 AI 處理,逐步替換。
AI 語音客服聽得懂台語或口音嗎?
主流語音辨識服務對國語的辨識已經相當成熟,台語與混用語言的辨識效果差異較大,要用自己的真實來電錄音測過才知道。如果來電者常說台語,PoC 時就要把台語通話放進測試集,聽錯率太高的類別先保留給真人。
導入 AI 語音客服,客服人員會被取代嗎?
比較常見的結果是分工改變:重複的查詢交給 AI,客服人員處理客訴、退款與需要判斷的電話。轉真人時帶上前面的對話內容,客服人員也不用從頭再問一次。
通話錄音交給 AI 處理,要注意哪些法規?
通話錄音與逐字稿屬於個人資料,依《個人資料保護法》,蒐集前要告知目的,使用不能超出告知範圍。實務上會在通話開頭說明錄音與使用 AI,訂好保存期限,並確認語音服務廠商不會拿資料訓練模型。金融與醫療等產業還要對照主管機關的規範。
AI 語音客服要多久才能上線?
依 JoinX 的 AI 客服階段估算,需求評估約 1 至 2 次會談、單一場景 PoC 約 4 至 8 週、正式上線約 2 至 4 個月。語音專案的時程,主要看電話系統串接的難度,以及要串接幾套既有系統。
參考資料
- 個人資料保護法法務部(全國法規資料庫)
- Azure AI Speech 服務文件(語音轉文字、文字轉語音)Microsoft
- Realtime API 文件OpenAI
- AI Risk Management Framework(AI RMF 1.0,2023)美國國家標準與技術研究院(NIST)
以上為本文撰寫時引用的法規與資料;法規可能修訂,實際適用請以主管機關最新公告為準。
關於作者
李秉哲 Jack Lee
JoinX 哲煜科技 創辦人暨執行長
2016 年創立 JoinX 哲煜科技,帶領 80+ 人、橫跨台灣與日本的團隊,累計為 220+ 家客戶完成 520+ 個專案,其中包含 56 套中大型系統。
認識 Jack

