技術分享

AI 語音客服怎麼導入?Voice Agent 的架構、適合場景、廠商評估與費用

AI 語音客服(Voice Agent)是讓 AI 直接接聽電話、聽懂來電者的問題並用語音回答,答不了或需要負責的事再轉給真人。它適合問題重複、量大、答案寫得清楚的來電,例如查進度、營業資訊、預約變更;客訴、退款與需要身分核對的交易,仍應保留給真人。本文說明 Voice Agent 的兩種架構、導入前要確認的事、怎麼評估廠商,以及費用由哪些項目組成。

作者 JoinX 哲煜科技 創辦人暨執行長發布 閱讀約 8 分鐘
AI 語音客服怎麼導入?Voice Agent 的架構、適合場景、廠商評估與費用

重點摘要

  • AI 語音客服由語音辨識、AI 回答、語音合成與電話系統串接四塊組成,難點多半在電話串接與轉真人,不在模型。
  • 適合交給 AI 的是重複、量大、答案明確的來電;客訴、退款與需要核對身分的交易應直接轉真人。
  • 語音比文字多兩個驗收項目:回應延遲與聽錯率,PoC 要用真實來電錄音測,不能只用文字題目測。
  • 通話錄音與逐字稿屬於個人資料,蒐集前要告知、保存要有期限,也要決定資料放在哪裡。
  • 費用階段與文字 AI 客服相同,另外加上語音 API 用量與電話系統串接,第一階段建議只開一條來電路線。
本文目錄

AI 語音客服能不能用,看的是三件事:來電問題夠不夠重複、電話系統接不接得上,以及轉真人的流程有沒有先設計好。 模型本身已經能聽懂多數中文口語,真正讓專案卡住的,通常是電話串接、延遲與責任歸屬。下面依導入的順序,說明架構、場景、評估方式與費用。

AI 語音客服(Voice Agent)是什麼?

AI 語音客服是讓 AI 接聽電話、聽懂來電者的問題、依企業資料用語音回答的系統,答不了或需要負責的事會轉給真人。它和傳統語音選單(按 1 查詢、按 2 轉接)最大的差別,是來電者可以直接用說的。

傳統語音選單要求來電者照著選單走,選項一多就容易按錯、繞回原點。AI 語音客服則是先聽懂來電者想做什麼,再依知識庫回答,或帶著已經問到的資訊轉給真人,客服人員不用從頭再問一次。

和文字 AI 客服相比,語音多了兩個限制:回答要夠快,否則對方會以為斷線;回答要夠短,因為聽的人沒辦法回頭重看。這兩點會影響架構與驗收方式。

AI 語音客服的架構有哪幾種?

常見有兩種架構:一種是「語音轉文字、AI 回答、文字轉語音」三段串接,另一種是語音直接進出的即時語音模型。前者每一段都能替換與檢查,後者延遲較低、語氣較自然。

比較項目三段串接即時語音模型
運作方式語音辨識轉成文字,AI 依知識庫回答,再合成語音模型直接聽語音、直接說語音
延遲三段相加,較容易感覺到停頓較低,對話比較順
可檢查性每一段都有文字紀錄,容易查是聽錯還是答錯要另外存逐字稿,除錯較難
替換彈性辨識、模型、語音合成可以各自換廠商綁定支援即時語音的模型
適合重視稽核、要查是哪一段出錯的場景重視對話體驗、問題較單純的場景

兩種架構都要再接上電話系統,也就是企業原本的總機、客服中心系統或雲端電話服務。Microsoft 的 Azure AI Speech 提供語音轉文字與文字轉語音,OpenAI 的 Realtime API 提供低延遲的語音對話,選哪一種要看企業對延遲、稽核與資料存放的要求。

哪些來電適合交給 AI 語音客服?

適合的是重複、量大、答案明確的來電,例如查詢進度、營業時間、預約變更與常見規則說明。需要人判斷、要負法律或財務責任,或來電者情緒激動的電話,應該直接轉真人。

來電類型建議做法原因
營業時間、地點、規則說明交給 AI 回答答案固定,寫在文件裡就答得出來
查訂單、查維修或申請進度AI 回答,先只開放查詢要串接既有系統,修改類動作保留人工
預約、改期、取消AI 處理後由系統或人工確認牽涉名額與時段,要防止重複或誤刪
需要核對身分的交易轉真人身分驗證與責任歸屬要由人負責
客訴、退款、帳務爭議直接轉真人需要判斷與安撫,AI 回答容易擴大問題

判斷的方法很簡單:把過去 3 個月的來電紀錄依問題分類,看前幾類占了多少比例,以及答案是否寫在文件或系統裡。答案找得到、問法又重複的類別,才是第一階段的候選。

導入 AI 語音客服前,要先確認哪些事?

最重要的是三件事:電話系統能不能把通話交給 AI、轉真人時能不能帶上前面的對話內容,以及錄音與逐字稿怎麼保存。這三件事沒確認,PoC 做得再好也上不了線。

  1. 確認電話系統的串接方式。 問清楚現有總機或客服中心系統能不能轉接到外部服務、支援哪些通訊協定,雲端電話服務通常比傳統總機容易串接。
  2. 設計轉真人的條件與流程。 哪些關鍵字、哪些情緒、問了幾次答不出來就轉真人,轉過去時客服人員要看到什麼資訊。
  3. 整理知識庫。 把常見問題的答案寫成適合「聽」的版本:句子短、先講結論、數字和日期講清楚。
  4. 決定錄音與逐字稿的處理方式。 依《個人資料保護法》,蒐集個人資料前要告知目的;通話開頭要說明會錄音與使用 AI,保存期限與存放位置也要先定。
  5. 訂出驗收指標。 除了答對率,還要量回應延遲、聽錯率與轉真人比例,測試用真實來電錄音,而不是只用文字題目。

NIST 的 AI 風險管理框架把上線後的持續監控列為治理重點。語音客服上線後,要定期抽聽通話、檢查答錯與轉真人的案例,再回頭補知識庫。

AI 語音客服的廠商怎麼評估?

評估時看的不是展示有多流暢,而是對方能不能接上你們的電話系統與既有資料、能不能說清楚延遲與聽錯率怎麼量,以及資料放在哪裡。展示用的題目都是挑過的,要用自己的真實來電測。

評估項目要問的問題
電話串接能不能接我們現有的總機或客服中心系統?轉真人時會帶哪些資訊?
知識與系統串接回答依據哪些文件?能不能查訂單、預約等系統?查詢與修改的權限怎麼分?
驗收方式用什麼資料測?答對率、回應延遲、聽錯率與轉真人比例各怎麼量?
資料處理錄音與逐字稿存在哪裡?保存多久?會不會被拿去訓練模型?
上線後維運知識庫誰更新?答錯的通話多久檢討一次?模型更新後誰重新測試?
交付物原始碼、設定與文件歸誰?之後要換語音或模型廠商,能不能只換那一段?

市面上的做法大致分成兩類:一類是平台型服務,開通後設定知識庫就能用,按通話分鐘數或處理次數計費;另一類是客製整合,依企業的電話系統與既有系統開發。問題單純、不用查內部資料時,平台型比較快;要查訂單會員資料、資料不能離開指定環境時,客製整合比較合適。選擇方式和文字 AI 客服相同,可以參考 AI 客服導入費用裡的比較。

AI 語音客服的費用怎麼算?

客製導入的階段與文字 AI 客服相同:需求評估免費,單一場景 PoC 約 NT$30 萬至 80 萬、正式上線約 NT$80 萬至 250 萬。語音另外多出電話系統串接,以及語音辨識、語音合成或即時語音模型的用量費。

費用項目計費方式影響金額的因素
需求評估、PoC、正式上線需求評估免費,之後依階段計費,區間同 AI 客服導入頁來電類型數量、知識庫整理難度、要串接的系統
電話系統串接依範圍估價現有總機或客服中心系統的開放程度、轉真人的設計
語音與 AI 模型 API依用量(通話分鐘數或處理量)每月來電數、平均通話長度、選用的架構
雲端電話與主機依用量與規格同時通話數、錄音保存量、是否需要私有部署
維運另訂合約知識庫更新頻率、通話抽檢與報表需求

控制預算最有效的方法,是第一階段只開一條來電路線,例如只接「查進度」這類電話,其他電話照舊由真人接。量到答對率、延遲與轉真人比例都達標,再擴大到其他問題類型。

JoinX 做過哪些 AI 對話與語音專案?

JoinX 公開的相關專案包括保險公司的 AI Agent 對話介面、聯經數位的 AI 語音生成平台,以及官網上的 JoinX GPT。共同做法是依既有資料與工作流程設計,AI 負責查詢與整理,需要負責的決定留給人。

  • 保險公司: 2026 年為保險業務情境設計並製作 AI Agent 的對話介面與操作流程,依第一線人員的工作順序,讓 AI 協助查詢與整理資料,最後由人確認。詳見保險公司 AI Agent 案例。
  • 聯經數位: 設計從原稿上傳、文本拆解、角色辨識、情緒分析、聲音標記到語音合成的完整流程,把電子書轉成角色鮮明的有聲內容。詳見聯經數位案例。
  • JoinX GPT: joinx.co 右下角的 AI 助手,依官網的服務、流程與文章內容回答問題,問不到的交給業務。

語音客服要接電話系統與既有資料,比單純的文字對話多了串接與驗收的工作。JoinX 的做法是先盤點來電類型與電話系統,再用一條來電路線做 PoC,確認數字達標才擴大。

常見問題

AI 語音客服和傳統語音選單(IVR)差在哪?

傳統語音選單要來電者照著按鍵選項走,AI 語音客服則讓來電者直接用說的,AI 聽懂問題後回答或轉接。很多企業會保留原本的語音選單,只把其中幾個選項改由 AI 處理,逐步替換。

AI 語音客服聽得懂台語或口音嗎?

主流語音辨識服務對國語的辨識已經相當成熟,台語與混用語言的辨識效果差異較大,要用自己的真實來電錄音測過才知道。如果來電者常說台語,PoC 時就要把台語通話放進測試集,聽錯率太高的類別先保留給真人。

導入 AI 語音客服,客服人員會被取代嗎?

比較常見的結果是分工改變:重複的查詢交給 AI,客服人員處理客訴、退款與需要判斷的電話。轉真人時帶上前面的對話內容,客服人員也不用從頭再問一次。

通話錄音交給 AI 處理,要注意哪些法規?

通話錄音與逐字稿屬於個人資料,依《個人資料保護法》,蒐集前要告知目的,使用不能超出告知範圍。實務上會在通話開頭說明錄音與使用 AI,訂好保存期限,並確認語音服務廠商不會拿資料訓練模型。金融與醫療等產業還要對照主管機關的規範。

AI 語音客服要多久才能上線?

依 JoinX 的 AI 客服階段估算,需求評估約 1 至 2 次會談、單一場景 PoC 約 4 至 8 週、正式上線約 2 至 4 個月。語音專案的時程,主要看電話系統串接的難度,以及要串接幾套既有系統。

參考資料

  • 個人資料保護法法務部(全國法規資料庫)
  • Azure AI Speech 服務文件(語音轉文字、文字轉語音)Microsoft
  • Realtime API 文件OpenAI
  • AI Risk Management Framework(AI RMF 1.0,2023)美國國家標準與技術研究院(NIST)

以上為本文撰寫時引用的法規與資料;法規可能修訂,實際適用請以主管機關最新公告為準。

關於作者

李秉哲 Jack Lee

JoinX 哲煜科技 創辦人暨執行長

2016 年創立 JoinX 哲煜科技,帶領 80+ 人、橫跨台灣與日本的團隊,累計為 220+ 家客戶完成 520+ 個專案,其中包含 56 套中大型系統。

延伸閱讀