技術分享
企業 RAG 知識庫怎麼做?資料準備、權限、準確率與費用
企業 RAG 知識庫是讓 AI 先從公司自己的文件找出相關段落,再依這些段落回答,並附上出處。要做得起來,關鍵不在選哪個模型,而在四件事:文件整理乾淨、依權限過濾、用真實問題驗收準確率、規劃好上線後的維護。本文整理適用情境、資料準備、權限與個資、驗收方式,以及依專案階段整理的費用與時程。

重點摘要
- RAG(檢索增強生成)是讓 AI 先檢索公司文件、再依檢索到的段落回答,答案可以附出處,文件更新後不必重新訓練模型。
- RAG 知識庫答得準不準,主要取決於文件品質:過期版本、重複文件與掃描檔沒整理,換再強的模型也答不好。
- 權限要在檢索時就過濾,使用者看不到的文件不能進入 AI 的回答,否則知識庫會變成資料外洩的管道。
- 驗收要用同一批真實問題測答對率、出處正確率與拒答是否恰當,不能只靠展示時挑過的問題。
- 依 JoinX 的台灣客製專案行情,單一場景 PoC 約 NT$30 萬至 80 萬,正式上線約 NT$80 萬至 250 萬,模型 API 與主機費用依用量另計。
本文目錄
企業 RAG 知識庫能不能用,九成取決於文件與權限,而不是模型。 RAG(Retrieval-Augmented Generation,檢索增強生成)讓 AI 回答前先查公司自己的文件,依查到的段落作答並附上出處。下面依決策者最常問的順序,整理 RAG 知識庫適合什麼情境、要準備什麼、權限怎麼設、怎麼驗收,以及要花多少錢。
企業 RAG 知識庫是什麼?跟直接用 ChatGPT 差在哪?
RAG 知識庫是讓 AI 先從公司文件找出相關段落,再依這些段落回答並附出處。直接問 ChatGPT 靠的是模型自己的訓練資料,不知道公司內部規定,也無法說明答案從哪裡來。
這個做法最早由 Facebook AI Research 的 Lewis 等人在 2020 年的論文提出,用意是讓模型回答時能引用外部知識,而且知識更新時不必重新訓練模型。放到企業裡,外部知識就是作業手冊、商品規格、法規函令、客服 FAQ 這些文件。
| 做法 | 答案從哪來 | 文件更新後 | 能不能附出處 | 適合 |
|---|---|---|---|---|
| 直接用公用 AI 服務 | 模型的訓練資料 | 不知道公司的新規定 | 不能 | 一般寫作、翻譯、腦力激盪 |
| 微調模型(Fine-tuning) | 把資料訓練進模型 | 要重新訓練 | 不能 | 固定的語氣、格式或分類任務 |
| RAG 知識庫 | 每次回答前檢索公司文件 | 更新文件即可 | 可以 | 內部規章、商品資訊、客服問答 |
多數企業要的是「依公司最新規定回答,並說得出依據」,所以 RAG 通常比微調更適合當第一步。生成式 AI、RAG 與 AI Agent 的差別,可以參考企業 AI 導入:GenAI、RAG、AI Agent 的差異。
哪些情境適合做 RAG 知識庫?
適合的情境有三個共同點:答案寫在文件裡、問的人很多、答錯時有人能判斷。最常見的是內部作業查詢、客服常見問題與業務查商品資訊,這些場景的文件現成,效益也容易量化。
| 情境 | 誰在用 | 主要文件 | 出錯代價 | 建議 |
|---|---|---|---|---|
| 內部作業與規章查詢 | 員工 | SOP、作業手冊、內規 | 低:員工可自行判斷 | 最適合當第一個場景 |
| 業務查商品與條款 | 業務、門市 | 商品規格、價目、合約範本 | 中:說錯會影響客戶 | 回答附出處,重要內容由人確認 |
| 客服常見問題 | 客服人員或客戶 | FAQ、作業規章、公告 | 中:答錯會增加客訴 | 先給客服人員用,穩定後再對外 |
| 法遵與契約初審 | 法務、法遵 | 法規、函令、契約 | 高:判斷錯誤有法律責任 | AI 只做比對與摘要,判斷留給人 |
不適合的情境也要先排除:答案需要即時計算或查交易資料的問題(例如「我的保單還剩多少」),要串接系統 API,不是只靠文件;文件本身互相矛盾、沒有人負責維護的領域,做了也答不準。要對外提供 AI 客服時,做法與費用可以參考 AI 客服導入。
導入 RAG 知識庫要準備哪些資料?
要準備的是「一份有人負責的文件清單」:哪些文件要放、哪一版是現行版、誰負責更新、誰可以看。文件整理通常占專案前期最多工作量,也是答得準不準的關鍵。
實務上,文件問題比模型問題常見得多:
- 版本重複:同一份辦法有 2023 版、2024 版和「修正草案」,AI 檢索到舊版就會答錯。上線前要決定只放現行版,或在文件上標註生效日期。
- 格式難以解析:掃描成圖片的 PDF、合併儲存格很多的 Excel、藏在簡報備註裡的說明,都要先轉成可讀的文字與表格。
- 沒有負責人:文件改版時沒有人同步更新知識庫,幾個月後答案就過期了。每一類文件都要指定負責單位。
- 隱含知識沒寫下來:資深同仁「都知道」但沒寫成文件的規則,AI 不會知道。導入時常順便把這些規則補寫成文件。
建議先挑一個部門、幾十到幾百份文件做 PoC,確認答得準,再擴大範圍。
RAG 知識庫的權限與個資怎麼處理?
權限要在檢索階段就過濾:先依使用者身分決定能查哪些文件,再讓 AI 從這些文件裡找答案。如果先檢索全部文件、最後才遮蔽,敏感內容仍可能被寫進回答裡。
OWASP 在 2025 年版的「LLM 應用十大風險」中,把敏感資訊揭露,以及向量與嵌入(Embedding)的弱點都列為風險項目;後者包含向量資料庫的存取控制不足,導致使用者查到不該看的內容。對應到專案上,要做的事包括:
| 風險 | 會發生什麼 | 做法 |
|---|---|---|
| 越權檢索 | 一般員工問到主管才能看的薪資或人事規定 | 文件帶權限標籤,檢索時依登入身分過濾 |
| 個資外洩 | 客戶姓名、身分證字號、帳號出現在回答或被送到外部模型 | 建檔前遮蔽或排除個資;送出問題前攔截個資 |
| 資料離開指定環境 | 文件被送到不符合公司規定的雲端服務 | 確認模型服務的資料使用條款,或改用企業版、私有部署 |
| 無法追查 | 出問題時不知道 AI 依據什麼回答 | 保留問題、檢索到的段落與回答的紀錄 |
台灣的《個人資料保護法》要求蒐集、處理及利用個資要在特定目的範圍內。把含個資的文件放進知識庫之前,要先確認用途是否在原本的目的範圍內,不確定就先排除。
RAG 知識庫的準確率怎麼驗收?
用同一批真實問題測三件事:答對率、出處是否正確,以及問到文件沒寫的內容時會不會老實說不知道。驗收題目要在開發前就定好,不能用展示時挑過的問題。
NIST 在 2024 年發布的生成式 AI 風險框架(AI 600-1)指出,生成式 AI 可能產生看似可信但錯誤的內容。RAG 能降低這個風險,但不會讓它消失,所以驗收要包含「答不出來時怎麼辦」。建議的驗收步驟:
- 收集真實問題。 從客服紀錄、內部詢問信或同仁訪談整理 100 到 300 題,標註正確答案與應引用的文件。
- 分出題型。 包含有明確答案的題目、要綜合多份文件的題目,以及文件沒寫、應該拒答的題目。
- 定門檻。 例如答對率、出處正確率、拒答正確率各要達到多少,由業務單位與 IT 一起決定。
- 每次調整都重測。 調整文件切分方式、檢索設定或提示詞後,用同一批題目重跑,比較前後差異。
- 上線後持續收題。 把使用者回報答錯的問題加進題庫,定期重測。
企業 RAG 知識庫要花多少錢、做多久?
依 JoinX 整理的台灣客製專案行情,需求評估免費,單一場景 PoC 約 NT$30 萬至 80 萬,正式上線約 NT$80 萬至 250 萬,跨部門多系統依範圍估價。模型 API 與主機費用依實際用量另計。
| 階段 | 預估費用 | 常見內容 | 參考時程 |
|---|---|---|---|
| 需求評估 | 免費 | 了解流程與資料、判斷適不適合用 AI、建議第一個場景 | 1~2 次會談 |
| 單一場景 PoC | NT$30 萬~80 萬 | 一個部門的文件、基本檢索與問答介面、用驗收題目測試 | 4~8 週 |
| 正式上線(單一場景) | NT$80 萬~250 萬 | 帳號與權限串接、文件更新流程、操作紀錄、監控與部署 | 2~4 個月 |
| 跨部門、多系統 | 依範圍估價 | 多個知識庫、串接業務系統 API、AI Agent 流程 | 4 個月以上 |
金額主要受三件事影響:文件數量與整理難度、權限規則有多複雜,以及要串接哪些既有系統(例如員工帳號、文件管理系統、客服系統)。上面是預算規劃的起點,不是固定報價。
JoinX 怎麼做企業 RAG 知識庫?
JoinX 的做法是先定驗收題目與權限規則,再開始開發:先證明用真實問題答得準、看不到的文件查不到,才擴大範圍。開發流程採 SDD 加 TDD,驗收題目就是測試的一部分,每次調整都能重跑。
以一家保險公司的 AI 助理平台為例,設計時把幾個要求放在一開始:回答一律附上依據的文件段落,讓人員可以點回原文確認;檢索時依使用者權限過濾文件;問題送進模型之前先攔截個資。同一家保險公司的 AI Agent 介面,則是依第一線業務的工作順序設計,AI 協助查詢與整理資料,最後由人確認,詳見保險公司 AI Agent 案例。
交付前,JoinX 會自行完成原碼掃描與弱點掃描;黑箱測試由第三方執行,JoinX 可以協助聯繫,並在修補弱點後交付。上線後的文件更新流程、題庫重測與模型版本更換,也會在交付時一起交接。
常見問題
企業知識庫聊天機器人和 RAG 是同一件事嗎?
多數情況下是。現在說的「企業知識庫聊天機器人」,多半就是用 RAG 做的:使用者用聊天的方式提問,系統先檢索公司文件,再由 AI 依檢索結果回答。早期依關鍵字比對、回覆固定答案的 FAQ 機器人則不是 RAG,它只能回答事先設定好的問題。
公司已經在用生成式 AI,下一步要導入 RAG,團隊需要哪些能力?
需要三種角色:熟悉文件與業務的人負責整理文件和定驗收題目,IT 負責帳號、權限與系統串接,還有一位能決定門檻與上線範圍的負責人。開發與模型調整可以委外,但文件負責人與驗收標準要由公司自己掌握,否則上線後沒有人能維護。
RAG 知識庫可以完全不出錯嗎?
不行。RAG 能讓回答依據公司文件、附上出處,大幅減少憑空編造,但檢索不到正確段落或文件本身有誤時,仍可能答錯。所以要附出處讓人能確認,高風險的問題要轉給真人,並持續把答錯的題目加進題庫重測。
文件放進 RAG 知識庫,會被拿去訓練模型嗎?
要看使用的模型服務與方案。多數雲端模型的企業方案與 API 條款載明預設不會用客戶資料訓練模型,但各家條款不同,導入前要逐條確認資料存放地點、保存期間與使用範圍。機敏程度高的文件,可以考慮私有部署,或先排除在知識庫之外。
RAG 知識庫上線後還要花什麼錢?
主要是模型 API 的用量費、主機與向量資料庫的費用,以及維運人力。用量費隨提問次數增加;維運包括文件更新、題庫重測、模型版本更換與系統修正。建議在正式上線前,就用 PoC 期間的提問量估算每月用量。
參考資料
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(NeurIPS 2020)Patrick Lewis 等,Facebook AI Research
- OWASP Top 10 for LLM Applications 2025OWASP Foundation
- Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile(NIST AI 600-1,2024)美國國家標準與技術研究院(NIST)
- 個人資料保護法法務部(全國法規資料庫)
以上為本文撰寫時引用的法規與資料;法規可能修訂,實際適用請以主管機關最新公告為準。
關於作者
李秉哲 Jack Lee
JoinX 哲煜科技 創辦人暨執行長
2016 年創立 JoinX 哲煜科技,帶領 80+ 人、橫跨台灣與日本的團隊,累計為 220+ 家客戶完成 520+ 個專案,其中包含 56 套中大型系統。
認識 Jack

