DeepSeek API 創新採用硬盤緩存，價格再降一個數量級

在大模型 API 的使用場景中，用戶的輸入有相當比例是重複的。舉例說，用戶的 prompt 往往有一些重複引用的部分；再舉例說，多輪對話中，每一輪都要將前幾輪的內容重複輸入。

爲此，DeepSeek 啓用上下文硬盤緩存技術，把預計未來會重複使用的內容，緩存在分佈式的硬盤陣列中。如果輸入存在重複，則重複的部分只需要從緩存讀取，無需計算。該技術不僅降低服務的延遲，還大幅削減最終的使用成本。

緩存命中的部分，DeepSeek 費用爲 0.1元每百萬 tokens。至此，大模型的價格再降低一個數量級。

硬盤緩存服務已經全面上線，用戶無需修改代碼，無需更換接口，硬盤緩存服務將自動運行，系統自動按照實際命中情況計費。

注意，只有當兩個請求的前綴內容相同時（從第 0 個 token 開始相同），纔算重複。中間開始的重複不能被緩存命中。

以下爲兩個經典場景的緩存舉例：

多輪對話 : 下一輪對話會命中上一輪對話生成的上下文緩存

數據分析 : 後續具有相同前綴的請求會命中上下文緩存

多種應用能從上下文硬盤緩存中受益：

在 API 返回的 usage 中，增加了兩個字段，幫助用戶實時監測緩存的命中情況：

輸入長、重複內容多的請求，API 服務的首 token 延遲將大幅降低。

舉個極端的例子，對 128K 輸入且大部分重複的請求，實測首 token 延遲從 13 秒降低到 500 毫秒。

最高可以節省 90% 的費用（需要針對緩存特性進行優化）。

即使不做任何優化，按歷史使用情況，用戶整體節省的費用也超過 50%。

緩存沒有其它額外的費用，只有0.1 元每百萬 tokens。緩存佔用存儲無需付費。

本緩存系統在設計的時候已充分考慮了各種潛在的安全問題。

每個用戶的緩存是獨立的，邏輯上相互不可見，從底層確保用戶數據的安全和隱私。

長時間不用的緩存會自動清空，不會長期保留，且不會用於其他用途。

根據公開的信息，DeepSeek 可能是全球第一家在 API 服務中大範圍採用硬盤緩存的大模型廠商。

這得益於 DeepSeek V2 提出的 MLA 結構，在提高模型效果的同時，大大壓縮了上下文 KV Cache 的大小，使得存儲所需要的傳輸帶寬和存儲容量均大幅減少，因此可以緩存到低成本的硬盤上。

DeepSeek API 服務按照每天 1 萬億的容量進行設計。對所有用戶均不限流、不限併發、同時保證服務質量。請放心加大併發使用。

注1. 緩存系統以 64 tokens 爲一個存儲單元，不足 64 tokens 的內容不會被緩存

注2. 緩存系統是“盡力而爲”，不保證 100% 緩存命中

注3. 緩存不再使用後會自動被清空，時間一般爲幾個小時到幾天