網關OpenAI 閘道快速入門指南
OpenAI 閘道快速入門指南
將此無審查 LLM 接入您現有的 OpenAI 相容 API 基礎設施,只需更新基礎 URL 和驗證標頭。我們提供一個直接、以隱私為先的閘道器,在不施加內容過濾的情況下處理文字請求,確保您的程式碼無需修改即可運行。
安裝標準 OpenAI SDK
首先將官方客戶端庫添加到您的專案環境中。這確保了與我們提供的標準端點的兼容性。SDK 自動處理序列化和身份驗證頭,減少實現中的样板代碼。
- Python:
pip install openai - Node.js:
npm install openai
驗證安裝完成且無相依性衝突。我們的閘道器期望標準的 JSON 載入,因此任何支援 /v1/chat/completions 端點將能正常運作。
設定您的 base_url 和 API 金鑰
將您的客戶端實例指向我們特定的閘道端點,以通過我們的無審查模型路由請求。您必須替換預設的基礎 URL 並注入從儀表板獲得的唯一 API 金鑰。
您的請求現在將目標轉向 https://api.gatewayopenai.com/v1 而非標準供應商。此變更確保您能夠存取專屬的無審查模型,而無需修改核心邏輯。
from openai import OpenAI
client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)驗證依賴於單一標頭。確保您的金鑰處於活躍狀態且未過期。網關會在處理任何令牌之前驗證此令牌。
傳送您的第一個聊天補全請求
執行簡單的輸入文本、輸出文本呼叫,以驗證連線與回應品質。使用模型 ID uncensored 以確保您連接到正確的伺服器。此測試確認您的 API 金鑰具有足夠的信用額度,且您的網路路徑暢通無阻。
發送標準的訊息物件。回應將包含生成的文字,且沒有典型的內容拒絕。請檢查 choices 生成內容的陣列。
curl https://api.gatewayopenai.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
}'審查回應時間與 token 使用量。此基準請求可在擴展至更複雜的提示之前,建立對連線的信任。
啟用串流並解析用量
啟用串流傳輸,透過伺服器發送事件 (SSE) 即時接收 token。這可降低最終使用者的感知延遲,並允許對長輸出進行漸進式渲染。設定 stream: true 在您的請求參數中。
解析串流區塊以提取最終的 token 使用統計數據。最後一個區塊包含輸入和輸出的完整 token 計數。由於我們按 token 計費,這些數據對於準確的帳單驗證至關重要。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)優雅地處理部分回應。確保您的客戶端在收到最後一個區塊後乾淨地關閉連線,以避免資源洩漏。
使用工具、JSON 模式與參數
利用函數調用和嚴格的 JSON 輸出進行結構化數據生成。啟用 response_format 與 json_object 強制模型輸出有效的 JSON 結構。這對於程式化整合至關重要。
配置類似 temperature 和 top_p 的參數 temperature 和 top_p 控制創造力。調整 max_tokens 以限制輸出長度;預設值為 2,048,但您可以指定最多 16,000。上下文視窗支援總計 100,000 個 token。
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);用簡單的範例測試工具定義。驗證模型是否遵循請求中提供的結構。這確保了自動化工作流程的可靠性。
限制、錯誤與上下文視窗
監控您的速率限制和錯誤程式碼以維持穩定的整合。閘道器對每個金鑰實施每分鐘 300 次請求的限制,並允許 8 個併發請求。超過這些限制將觸發 429 錯誤。
請及時處理驗證錯誤(401)和信用額度不足(402)。401 表示 API 金鑰無效或已過期。402 表示您的預付信用額度已耗盡;請透過加密貨幣充值以恢復服務。請求主體限制為 8 MB。
您的上下文視窗涵蓋 100,000 個 token,包含提示與補完。請根據此規劃您的 token 預算以避免截斷。錯誤不消耗信用,在重試期間保護您的餘額。
常見問題
此無審查 LLM 的 OpenAI 閘道基礎 URL 為何?
基礎網址為 HTTPS://api.gatewayopenai.com/v1。請更新您的 SDK 設定,將指向改為這個地址,而非預設的供應商端點。
如何在應用程式中處理串流回應?
在您的請求中將 stream 參數設為 true。閘道器會回傳包含 token 區塊的伺服器發送事件 (SSE)。解析最後一個區塊以取得總 token 用量以供計費驗證。
如果我超出速率限制或信用額度耗盡會發生什麼事?
超過每分鐘 300 次請求的限制會返回 429 錯誤。額度耗盡會返回 402 錯誤。您可以立即使用 USDT 或 USDC 充值以恢復服務,無需停機。
取得您的 API 金鑰
註冊,複製金鑰,更新您的基礎 URL。就是這樣而已。