网关OpenAI 网关快速入门指南
OpenAI 网关快速入门指南
将此无审查的 LLM 集成到您的现有 OpenAI 兼容 API 基础设施中,只需更新基础 URL 和认证头即可。我们提供直接、注重隐私的网关,在不使用内容过滤器的情况下处理文本请求,确保您的代码无需更改即可运行。
安装标准的 OpenAI SDK
首先将官方客户端库添加到您的项目环境中。这确保了与我们暴露的标准端点的兼容性。SDK 自动处理序列化和身份验证标头,减少实现中的样板代码。
- Python:
pip install openai - Node.js:
npm install openai
验证安装完成且无依赖冲突。我们的网关期望标准的 JSON 负载,因此任何支持 /v1/chat/completions 端点将正常工作。
配置你的 base_url 和 API 密钥
将您的客户端实例指向我们的特定网关端点,以便通过我们的无审查模型路由请求。您必须替换默认的基础 URL 并注入从仪表板获得的唯一 API 密钥。
您的请求现在将针对 https://api.gatewayopenai.com/v1 而不是标准提供商。此更改确保您访问专用的无审查模型,而无需修改核心逻辑。
from openai import OpenAI
client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)认证依赖于单个标头。请确保您的密钥处于活跃状态且未过期。网关在处理任何令牌之前会验证此令牌。
发送您的第一个聊天补全请求
执行简单的文本输入、文本输出调用以验证连接和响应质量。使用模型 ID uncensored 以确保您访问的是正确的服务器。此测试确认您的 API 密钥具有足够的信用额度,且您的网络路径畅通。
发送标准消息对象。响应将包含生成的文本,且没有典型的内容拒绝。检查 choices 生成内容的数组。
curl https://api.gatewayopenai.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
}'审查响应时间和 token 使用情况。此基线请求在扩展到更复杂的提示词之前建立对连接的信任。
启用流式传输并解析用量
通过服务器发送事件 (SSE) 实时接收令牌以启用流式传输。这降低了最终用户的感知延迟,并允许对长输出进行渐进式渲染。设置 stream: true 在请求参数中。
解析流式分块以提取最终的 token 使用统计信息。最后一个分块包含输入和输出的完整 token 计数。由于我们按 token 计费,这些数据对于准确的账单验证至关重要。
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)优雅地处理部分响应。确保客户端在收到最后一个块后干净地关闭连接,以避免资源泄漏。
使用工具、JSON 模式和参数
利用函数调用和严格的 JSON 输出进行结构化数据生成。启用 response_format 与 json_object 强制模型输出有效的 JSON 结构。这对于程序化集成至关重要。
配置诸如 temperature 和 top_p 控制创造性。调整 max_tokens 限制输出长度;默认值为 2,048,但您可以指定最多 16,000。上下文窗口总共支持 100,000 个令牌。
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);通过简单示例测试工具定义。验证模型是否遵循请求中提供的模式。这确保了自动化工作流的可靠性。
限制、错误和上下文窗口
监控您的速率限制和错误代码以维持稳定的集成。网关对每个密钥强制执行每分钟 300 次请求,并允许 8 个并发请求。超过这些限制将触发 429 错误。
及时处理身份验证错误(401)和余额不足(402)。401 表示 API 密钥无效或已过期。402 表示您的预付费余额已耗尽;通过加密货币充值以恢复服务。请求体大小限制为 8 MB。
您的上下文窗口总计 100,000 个令牌,包括提示和完成。请相应规划令牌预算以避免截断。错误不消耗额度,在重试期间保护您的余额。
常见问题
该无审查 LLM 的 OpenAI 网关基础 URL 是什么?
基础 URL 为 HTTPS://api.gatewayopenai.com/v1。请更新 SDK 配置,将请求指向此地址而非默认的提供商端点。
如何在应用程序中处理流式传输响应?
在请求中将 stream 参数设置为 true。网关返回包含 token chunks 的服务器发送事件 (SSE)。解析最后一个 chunk 以检索用于计费验证的总 token 用量。
如果我超出速率限制或信用额用尽会怎样?
超过每分钟 300 次请求的限制将返回 429 错误。额度耗尽将返回 402 错误。您可以立即使用 USDT 或 USDC 充值以恢复服务,无需停机。
获取您的 API 密钥
注册,复制密钥,更新您的基础 URL。就是这样。