Руководство по быстрому старту шлюза OpenAI

Установите стандартный SDK OpenAI

Начните с добавления официального клиентского пакета в среду вашего проекта. Это обеспечивает совместимость со стандартными эндпоинтами, которые мы предоставляем. SDK автоматически обрабатывает сериализацию и заголовки аутентификации, сокращая объем шаблонного кода в вашей реализации.

• Python: pip install openai
• Node.js: npm install openai

Убедитесь, что установка завершается без конфликтов зависимостей. Наш шлюз ожидает стандартные JSON-пакеты, поэтому любая версия SDK, поддерживающая /v1/chat/completions endpoint будет работать корректно.

Настройте base_url и ключ API

Направьте экземпляр клиента на нашу специфическую конечную точку шлюза, чтобы маршрутизировать запросы через нашу модель без ограничений. Вы должны заменить базовый URL по умолчанию и внедрить уникальный API-ключ, полученный из панели управления.

Ваши запросы теперь будут направляться в https://api.gatewayopenai.com/v1 вместо стандартного провайдера. Это изменение гарантирует доступ к выделенной uncensored модели без изменения вашей основной логики.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Аутентификация основана на одном заголовке. Убедитесь, что ваш ключ активен и не истёк. Шлюз проверяет этот токен перед обработкой любых токенов.

Отправьте свой первый запрос на завершение чата

Выполните простой запрос типа text-in, text-out для проверки подключения и качества ответа. Используйте ID модели uncensored чтобы обратиться к правильному серверу. Этот тест подтверждает, что у вашего API-ключа достаточно кредитов и сетевой путь свободен.

Отправьте стандартный объект сообщения. В ответе будет сгенерированный текст без типичных отказов в контенте. Проверьте choices массив для сгенерированного содержимого.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Проверяйте время отклика и использование токенов. Этот базовый запрос устанавливает доверие к соединению перед масштабированием на более сложные запросы.

Включите потоковую передачу и распарсите использование

Активируйте потоковую передачу, чтобы получать токены в реальном времени через Server-Sent Events (SSE). Это снижает воспринимаемую задержку для конечных пользователей и позволяет постепенный рендеринг длинных ответов. Установите stream: true в параметрах запроса.

Разберите потоковые чанки, чтобы извлечь итоговую статистику использования токенов. Последний чанк содержит полное количество токенов как для входных, так и для выходных данных. Эти данные критически важны для точной проверки выставления счетов, поскольку оплата взимается за каждый токен.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Грамотно обрабатывайте частичные ответы. Убедитесь, что ваш клиент корректно закрывает соединение после получения последнего фрагмента, чтобы избежать утечек ресурсов.

Используйте инструменты, режим JSON и параметры

Используйте вызов функций и строгий вывод JSON для генерации структурированных данных. Включите response_format с json_object заставить модель выдавать валидные JSON-ответы. Это необходимо для программных интеграций.

Настройте параметры, такие как temperature и top_p для управления креативностью. Настройте max_tokens для ограничения вывода; по умолчанию 2 048, но вы можете указать до 16 000. Окно контекста поддерживает 100 000 токенов в целом.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Протестируйте определения инструментов на простых примерах. Убедитесь, что модель соблюдает схему, предоставленную в вашем запросе. Это обеспечивает надежность в автоматизированных рабочих процессах.

Лимиты, ошибки и контекстное окно

Отслеживайте лимиты скорости и коды ошибок для поддержания стабильной интеграции. Шлюз устанавливает лимит 300 запросов в минуту на ключ и позволяет 8 одновременных запросов. Превышение этих лимитов вызывает ошибку 429.

Своевременно обрабатывайте ошибки аутентификации (401) и недостатка средств (402). Код 401 указывает на недействительный или истёкший API-ключ. Код 402 означает, что ваши предоплаченные средства исчерпаны; пополните баланс через криптовалюту, чтобы возобновить работу сервиса. Лимит тела запроса составляет 8 МБ.

Ваше контекстное окно охватывает 100 000 токенов, включая как промпт, так и завершение. Планируйте бюджет токенов соответствующим образом, чтобы избежать обрезки. Ошибки не потребляют кредит, защищая ваш баланс при повторных попытках.