Посібник зі швидкого старту для шлюзу OpenAI

Встановіть стандартний SDK OpenAI

Почніть із додавання офіційної клієнтської бібліотеки до середовища вашого проєкту. Це забезпечує сумісність із стандартними кінцевими точками, які ми надаємо. SDK автоматично обробляє серіалізацію та заголовки автентифікації, зменшуючи обсяг шаблонного коду в вашій реалізації.

• Python: pip install openai
• Node.js: npm install openai

Перевірте, чи встановлення завершується без конфліктів залежностей. Наш шлюз очікує стандартні JSON-пакети, тому будь-яка версія SDK, що підтримує /v1/chat/completions ендпоінт буде працювати коректно.

Налаштуйте свій base_url та ключ API

Направте екземпляр клієнта до нашої конкретної шлюзної кінцевої точки, щоб маршрутизувати запити через нашу модель без цензури. Вам потрібно замінити типову базову URL-адресу та вставити унікальний API-ключ, отриманий з панелі керування.

Ваші запити тепер будуть спрямовані на https://api.gatewayopenai.com/v1 замість стандартного провайдера. Ця зміна гарантує доступ до виділеної uncensored моделі без зміни вашої основної логіки.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Аутентифікація покладається на один заголовок. Переконайтеся, що ваш ключ активний і не прострочений. Шлюз перевіряє цей токен перед обробкою будь-яких токенів.

Надішліть свій перший запит на завершення чату

Виконайте простий запит «текст у, текст вихід» для перевірки з’єднання та якості відповідей. Використовуйте ідентифікатор моделі uncensored щоб забезпечити звернення до правильного сервера. Цей тест підтверджує, що ваш API-ключ має достатньо кредитів, а мережевий шлях вільний.

Надішліть стандартний об’єкт повідомлення. У відповіді буде згенерований текст без типових відмов у контенті. Перевірте choices масив для згенерованого вмісту.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Огляд Час відповіді та використання токенів. Цей базовий запит встановлює довіру до з'єднання перед масштабуванням до більш складних запитів.

Увімкніть потокову передачу та парсинг використання

Активуйте потокову передачу, щоб отримувати токени в режимі реального часу через Server-Sent Events (SSE). Це зменшує сприйнятну затримку для кінцевих користувачів і дозволяє прогресивне відображення довгих виводів. Встановіть stream: true у параметрах запиту.

Розпарсіть чанки потоку, щоб отримати статистику використання токенів. Останній чанк містить повну кількість токенів як для вхідних, так і для вихідних даних. Ці дані критично важливі для точної перевірки рахунків, оскільки ми нараховуємо плату за кожен токен.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Обробляйте часткові відповіді коректно. Переконайтеся, що ваш клієнт коректно закриває з’єднання після отримання останнього фрагмента, щоб уникнути витоків ресурсів.

Використовуйте інструменти, режим JSON та параметри

Використовуйте виклик функцій та суворий вихід JSON для генерації структурованих даних. Увімкніть response_format з json_object щоб забезпечити валідні відповіді у форматі JSON від моделі. Це критично важливо для програмних інтеграцій.

Налаштуйте параметри, такі як temperature та top_p для контролю креативності. Налаштуйте max_tokens щоб обмежити довжину виводу; за замовчуванням 2 048, але ви можете вказати до 16 000. Вікно контексту підтримує всього 100 000 токенів.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Протестуйте визначення інструментів простими прикладами. Переконайтеся, що модель дотримується схеми, наданої у вашому запиті. Це забезпечує надійність у автоматизованих робочих процесах.

Ліміти, помилки та контекстне вікно

Відстежуйте ліміти швидкості та коди помилок, щоб підтримувати стабільну інтеграцію. Шлюз встановлює ліміт 300 запитів на хвилину на ключ і дозволяє 8 одночасних запитів. Перевищення цих лімітів викликає помилку 429.

Вчасно обробляйте помилки автентифікації (401) та недостатності коштів (402). Статус 401 вказує на недійсний або прострочений API-ключ. Статус 402 означає, що ваш попередньо оплачений кредит вичерпано; поповніть баланс через криптовалюту, щоб продовжити роботу. Ліміт тіла запиту становить 8 МБ.

Ваше контекстне вікно охоплює 100 000 токенів, включаючи як запит, так і відповідь. Плануйте свій бюджет токенів відповідно, щоб уникнути обрізання. Помилки не споживають кредит, захищаючи ваш баланс під час повторних спроб.