Ghid de introducere gateway OpenAI

Instalează SDK-ul standard OpenAI

Începeți prin a adăuga biblioteca oficială de client în mediul proiectului. Acest lucru asigură compatibilitatea cu endpoint-urile standard pe care le expunem. SDK-ul gestionează automat serializarea și anteturile de autentificare, reducând codul boilerplate în implementarea dumneavoastră.

• Python: pip install openai
• Node.js: npm install openai

Verificați dacă instalarea se completează fără conflicte de dependențe. Gateway-ul nostru așteaptă payload-uri JSON standard, așa că orice versiune de SDK care suportă /v1/chat/completions endpoint va funcționa corect.

Configurați base_url și cheia API

Indreptați instanța clientului către endpoint-ul nostru specific de gateway pentru a direcționa solicitările prin modelul nostru fără cenzură. Trebuie să înlocuiți URL-ul de bază implicit și să injectați cheia API unică obținută din panoul de control.

Cererea dumneavoastră va viza acum https://api.gatewayopenai.com/v1 în loc de furnizorul standard. Această modificare asigură accesul la modelul dedicat uncensored fără a modifica logica de bază.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Autentificarea se bazează pe un singur antet. Asigură-te că cheia ta este activă și nu a expirat. Gateway-ul validează acest token înainte de a procesa orice tokeni.

Trimite prima ta cerere de completare de chat

Executați un apel simplu de tip text-in, text-out pentru a verifica conectivitatea și calitatea răspunsului. Utilizați ID-ul modelului uncensored pentru a vă asigura că atingeți serverul corect. Acest test confirmă că cheia API are suficiente credite și că calea de rețea este clară.

Trimiteți un obiect standard de mesaj. Răspunsul va conține text generat fără refuzurile tipice de conținut. Verifică choices array pentru conținutul generat.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Revizuiți timpul de răspuns și utilizarea tokenilor. Această cerere de bază stabilește încrederea în conexiune înainte de a scala la prompturi mai complexe.

Activați streaming-ul și analizați utilizarea

Activează streaming pentru a primi tokeni în timp real prin Server-Sent Events (SSE). Acest lucru reduce latența percepută pentru utilizatorii finali și permite randarea progresivă a outputurilor lungi. Setează stream: true în parametrii solicitării.

Analizați fragmentele fluxului pentru a extrage statisticile finale de utilizare a tokenilor. Ultimul fragment conține numărul complet de tokeni atât pentru intrare, cât și pentru ieșire. Aceste date sunt esențiale pentru verificarea precisă a facturării, deoarece percepem taxe pe bază de token.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Gestionați răspunsurile parțiale cu grijă. Asigurați-vă că clientul închide conexiunea în mod curat după ce ultimul fragment este primit, pentru a evita scurgerile de resurse.

Folosește funcții, modul JSON și parametri

Exploatați apelul de funcții și ieșirea strictă JSON pentru generarea structurată a datelor. Activați response_format cu json_object forțarea răspunsurilor JSON valide de către model. Acest lucru este esențial pentru integrările programatice.

Configurează parametri precum temperature și top_p pentru a controla creativitatea. Ajustează max_tokens limitarea ieșirii; valoarea implicită este de 2.048, dar poți specifica până la 16.000. Fereastra de context suportă 100.000 de tokeni în total.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Testează definițiile instrumentelor cu exemple simple. Verifică dacă modelul respectă schema furnizată în cererea ta. Acest lucru asigură fiabilitatea în fluxurile de lucru automatizate.

Limitări, erori și fereastră de context

Monitorizați limitele de rată și codurile de eroare pentru a menține o integrare stabilă. Gateway-ul impune 300 de solicitări pe minut per cheie și permite 8 solicitări concurente. Depășirea acestor limite declanșează o eroare 429.

Gestionați prompt erorile de autentificare (401) și credit insuficient (402). Un 401 indică o cheie API invalidă sau expirată. Un 402 înseamnă că creditul preplătit s-a epuizat; reîncărcați prin cripto pentru a relua serviciul. Limita corpului cererii este de 8 MB.

Fereastra de context acoperă 100.000 de tokeni, inclusiv atât promptul, cât și completarea. Planifică-ți bugetul de tokeni în consecință pentru a evita trunchierea. Erorile nu consumă credit, protejând soldul în timpul reîncercărilor.