OpenAI-gateway snelstartgids

Installeer de standaard OpenAI SDK

Begin met het toevoegen van de officiële clientbibliotheek aan je projectomgeving. Dit zorgt voor compatibiliteit met de standaard endpoints die we aanbieden. De SDK verwerkt serialisatie en authenticatieheaders automatisch, waardoor boilerplate in je implementatie wordt verminderd.

• Python: pip install openai
• Node.js: npm install openai

Verifieer dat de installatie zonder afhankelijkheidsconflicten wordt voltooid. Onze gateway verwacht standaard JSON-payloads, dus elke versie van de SDK die de /v1/chat/completions endpoint werkt correct.

Configureer je base_url en API-sleutel

Wijs je client-instantie op ons specifieke gateway-eindpunt om verzoeken door ons ongecensureerde model te laten routeren. Je moet de standaard basis-URL vervangen en je unieke API-sleutel, verkregen via het dashboard, injecteren.

Uw verzoeken zullen nu richten op https://api.gatewayopenai.com/v1 in plaats van de standaardprovider. Deze wijziging zorgt ervoor dat je toegang krijgt tot het toegewijdde ongecensureerde model zonder je kernlogica aan te passen.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Authenticatie is afhankelijk van één header. Zorg ervoor dat je sleutel actief is en niet verlopen. De gateway valideert dit token voordat het tokens verwerkt.

Stuur uw eerste chatcompletieverzoek

Voer een eenvoudige tekst-in, tekst-uit-aanroep uit om de verbinding en responskwaliteit te verifiëren. Gebruik de model-ID uncensored om ervoor te zorgen dat u de juiste server bereikt. Deze test bevestigt dat uw API-sleutel voldoende credit heeft en dat uw netwerkverbinding vrij is.

Stuur een standaard berichtobject. De respons bevat gegenereerde tekst zonder typische inhoudsweigeringen. Controleer de choices array voor de gegenereerde inhoud.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Review de responstijd en het tokenverbruik. Dit basisverzoek vestigt vertrouwen in de verbinding voordat je opschaleert naar complexere prompts.

Activeer streaming en parseer verbruik

Activeer streaming om tokens in real-time te ontvangen via Server-Sent Events (SSE). Dit vermindert de waargenomen latentie voor eindgebruikers en maakt progressieve weergave van lange outputs mogelijk. Stel stream: true in je request parameters.

Parseer de streamchunks om de uiteindelijke tokenverbruikstatistieken te extraheren. De laatste chunk bevat de totale tokenaantallen voor zowel input als output. Deze gegevens zijn cruciaal voor nauwkeurige facturatiecontrole, aangezien we per token rekenen.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Verwerk gedeeltelijke responsen soepel. Zorg ervoor dat je client de verbinding netjes sluit nadat het laatste chunk is ontvangen om resourcelekken te voorkomen.

Gebruik tools, JSON-modus en parameters

Benut function calling en strikte JSON-output voor gestructureerde gegevensgeneratie. Schakel response_format met json_object om geldige JSON-antwoorden van het model te forceren. Dit is essentieel voor programmeerbare integraties.

Configureer parameters zoals temperature en top_p om de creativiteit te regelen. Pas max_tokens om de uitvoer te beperken; de standaard is 2.048, maar je kunt tot 16.000 specificeren. Het contextvenster ondersteunt in totaal 100.000 tokens.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Test tooldefinities met eenvoudige voorbeelden. Verifieer dat het model zich houdt aan het schema dat u in uw verzoek heeft opgegeven. Dit zorgt voor betrouwbaarheid in geautomatiseerde workflows.

Limieten, fouten en contextvenster

Monitor uw snelheidslimieten en foutcodes om een stabiele integratie te behouden. De gateway handhaaft 300 verzoeken per minuut per sleutel en staat 8 gelijktijdige verzoeken toe. Het overschrijden van deze limieten veroorzaakt een 429-fout.

Verwerk authenticatiefouten (401) en onvoldoende tegoed (402) tijdig. Een 401 geeft een ongeldige of verlopen API-sleutel aan. Een 402 betekent dat je vooruitbetaalde tegoed op is; vul aan via crypto om de dienst te hervatten. De limiet voor de request body is 8 MB.

Uw contextvenster beslaat 100.000 tokens, inclusief zowel prompt als completion. Plan uw tokenbudget dienovereenkomstig om truncatie te vermijden. Fouten verbruiken geen tegoed, wat uw balans beschermt tijdens retries.