OpenAI-gateway snabbstartsguide

Installera den officiella OpenAI-SDK:n

Börja med att lägga till det officiella klientbiblioteket till din projekt miljö. Detta säkerställer kompatibilitet med de standard slutpunkter vi exponerar. SDK:et hanterar serialisering och autentiseringshuvuden automatiskt, vilket minskar boilerplate-kod i din implementation.

• Python: pip install openai
• Node.js: npm install openai

Verifiera att installationen slutförs utan beroendekonflikter. Vår gateway förväntar sig standardiserade JSON-payloads, så vilken version av SDK:t som stöder /v1/chat/completions endpoint kommer att fungera korrekt.

Konfigurera din base_url och API-nyckel

Pekad ut din klientinstans till vår specifika gateway-slutpunkt för att dirigera förfrågningar genom vår modell utan censur. Du måste ersätta standard bas-URL:en och infoga din unika API-nyckel som du fått från dashboardet.

Dina begäranden kommer nu att rikta sig mot https://api.gatewayopenai.com/v1 istället för den standardiserade leverantören. Denna ändring säkerställer att du får tillgång till den dedikerade obegränsade modellen utan att ändra din kärnlogik.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Autentiseringen bygger på en enda header. Se till att din nyckel är aktiv och inte har löpt ut. Gatewayen validerar denna token innan den bearbetar några tokens.

Skicka din första chattkompletteringsförfrågan

Utför ett enkelt text-in, text-ut-anrop för att verifiera anslutning och svars kvalitet. Använd modell-ID:t uncensored för att säkerställa att du når rätt server. Detta test bekräftar att din API-nyckel har tillräckligt med kredit och att din nätverksväg är klar.

Skicka ett standardmeddelandeobjekt. Svaret kommer att innehålla genererad text utan typiska innehållsavvisningar. Kontrollera choices array för det genererade innehållet.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Granska svars tid och tokenförbrukning. Denna baslinjeförfrågan etablerar förtroende för anslutningen innan du skalar till mer komplexa prompts.

Aktivera strömning och parsning av användning

Aktivera streaming för att ta emot tokens i realtid via Server-Sent Events (SSE). Detta minskar den upplevda latensen för slutanvändare och möjligjar progressiv rendering av långa utdata. Ställ in stream: true i dina begäransparametrar.

Analysera strömklyvorna för att extrahera de slutgiltiga tokenanvändningsstatistiken. Det sista klyvet innehåller den kompletta tokenräkningen för både inmatning och utmatning. Denna data är avgörande för korrekt faktureringskontroll eftersom vi tar ut betalt per token.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Hantera delvisa svar smidigt. Se till att din klient stänger anslutningen ordentligt efter att den sista biten har anlänt för att undvika resursläckor.

Använd verktyg, JSON-läge och parametrar

Utnyttja funktionsanrop och strikt JSON-utdata för strukturerad datagenerering. Aktivera response_format med json_object att tvinga giltiga JSON-svar från modellen. Detta är avgörande för programmatiska integrationer.

Konfigurera parametrar som temperature och top_p för att styra kreativitet. Justera max_tokens att begränsa utdatalängd; standardvärdet är 2 048, men du kan specificera upp till 16 000. Kontextrutan stöder 100 000 tokens totalt.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Testa verktygsdefinitioner med enkla exempel. Verifiera att modellen följer schemat som anges i din begäran. Detta säkerställer tillförlitlighet i automatiserade arbetsflöden.

Gränser, fel och kontextfönster

Övervaka dina hastighetsbegränsningar och felkoder för att upprätthålla en stabil integration. Gatewayen tillämpar 300 begäranden per minut per nyckel och tillåter 8 samtidiga begäranden. Att överskrida dessa gränser utlöser ett 429-fel.

Hantera autentiseringsfel (401) och otillräckligt kredit (402) omgående. En 401-indikerar en ogiltig eller utgången API-nyckel. En 402 betyder att ditt förbetald kredit är slut; ladda upp via krypto för att återuppta tjänsten. Gränsen för begärans kropp är 8 MB.

Ditt kontextfönster sträcker sig över 100 000 token inklusive både prompt och komplettering. Planera din tokenbudget därefter för att undvika avklippning. Fel förbrukar inte kredit, vilket skyddar din balans vid försök igen.