OpenAI-gateway hurtigstartsguide

Installer den standard OpenAI SDK

Start med at tilføje det officielle klientbibliotek til dit projektmiljø. Dette sikrer kompatibilitet med de standard endpoints, vi udsætter. SDK'en håndterer serialisering og autentificeringsheader automatisk, hvilket reducerer boilerplate-kode i din implementering.

• Python: pip install openai
• Node.js: npm install openai

Verificér, at installationen fuldføres uden afhængighedskonflikter. Vores gateway forventer standard JSON-payloads, så enhver version af SDK'en, der understøtter /v1/chat/completions endpoint vil fungere korrekt.

Konfigurer din base_url og API-nøgle

Peg din klientinstans til vores specifikke gateway-endpoint for at sende anmodninger gennem vores ubegrænsede model. Du skal erstatte standard base URL'en og indsætte din unikke API-nøgle, som du modtager fra dashboardet.

Dine anmodninger vil nu rette sig mod https://api.gatewayopenai.com/v1 i stedet for den standard leverandør. Denne ændring sikrer, at du får adgang til den dedikerede uncensored model uden at modificere din kerne logik.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Autentificeringen afhænger af en enkelt header. Sørg for, at din nøgle er aktiv og ikke udløbet. Gatewayen validerer dette token, før den behandler tokens.

Send din første chat-completion-anmodning

Udfør et simpelt tekst-ind, tekst-ud-opkald for at verificere forbindelse og svar kvalitet. Brug model-ID uncensored for at sikre, at du rammer den korrekte server. Denne test bekræfter, at din API-nøgle har tilstrækkelig kredit, og at din netværkssti er klar.

Send en standard message-object. Svaret vil indeholde genereret tekst uden typiske indholdsafvisninger. Tjek choices array til det genererede indhold.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Gennemse svartiden og tokenforbruget. Denne baseline-anmodning etablerer tillid til forbindelsen, før du skalere til mere komplekse prompts.

Aktivér streaming og parser forbrug

Aktivér streaming for at modtage tokens i realtid via Server-Sent Events (SSE). Dette reducerer den opfattede latens for slutbrugere og tillader progressiv rendering af lange output. Indstil stream: true i dine request-parametre.

Parser streamchunksene for at udtrække de endelige tokenforbrugsstatistikker. Den sidste chunk indeholder den fulde tokenoptælling for både input og output. Disse data er afgørende for præcis fakturering, da vi opkræver per token.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Håndter delvise svar pænt. Sørg for, at din klient lukker forbindelsen rent, når den sidste chunk er ankommet, for at undgå ressource-lækage.

Brug tools, JSON-tilstand og parametre

Udnyt funktionskald og streng JSON-output til struktureret datagenerering. Aktiver response_format med json_object tvinge gyldige JSON-respons fra modellen. Dette er essentiel for programmatisk integration.

Konfigurér parametre som temperature og top_p til at kontrollere kreativitet. Juster max_tokens for at begrænse outputlængden; standard er 2.048, men du kan angive op til 16.000. Kontekstvinduet understøtter i alt 100.000 tokens.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Test værktursdefinitioner med enkle eksempler. Verificer, at modellen overholder det schema, der er angivet i din anmodning. Dette sikrer pålidelighed i automatiserede arbejdsgange.

Begrænsninger, fejl og kontekstvindue

Overvåg dine hastighedsbegrænsninger og fejlkode for at opretholde en stabil integration. Gatewayen håndhæver 300 forespørgsler i minuttet pr. nøgle og tillader 8 samtidige forespørgsler. Overskridelse af disse grænser udløser en 429-fejl.

Håndter autentificeringsfejl (401) og manglende kredit (402) hurtigt. En 401-indikator betyder en ugyldig eller udløbet API-nøgle. En 402 betyder, at din forudbetalte kredit er opbrugt; top op via krypto for at genoptage servicen. Grænserne for anmodningskroppen er 8 MB.

Din kontekstvindu-grænse spænder over 100.000 tokens inklusiv både prompt og completion. Planlæg dit token-budget tilsvarende for at undgå forkortelse. Fejl forbruger ikke kredit, hvilket beskytter din balance under forsøg.