OpenAI gateway gyors kezdési útmutató

Telepítse a szabványos OpenAI SDK-t

Kezdje a hivatalos ügyfélkönyvtár hozzáadásával a projekt környezetéhez. Ez biztosítja a kompatibilitást a szabványos végpontokkal, amelyeket kiszolgálunk. Az SDK automatikusan kezeli a szerializálást és az autentikációs fejléceket, csökkentva a boilerplate kódot az implementációban.

• Python: pip install openai
• Node.js: npm install openai

Ellenőrizze, hogy a telepítés függvénykonfliktusok nélkül fejeződik be. A kapu szabványos JSON payloadokat vár, így bármelyik SDK verzió, amely támogatja a /v1/chat/completions endpoint helyesen fog működni.

Alap URL és API kulcs beállítása

Irányítsd a kliens példányodat a mi specifikus kapu végpontunkra, hogy a kéréseket az uncensored modellünkön keresztül irányítsd. Cseréld le a alapértelmezett base URL-t, és injektáld a dashboardból kapott egyedi API kulcsot.

A kéréseid most már https://api.gatewayopenai.com/v1 helyett a standard szolgáltatóénak. Ez a változás biztosítja, hogy hozzáférjen a dedikált uncensored modellhez a maglogika módosítása nélkül.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

A hitelesítés egyetlen fejlécre támaszkodik. Győződjön meg róla, hogy a kulcs aktív és nem járt le. A gateway ezt a tokent érvényesíti, mielőtt feldolgozza a tokeneket.

Küldje el első chat-lezárás kérését

Hajtson végre egy egyszerű szöveg-bemenet, szöveg-kimenet hívást a kapcsolat és a válaszminőség ellenőrzéséhez. Használja a modellazonosítót uncensored a helyes szerverhez csatlakozik. Ez a teszt megerősíti, hogy az API-kulcsának elegendő hitele van, és a hálózati útvonal tiszta.

Küldjön egy szabványos üzenet objektumot. A válasz generált szöveget tartalmaz a tipikus tartalom-visszautasítások nélkül. Ellenőrizze a choices tömb a generált tartalomhoz.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Átektintés: Válaszidő és tokenfelhasználás. Ez az alapvető kérés bizalmat épít a kapcsolatban, mielőtt összetettebb lekérdezésekre skálázna.

Engedélyezze a streamelést és elemezze a felhasználást

Az adatfolyam aktiválásával a tokeneket valós időben kapod meg Server-Sent Events (SSE) segítségével. Ez csökkenti a végfelhasználók számára észlelt késleltetést, és lehetővé teszi a hosszú kimenetek fokozatos renderelését. Állítsd be stream: true a kérés paramétereiben.

Elemzze a stream blokkjait a végső token-felhasználási statisztikák kinyeréséhez. Az utolsó blokk tartalmazza a teljes tokenmennyiséget bemenet és kimenet szempontjából. Ez az adat kritikus a pontos számlázás ellenőrzéséhez, mivel tokenenkénti díjazást alkalmazunk.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Kezelje gracefully a részleges válaszokat. Győződjön meg arról, hogy az ügyfélfolyamat tisztán lezárja a kapcsolatot a végső chunk érkezése után a erőforrás-szivárgás elkerülése érdekében.

Használjon eszközöket, JSON módot és paramétereket

Hasznosíts a függvényhívást és a szigorú JSON kimenetet a strukturált adatgeneráláshoz. Engedélyezd response_format valamivel json_object az érvényes JSON válaszok kikényszerítésére a modelltől. Ez elengedhetetlen programozott integrációkhoz.

Paraméterek konfigurálása, mint például temperature és top_p a kreativitás vezérléséhez. Állítsa max_tokens a kimenet korlátozására; az alapértelmezett érték 2 048, de megadhat akár 16 000-et. A kontextus ablak 100 000 token teljes kapacitást támogat.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Tesztelje az eszközdefiníciókat egyszerű példákkal. Ellenőrizze, hogy a modell betartja-e a kérelemben megadott sémát. Ez biztosítja a megbízhatóságot az automatizált munkafolyamatokban.

Korlátok, hibák és kontextus ablak

Kövesse nyomon a sebességkorlátokat és a hibakódokat a stabil integráció érdekében. A kapu percenként 300 kérést engedélyez kulcsonként és 8 párhuzamos kérést. Ezek túllépése 429-es hibát vált ki.

Kezelje gyorsan a hitelesítési hibákat (401) és a elégtelen hitelt (402). A 401 érvénytelen vagy lejárt API-kulcsot jelez. A 402 azt jelenti, hogy a előre fizetett hitelét kimerítette; töltse fel kriptovalutával a szolgáltatás folytatásához. A kérés törzsének mérete 8 MB.

A kontextusablakod 100 000 tokenben maximális, beleértve a promptot és a generálást is. Tervezd meg a token keretet ennek megfelelően a leágolás elkerülése érdekében. A hibák nem fogyasztanak kreditet, megvédve az egyenlegedet az újrapróbálkozások során.