OpenAI-Gateway: Schnellstart-Leitfaden

Installieren Sie das Standard-OpenAI-SDK

Beginnen Sie, indem Sie die offizielle Client-Bibliothek zu Ihrer Projektumgebung hinzufügen. Dies gewährleistet die Kompatibilität mit den Standard-Endpunkten, die wir bereitstellen. Das SDK übernimmt automatisch die Serialisierung und Authentifizierungs-Header, wodurch Boilerplate-Code in Ihrer Implementierung reduziert wird.

• Python: pip install openai
• Node.js: npm install openai

Stellen Sie sicher, dass die Installation ohne Abhängigkeitskonflikte abgeschlossen wird. Unser Gateway erwartet standardmäßige JSON-Payloads, daher unterstützt jede Version des SDK, die /v1/chat/completions Endpunkt funktioniert korrekt.

Konfigurieren Sie Ihre base_url und Ihren API-Schlüssel

Richten Sie Ihre Client-Instanz auf unseren spezifischen Gateway-Endpunkt, um Anfragen über unser unzensiertes Modell zu leiten. Sie müssen die Standard-Basis-URL ersetzen und Ihren eindeutigen API-Schlüssel, den Sie aus dem Dashboard erhalten, einfügen.

Ihre Anfragen zielen nun auf https://api.gatewayopenai.com/v1 anstatt des Standardanbieters. Diese Änderung stellt sicher, dass Sie das dedizierte unzensierte Modell nutzen, ohne Ihre Kernlogik zu ändern.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Die Authentifizierung basiert auf einem einzelnen Header. Stellen Sie sicher, dass Ihr Schlüssel aktiv und nicht abgelaufen ist. Das Gateway validiert dieses Token, bevor es Token verarbeitet.

Senden Sie Ihre erste Chat-Vervollständigungsanfrage

Führen Sie einen einfachen Text-in, Text-out-Aufruf aus, um Konnektivität und Antwortqualität zu überprüfen. Verwenden Sie die Modell-ID uncensored um sicherzustellen, dass Sie den richtigen Server treffen. Dieser Test bestätigt, dass Ihr API-Key über ausreichendes Guthaben verfügt und Ihr Netzwerkpfad frei ist.

Senden Sie ein Standard-Nachrichtenobjekt. Die Antwort enthält generierten Text ohne typische Inhaltsablehnungen. Überprüfen Sie die choices Array für den generierten Inhalt.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Überprüfen Sie die Antwortzeit und die Token-Nutzung. Diese Basisanfrage stellt die Vertrauenswürdigkeit der Verbindung her, bevor Sie auf komplexere Prompts skalieren.

Aktivieren Sie Streaming und analysieren Sie die Nutzung

Aktivieren Sie Streaming, um Tokens in Echtzeit über Server-Sent Events (SSE) zu erhalten. Dies reduziert die wahrgenommene Latenz für Endnutzer und ermöglicht das schrittweise Rendern langer Ausgaben. Legen Sie stream: true in Ihren Anfrage-Parametern.

Analysieren Sie die Stream-Chunks, um die endgültigen Token-Nutzungsstatistiken zu extrahieren. Der letzte Chunk enthält die vollständige Token-Anzahl für Eingabe und Ausgabe. Diese Daten sind für eine genaue Abrechnungsverifizierung kritisch, da wir pro Token abrechnen.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Verwalten Sie partielle Antworten angemessen. Stellen Sie sicher, dass Ihr Client die Verbindung nach Erhalt des letzten Chunks sauber schließt, um Ressourcenlecks zu vermeiden.

Verwenden Sie Tools, JSON-Modus und Parameter

Nutzen Sie Funktionsaufrufe und strikte JSON-Ausgaben für die Generierung strukturierter Daten. Aktivieren response_format mit json_object gültige JSON-Antworten vom Modell zu erzwingen. Dies ist essentiell für programmatische Integrationen.

Parameter wie konfigurieren temperature und top_p die Kreativität zu steuern. Passen Sie max_tokens die Ausgabelänge zu begrenzen; der Standardwert beträgt 2.048, aber Sie können bis zu 16.000 angeben. Das Kontextfenster unterstützt insgesamt 100.000 Tokens.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Testen Sie Tool-Definitionen mit einfachen Beispielen. Überprüfen Sie, ob das Modell das in Ihrer Anfrage angegebene Schema einhält. Dies gewährleistet Zuverlässigkeit in automatisierten Workflows.

Limits, Fehler und Kontextfenster

Überwachen Sie Ihre Ratenlimits und Fehlercodes, um eine stabile Integration aufrechtzuerhalten. Das Gateway erzwingt 300 Anfragen pro Minute pro Schlüssel und erlaubt 8 gleichzeitige Anfragen. Das Überschreiten dieser Limits löst einen 429-Fehler aus.

Behandeln Sie Authentifizierungsfehler (401) und unzureichendes Guthaben (402) umgehend. Ein 401-Fehler weist auf einen ungültigen oder abgelaufenen API-Schlüssel hin. Ein 402-Fehler bedeutet, dass Ihr vorausbezahltes Guthaben aufgebraucht ist; laden Sie es über Kryptowährungen auf, um den Dienst fortzusetzen. Die Begrenzung des Anforderungstextes beträgt 8 MB.

Ihr Kontextfenster umfasst 100.000 Tokens, einschließlich Prompt und Completion. Planen Sie Ihr Token-Budget entsprechend, um Kürzungen zu vermeiden. Fehler verbrauchen kein Guthaben, was Ihr Guthaben bei Wiederholungsversuchen schützt.