PasserelleGuide de démarrage de la passerelle OpenAI
Guide de démarrage de la passerelle OpenAI
Intégrez ce LLM sans censure dans votre infrastructure API compatible OpenAI existante en mettant à jour votre URL de base et les en-têtes d'authentification. Nous fournissons une passerelle directe et respectueuse de la vie privée qui traite les requêtes textuelles sans filtres de contenu, garantissant que votre code s'exécute sans modification.
Installez le SDK OpenAI standard
Commencez par ajouter la bibliothèque cliente officielle à votre environnement de projet. Cela garantit la compatibilité avec les points de terminaison standards que nous exposons. Le SDK gère automatiquement la sérialisation et les en-têtes d'authentification, réduisant le code redondant dans votre implémentation.
- Python :
pip install openai - Node.js :
npm install openai
Vérifiez que l'installation se termine sans conflits de dépendances. Notre passerelle attend des charges utiles JSON standard, donc toute version du SDK prenant en charge le /v1/chat/completions point de terminaison fonctionnera correctement.
Configurez votre base_url et votre clé API
Pointez votre instance client vers notre endpoint de passerelle spécifique pour acheminer les requêtes via notre modèle sans censure. Vous devez remplacer l'URL de base par défaut et injecter votre clé API unique obtenue depuis le tableau de bord.
Vos requêtes ciblerront désormais https://api.gatewayopenai.com/v1 au lieu du fournisseur standard. Ce changement garantit que vous accédez au modèle uncensored dédié sans modifier votre logique principale.
from openai import OpenAI
client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)L'authentification repose sur un seul en-tête. Assurez-vous que votre clé est active et non expirée. La passerelle valide ce jeton avant de traiter tout jeton.
Envoyez votre première requête de complétion de chat
Exécutez un simple appel texte en, texte sortant pour vérifier la connectivité et la qualité des réponses. Utilisez l'ID du modèle uncensored pour s'assurer que vous atteignez le bon serveur. Ce test confirme que votre clé API dispose de suffisamment de crédit et que votre chemin réseau est clair.
Envoyez un objet de message standard. La réponse contiendra du texte généré sans les refus de contenu typiques. Vérifiez le choices tableau pour le contenu généré.
curl https://api.gatewayopenai.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
}'Examinez le temps de réponse et l'utilisation des tokens. Cette requête de base établit la confiance dans la connexion avant de passer à des invites plus complexes.
Activez le streaming et analysez l'utilisation
Activez le streaming pour recevoir les tokens en temps réel via les Server-Sent Events (SSE). Cela réduit la latence perçue pour les utilisateurs finaux et permet le rendu progressif des sorties longues. Définissez stream: true dans les paramètres de votre requête.
Analysez les chunks du flux pour extraire les statistiques finales d'utilisation des tokens. Le dernier chunk contient le nombre total de tokens pour l'entrée et la sortie. Ces données sont cruciales pour la vérification précise de la facturation, car nous facturons au token.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Gérez les réponses partielles avec élégance. Assurez-vous que votre client ferme proprement la connexion après la réception du dernier fragment pour éviter les fuites de ressources.
Utilisez les outils, le mode JSON et les paramètres
Exploitez l'appel de fonctions et la sortie JSON stricte pour la génération de données structurées. Activez response_format avec json_object pour forcer des réponses JSON valides du modèle. C'est essentiel pour les intégrations programmatiques.
Configurer des paramètres comme temperature et top_p pour contrôler la créativité. Ajustez max_tokens pour limiter la longueur de la sortie ; la valeur par défaut est de 2 048, mais vous pouvez spécifier jusqu'à 16 000. La fenêtre de contexte prend en charge 100 000 jetons au total.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Testez les définitions d'outils avec des exemples simples. Vérifiez que le modèle respecte le schéma fourni dans votre requête. Cela garantit la fiabilité dans les flux de travail automatisés.
Limites, erreurs et fenêtre de contexte
Surveillez vos limites de taux et vos codes d'erreur pour maintenir une intégration stable. La passerelle applique 300 requêtes par minute par clé et autorise 8 requêtes simultanées. Le dépassement de ces limites déclenche une erreur 429.
Gérez rapidement les erreurs d'authentification (401) et le crédit insuffisant (402). Un 401 indique une clé API invalide ou expirée. Un 402 signifie que votre crédit prépayé est épuisé ; rechargez via crypto pour reprendre le service. La limite du corps de la requête est de 8 Mo.
Votre fenêtre de contexte s'étend sur 100 000 tokens incluant à la fois le prompt et la complétion. Planifiez votre budget de tokens en conséquence pour éviter la troncation. Les erreurs ne consomment pas de crédit, protégeant votre solde lors des nouvelles tentatives.
Questions fréquentes
Quelle est l'URL de base de la passerelle OpenAI pour ce LLM sans censorship ?
L'URL de base est HTTPS://api.gatewayopenai.com/v1. Mettez à jour la configuration de votre SDK pour pointer vers cette adresse au lieu du point de terminaison du fournisseur par défaut.
Comment gérer les réponses en streaming dans mon application ?
Définissez le paramètre stream sur true dans votre requête. La passerelle renvoie des Server-Sent Events (SSE) contenant des chunks de jetons. Analysez le dernier chunk pour récupérer l'utilisation totale des jetons pour la vérification de facturation.
Que se passe-t-il si je dépasse la limite de taux ou si je manque de crédit ?
Dépasser la limite de 300 requêtes par minute renvoie une erreur 429. La fin du crédit renvoie une erreur 402. Vous pouvez recharger instantanément avec USDT ou USDC pour reprendre le service sans interruption.
Obtenez votre clé API
Inscrivez-vous, copiez la clé, mettez à jour votre URL de base. C'est tout ce qu'il y a à faire.