OpenAI ağ geçidi hızlı başlangıç rehberi

Standart OpenAI SDK'sını yükleyin

Resmi istemci kütüphanesini proje ortamınıza ekleyerek başlayın. Bu, sunduğumuz standart uç noktalarla uyumluluğu sağlar. SDK, otomatik olarak seri hale getirme ve kimlik doğrulama başlıklarını yönetir, bu da uygulamanızdaki gereksiz kodu azaltır.

• Python: pip install openai
• Node.js: npm install openai

Kurulumun bağımlılık çakışmaları olmadan tamamlandığını doğrulayın. Ağ geçidimiz standart JSON payload'ları bekler, bu nedenle destekleyen SDK'nın herhangi bir sürümü /v1/chat/completions uç noktası doğru çalışacaktır.

base_url'inizi ve API anahtarınızı yapılandırın

İstemci örneğinizi, istekleri sansürsüz modelimize yönlendirmek için özel ağ geçidi uç noktamıza yönlendirin. Varsayılan temel URL'yi değiştirmeniz ve kontrol panelinden aldığınız benzersiz API anahtarını enjekte etmeniz gerekir.

İstekleriniz artık şurayı hedefleyecek https://api.gatewayopenai.com/v1 standart sağlayıcı yerine. Bu değişiklik, temel mantığınızı değiştirmeden özel uncensored modele erişiminizi sağlar.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Kimlik doğrulama tek bir başlığa dayanır. Anahtarınızın aktif ve süresi dolmamış olduğundan emin olun. Ağ geçidi, herhangi bir token işlemeden önce bu jetonu doğrular.

İlk sohbet tamamlama isteğinizi

Bağlantıyı ve yanıt kalitesini doğrulamak için basit bir metin-girdisi, metin-çıkışı çağrısı yapın. Model kimliğini uncensored doğru sunucuya ulaştığınızdan emin olmak için. Bu test, API anahtarınızın yeterli kredisinin olduğunu ve ağ yolunun açık olduğunu doğrular.

Standart bir mesaj nesnesi gönderin. Yanıt, tipik içerik reddetmeleri olmadan oluşturulan metni içerecektir. Şunu kontrol edin choices oluşturulan içerik için dizi.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Yanıt süresini ve token kullanımını gözden geçirin. Bu temel istek, daha karmaşık istemlere geçmeden önce bağlantıya olan güveni tesis eder.

Akışı etkinleştirin ve kullanımı ayrıştırın

Server-Sent Events (SSE) üzerinden gerçek zamanlı olarak tokenları almak için akış modunu etkinleştirin. Bu, son kullanıcılar için algılanan gecikmeyi azaltır ve uzun çıktılarının aşamalı olarak işlenmesine olanak tanır. Şunu ayarlayın stream: true istem parametrelerinizde.

Akış parçalarını ayrıştırarak son token kullanım istatistiklerini çıkarın. Son parça, hem giriş hem de çıkış için tam token sayısını içerir. Bu veriler, token başına ücretlendirdiğimiz için doğru faturalandırma doğrulaması için kritiktir.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Kısmi yanıtları zarifçe yönetin. Kaynak sızıntılarını önlemek için istemcinizin, son parça geldikten sonra bağlantıyı temiz bir şekilde kapatmasını sağlayın.

Araçları, JSON modunu ve parametreleri kullanın

Yapılandırılmış veri üretimi için fonksiyon çağırma ve sıkı JSON çıktısından yararlanın. Etkinleştir response_format ile json_object modelden geçerli JSON yanıtları almak için. Bu, programatik entegrasyonlar için hayati önem taşır.

Sıcaklık ve top_p gibi parametreleri yapılandırın. temperature ve top_p yaratıcılığı kontrol etmek için. Ayarlayın max_tokens çıktı uzunluğunu sınırlamak için; varsayılan 2.048'dir, ancak 16.000'e kadar belirtebilirsiniz. Bağlam penceresi toplam 100.000 token destekler.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Basit örneklerle araç tanımlarını test edin. Modelin isteğinizde sağlanan şemaya uyduğunu doğrulayın. Bu, otomatik iş akışlarında güvenilirliği sağlar.

Limitler, hatalar ve bağlam penceresi

Hız sınırlarınızı ve hata kodlarını izleyerek istikrarlı bir entegrasyon sağlayın. Ağ geçidi ana başına dakikada 300 istek uygular ve 8 eşzamanlı isteye izin verir. Bu limitleri aşmak bir 429 hatası tetikler.

Kimlik doğrulama hatalarını (401) ve yetersiz krediyi (402) zamanında yönetin. 401, geçersiz veya süresi dolmuş bir API anahtarı olduğunu gösterir. 402, ön ödemeli kredinizin tükendiği anlamına gelir; hizmeti sürdürmek için kripto ile yükleyin. İstek gövdesi sınırı 8 MB'tır.

Bağlam pencereniz hem istem hem de tamamlama dahil olmak üzere 100.000 token kapsar. Kesilmeyi önlemek için token bütçenizi buna göre planlayın. Hatalar kredi tüketmez, bu da yeniden denemeler sırasında bakiyenizi korur.