OpenAI ağ geçidi hızlı başlangıç kılavuzu

Asenna virallinen OpenAI-SDK

Aloita lisäämällä virallinen asiakasohjelmakirjasto projektin ympäristöön. Tämä varmistaa yhteensopivuuden tarjoamiemme standardipäätepisteiden kanssa. SDK käsittee serialisoinnin ja todennusotsakkeet automaattisesti, vähentäen boilerplate-koodia toteutuksessa.

• Python: pip install openai
• Node.js: npm install openai

Varmista, että asennus sujuu ilman riippuvuusristiriitoja. Porttimme odottaa standardia JSON-syötepakettia, joten mikä tahansa SDK-versio, joka tukee /v1/chat/completions endpoint toimii oikein.

Määritä base_url ja API-avain

Osoita asiakasinstanssisi tiettyyn porttipäätepisteeseemme ohjataksesi pyynnöt rajoittamattoman mallimme kautta. Sinun on korvattava oletusbase URL ja lisättävä ainutlaatuinen API-avaimesi, jonka saat hallintapaneelista.

Pyyntösi kohdistuvat nyt https://api.gatewayopenai.com/v1 sijaan vakiotoimittajaa. Tämä muutos varmistaa, että pääset käsiksi omistettuun avoimeen malliin muuttamatta ydinkoodiasi.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Todennus perustuu yhteen otsikkotietoon. Varmista, että avaimesi on aktiivinen eikä vanhentunut. Sillanpäätoiminto vahvistaa tämän tokenin ennen minkään tokenin käsittelyä.

Lähetä ensimmäinen chat-valmiuspyyntö

Suorita yksinkertainen teksti-sisääntulo, teksti-ulostulo -kutsu varmistaaksesi yhteyden ja vastauksen laadun. Käytä mallin tunnus uncensored varmistamaan, että osut oikeaan palvelimeen. Tämä testi vahvistaa, että API-avaimellasi on riittävästi luottamusta ja että verkkoyhteytesi on selkeä.

Lähetä tavallinen viestiolio. Vastauksessa on luotua tekstiä ilman tyypillisiä sisältökieltoja. Tarkista choices taulukko luodulle sisällölle.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

Tarkista vasteaika ja token-käyttö. Tämä peruspyyntö luo luottamusta yhteyteen ennen skaalaamista monimutkaisempiin kysymyksiin.

Ota käyttöön streamaus ja jäsennä käyttötilastot

Ota suoratoisto käyttöön vastaanottaaksesi tokenit reaaliajassa Server-Sent Events (SSE) -tekniikalla. Tämä vähentää käyttäjien kokemaa viivettä ja mahdollistaa pitkien tulosten asteittaisen renderöinnin. Aseta stream: true pyyntöparametreissa.

Jaa streamin palstat, jotta voit hakea lopulliset token-käyttötilastot. Viimeinen palsta sisältää koko token-määrän sekä syötteelle että tulosteelle. Tämä data on kriittistä tarkkaa laskutuksen vahvistusta varten, koska laskutamme tokenien perusteella.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Käsittele osittaiset vastaukset joustavasti. Varmista, että asiakasohjelmasi sulkee yhteyden siististi viimeisen osan saapuessa välttääksesi resurssivuodot.

Käytä työkaluja, JSON-tilaa ja parametreja

Hyödynnä funktiokutsuja ja tiukkaa JSON-tulostetta rakenteellisen datan luomiseen. Ota käyttöön response_format kanssa json_object pakottaa mallin tuottamaan validit JSON-vastaukset. Tämä on olennaista ohjelmallisiin integraatioihin.

Määritä parametreja kuten temperature ja top_p hallita luovuutta. Säädä max_tokens rajoittamaan tulostetta; oletus on 2 048, mutta voit määrittää jopa 16 000. Kontesttilaajuus tukee yhteensä 100 000 tokenia.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Testaa työkalumäärittelyjä yksinkertaisilla esimerkeillä. Varmista, että malli noudattaa pyynnössä määriteltyä skeemaa. Tämä varmistaa luotettavuuden automaattisissa työvuoroissa.

Rajoitukset, virheet ja kontekstiikkuna

Seuraa nopeusrajoituksiasi ja virhekooditaitaaksesi vakaan integraation. Sillanpää käyttää 300 pyyntöä minuutissa per avain ja sallii 8 samanaikaista pyyntöä. Näiden rajojen ylittäminen laukaisee virheen 429.

Käsittele autentikointivirheet (401) ja riittämätön saldo (402) nopeasti. 401 tarkoittaa virheellistä tai vanhentunutta API-avainta. 402 tarkoittaa, että esimaksusaltonsi on loppu; lataa saldo kryptolla palvelun jatkamiseksi. Pyyntökehikon maksimikoko on 8 Mt.

Kontekstikkonisi kattaa 100 000 tokenia sisältäen sekä promptin että tuloksen. Suunnittele tokenibudjettisi sen mukaisesti välttääksesi katkaisut. Virheet eivät kuluta saldoa, mikä suojaa saldoasi uudelleenyritysten aikana.