คู่มือเริ่มต้นใช้งานเกตเวย์ OpenAI

ติดตั้ง SDK OpenAI มาตรฐาน

เริ่มต้นด้วยการเพิ่มไลบรารีไคลเอนต์ทางการลงในสภาพแวดล้อมของโปรเจกต์ เพื่อให้แน่ใจว่าเข้ากันได้กับเอนด์พอยต์มาตรฐานที่เราเปิดเผย SDK จัดการการซีเรียไลเซชันและส่วนหัวการตรวจสอบสิทธิ์โดยอัตโนมัติ ลดโค้ดซ้ำซ้อนในการใช้งานของคุณ

• Python: pip install openai
• Node.js: npm install openai

ตรวจสอบว่าการติดตั้งเสร็จสมบูรณ์โดยไม่มีความขัดแย้งของ dependencies เกตเวย์ของเราคาดหวัง payload JSON มาตรฐาน ดังนั้นเวอร์ชันใดของ SDK ที่รองรับ /v1/chat/completions endpoint จะทำงานได้อย่างถูกต้อง

กำหนดค่า base_url และ API key ของคุณ

ชี้ไคลเอนต์ของคุณไปยังเอนด์พอยต์เกตเวย์เฉพาะของเราเพื่อจัดเส้นทางคำขอผ่านโมเดลที่ไม่เซ็นเซอร์ของเรา คุณต้องแทนที่ URL พื้นฐานเริ่มต้นและฉีดคีย์ API เฉพาะของคุณที่ได้จากแดชบอร์ด

คำขอของคุณจะกำหนดเป้าหมายไปยัง https://api.gatewayopenai.com/v1 แทนที่ผู้ให้บริการมาตรฐาน การเปลี่ยนแปลงนี้ช่วยให้คุณเข้าถึงโมเดล uncensored เฉพาะได้โดยไม่จำเป็นต้องปรับแก้ logic หลักของคุณ

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

การตรวจสอบสิทธิ์อาศัยเฮดเดอร์เพียงตัวเดียว ตรวจสอบให้แน่ใจว่าคีย์ของคุณยังใช้งานอยู่และยังไม่หมดอายุ เกตเวย์จะตรวจสอบโทเค็นนี้ก่อนดำเนินการประมวลผลโทเค็นใดๆ

ส่งคำขอการเติมข้อความแชทครั้งแรกของคุณ

เรียกใช้การเรียกแบบข้อความเข้า-ข้อความออกพื้นฐานเพื่อตรวจสอบการเชื่อมต่อและคุณภาพของการตอบกลับ ใช้รหัสโมเดล uncensored เพื่อให้แน่ใจว่าคุณเข้าถึงเซิร์ฟเวอร์ที่ถูกต้อง การทดสอบนี้ยืนยันว่าคีย์ API ของคุณมีเครดิตเพียงพอและเส้นทางเครือข่ายของคุณชัดเจน

ส่งวัตถุข้อความมาตรฐาน การตอบสนองจะประกอบด้วยข้อความที่สร้างมาโดยไม่มีการปฏิเสธเนื้อหาทั่วไป ตรวจสอบ choices อาร์เรย์สำหรับเนื้อหาที่สร้าง

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

ทบทวนเวลาตอบสนองและการใช้งานโทเค็น คำขอพื้นฐานนี้สร้างความไว้วางใจในการเชื่อมต่อก่อนขยายไปยังคำสั่งที่ซับซ้อนมากขึ้น

เปิดใช้งานการสตรีมและแยกวิเคราะห์การใช้งาน

เปิดใช้งาน streaming เพื่อรับ token แบบเรียลไทม์ผ่าน Server-Sent Events (SSE) ซึ่งช่วยลดความล่าช้าที่ผู้ใช้รู้สึกและอนุญาตให้แสดงผลแบบก้าวหน้าของผลลัพธ์ที่ยาว ตั้งค่า stream: true ในพารามิเตอร์ของคำขอของคุณ

แยก chunk ของ stream เพื่อดึงสถิติการใช้งาน token สุดท้าย chunk สุดท้ายจะประกอบด้วยจำนวน token ทั้ง input และ output ทั้งหมด ข้อมูลนี้สำคัญต่อการตรวจสอบการเรียกเก็บเงิน เนื่องจากเราคิดเงินตามจำนวน token

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

จัดการการตอบสนองแบบไม่สมบูรณ์อย่างเหมาะสม ตรวจสอบให้แน่ใจว่าไคลเอนต์ของคุณปิดการเชื่อมต่ออย่างสะอาดหลังจากได้รับชิ้นส่วนสุดท้ายเพื่อหลีกเลี่ยงการรั่วไหลของทรัพยากร

ใช้ tools โหมด JSON และพารามิเตอร์

利用函数调用和严格的 JSON 输出进行结构化数据生成。启用 response_format กับ json_object เพื่อบังคับให้โมเดลแสดงผล JSON ที่ถูกต้อง สิ่งนี้จำเป็นสำหรับการผสานรวมแบบโปรแกรม

กำหนดค่าพารามิเตอร์เช่น temperature และ top_p เพื่อควบคุมความสร้างสรรค์ ปรับ max_tokens เพื่อจำกัดความยาวของผลลัพธ์ ค่าเริ่มต้นคือ 2,048 แต่คุณสามารถระบุได้ถึง 16,000 ช่องว่างบริบทรองรับ 100,000 โทเค็นรวมกัน

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

ทดสอบนิยามเครื่องมือด้วยตัวอย่างง่ายๆ ตรวจสอบว่าโมเดลปฏิบัติตาม schema ที่คุณระบุในคำขอ สิ่งนี้รับประกันความน่าเชื่อถือในเวิร์กโฟลว์อัตโนมัติ

ข้อจำกัด, ข้อผิดพลาด และหน้าต่างบริบท

ตรวจสอบขีดจำกัดอัตราและรหัสข้อผิดพลาดของคุณเพื่อรักษาการผสานรวมที่เสถียร เกตเวย์บังคับใช้ 300 คำขอต่อนาทีต่อคีย์และอนุญาตคำขอพร้อมกันได้ 8 คำขอ การเกินขีดจำกัดเหล่านี้จะกระตุ้นข้อผิดพลาด 429

จัดการข้อผิดพลาดการตรวจสอบสิทธิ์ (401) และเครดิตไม่เพียงพอ (402) อย่างรวดเร็ว รหัส 401 บ่งชี้ว่าคีย์ API ไม่ถูกต้องหรือหมดอายุ รหัส 402 หมายความว่าเครดิตที่เติมเงินล่วงหน้าของคุณหมดแล้ว ให้เติมเงินผ่านคริปโตเพื่อใช้บริการต่อ ขนาดจำกัดของบอดีคำขอคือ 8 MB

หน้าต่างบริบทของคุณครอบคลุม 100,000 tokens รวมถึงทั้ง prompt และ completion วางแผนงบประมาณ tokens ของคุณอย่างเหมาะสมเพื่อหลีกเลี่ยงการตัดทอน ข้อผิดพลาดไม่หักเครดิต ซึ่งช่วยปกป้องยอดคงเหลือของคุณระหว่างการลองใหม่