שערמדריך התחלה מהירה לשער OpenAI
מדריך התחלה מהירה לשער OpenAI
הכנס את ה-LLM ללא צנזורה הזה לתשתית ה-API OpenAI-compatible הקיימת שלך על ידי עדכון כתובת הבסיס וכותרות האימות. אנו מספקים דלתא ישירה, פרטית, שעבדת בקשות טקסט ללא מסנני תוכן, מבטיחה שהקוד שלך ירוץ ללא שינוי.
התקן את ה-SDK הסטנדרטי של OpenAI
התחל על ידי הוספת ספריית הלקוח הרשמית לסביעת הפרויקט שלך. זה מבטיח תאימות עם נקודות הקצה הסטנדרטיות שאנו חושפים. ה-SDK מטפל ברישום ובהוספת כותרות אימות באופן אוטומטי, מה שמפחית קוד חזרתה ביישום שלך.
- Python:
pip install openai - Node.js:
npm install openai
ודאו שההתקנה מסתיימת ללא התנגשויות תלויות. השער שלנו מצפה לפלטפורמות JSON סטנדרטיות, כך שכל גרסה של ה-SDK התומכת ב- /v1/chat/completions נקודת הקצה תעבוד כראוי.
הגדר את ה- base_url ומפתח ה-API שלך
כוון את מופע הלקוח שלך לנקודת הקצה הספציפית של השער שלנו כדי להעביר בקשות דרך המודל ללא צנזורה שלנו. עליך להחליף את כתובת הבסיס המוגדרת כברירת מחדל ולהזין את מפתח ה-API הייחודי שלך שקיבלת מהלוח.
הבקשות שלך יכוונו עכשיו ל https://api.gatewayopenai.com/v1 במקום הספק הסטנדרטי. שינוי זה מבטיח גישה למודל ללא צנזורה ייעודי ללא שינוי הלוגיקה ליבתית שלך.
from openai import OpenAI
client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)האימות מסתמך על Header יחיד. ודאו שהמפתח שלכם פעיל ולא פג תוקף. השער מאמת טוקן זה לפני עיבוד כל טוקן.
שלח את בקשת השלמת הצ'אט הראשונה שלך
בצע שיחת כניסה-טקסט, יציאה-טקסט פשוטה כדי לאמת חיבור ואיכות תגובה. השתמש ב-mdl ID uncensored כדי להבטיח שאתה פוגע בשרת הנכון. בדיקה זו מאשרת שיש למפת ה-API שלך מספיק אשראי ושהמסלול הרשת שלך נקי.
שלח אובייקט הודעה סטנדרטי. התשובה תכיל טקסט שנוצר ללא סירובי תוכן טיפוסיים. בדוק את choices מערך לתוכן שנוצר.
curl https://api.gatewayopenai.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
}'סקור את זמן התגובה ושימוש בטוקנים. בקשת בסיס זו מבססת אמון בחיבור לפני סקאלה לבקשות מורכבות יותר.
אפשרו זרימה ופיענוח שימוש
הפעל סטרימינג כדי לקבל טוקנים בזמן אמת באמצעות אירועים מוזרמים מהשרת (SSE). זה מפחית את תחוית העיכוב עבור משתמשים סופיים ומאפשר רינדור פרוגרסיבי של פלט ארוך. הגדר stream: true בפרמטרי הבקשה שלך.
נתח את נתחי הזרם כדי לחלץ את סטטיסטיקות השימוש בסוף. הנתח האחרון מכיל את ספירת הטוקנים המלאה עבור הקלט והפלט. נתונים אלו קריטיים לאימות חשבון מדויק שכן אנו גובים תשלום לפי טוקן.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)טפלו בתגובות חלקיות בצורה תקינה. ודאו שהלקוח שלכם סוגר את החיבור בצורה נקייה לאחר הגעת ה-chunk הסופי כדי למנוע דליפת משאבים.
השתמשו בכלים, מצב JSON ופרמטרים
נצל קריאת פונקציות ופלט JSON קפדני ליצירת נתונים מבניים. הפעל response_format עם json_object לכפות תגובות JSON תקפות מהמודל. זה חיוני לשילובים תוכניים.
הגדר פרמטרים כמו temperature וגם top_p לשלוט ביצירתיות. התאם max_tokens להגביל את אורך הפלט; ברירת המחדל היא 2,048, אך ניתן לציין עד 16,000. חלון ההקשר תומך ב-100,000 טוקנים בסך הכל.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);בדקו הגדרות כלים עם דוגמאות פשוטות. ודאו שהמודל מציית לסכמה שסופקה בבקשה שלכם. זה מבטיח אמינות בעבודות שוטפות אוטומטיות.
מגבלות, שגיאות וחלון ההקשר
עקבו אחר מגבלות הקצב וקודי השגיאה כדי לשמור על אינטגרציה יציבה. השער מפעיל 300 בקשות לדקה למפתח ומאפשר 8 בקשות מקבילות. חריגה ממגבלות אלו מפעילה שגיאת 429.
טפלו בשגיאות אימות (401) ובחוסר באשראי (402) באופן מיידי. קוד 401 מצביע על מפתח API לא חוקי או פג תוקף. קוד 402 אומר שהאשראי המקדים שלך אזל; הוסף אשראי באמצעות קריפטו כדי להמשיך בשירות. גבול גודל גוף הבקשה הוא 8 MB.
חלון ההקשר נמתח על 100,000 טוקנים כולל פקודה והשלמה. תכנן את תקציב הטוקנים שלך בהתאם כדי להימנע מחיתוך. שגיאות לא צורכות אשראי, מה שמגן על יתרתך במהלך נסיונות חוזרים.
שאלות נפוצות
מהי כתובת ה-Base URL של ה-Gateway של OpenAI עבור LLM זה הבלתי-מרוסן?
כתובת הבסיס היא HTTPS://api.gatewayopenai.com/v1. עדכנו את תצורת ה-SDK שלכם כך שתצביע על כתובת זו במקום על נקודת הקצה המובנית של הספק.
כיצד לטפל בתגובות סטרימינג באפליקציה שלי?
הגדירו את פרמטר stream ל- true בבקשה שלכם. השער מחזיר אירועים שנשלחו על ידי השרת (SSE) המכילים נתוני טוקנים. נתחו את הנתח הסופי כדי לקבל את סך שימוש הטוקנים לאימות חיוב.
מה קורה אם אעבור את מגבלת הקצב או שאזל לי האשראי?
חריגה מגבול של 300 בקשות לדקה מחזירה שגיאה 429. אזל האשראי מחזיר שגיאה 402. ניתן להעלות יד שנייה מיד עם USDT או USDC כדי להמשיך את השירות ללא זמן השבתה.
קבל את מפתח ה-API שלך
הירשמו, העתיקו את המפתח, ועדכנו את כתובת הבסיס שלכם. זה כל מה שיש בזה.