OpenAI 게이트웨이 빠른 시작 가이드

표준 OpenAI SDK 설치

프로젝트 환경에 공식 클라이언트 라이브러리를 추가하세요. 이는 노출된 표준 엔드포인트와의 호환성을 보장합니다. SDK는 직렬화 및 인증 헤더를 자동으로 처리하여 구현 시 불필요한 코드를 줄여줍니다.

• Python: pip install openai
• Node.js: npm install openai npm install openai

설치가 의존성 충돌 없이 완료되었는지 확인하십시오. 당사 게이트웨이는 표준 JSON 페이로드를 기대하므로, /v1/chat/completions 엔드포인트는 올바르게 작동합니다.

base_url과 API 키를 구성하세요

클라이언트 인스턴스를 우리 특정 게이트웨이 엔드포인트에 설정하여 요청을 제한 없는 모델로 라우팅하세요. 기본 기본 URL을 바꾸고 대시보드에서 얻은 고유한 API 키를 삽입해야 합니다.

요청은 이제 다음을 대상으로 합니다 https://api.gatewayopenai.com/v1 표준 제공업체 대신 사용합니다. 이 변경으로 핵심 로직을 수정하지 않고도 전용 uncensored 모델에 접근할 수 있습니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayopenai.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

인증은 단일 헤더에 기반합니다. 키가 활성 상태이고 만료되지 않았는지 확인하세요. 게이트웨이는 토큰 처리 전에 이 토큰을 검증합니다.

첫 번째 채팅 완성 요청 보내기

연결성 및 응답 품질을 확인하기 위해 간단한 텍스트 입력/출력 호출을 실행합니다. 모델 ID를 사용하세요. uncensored 올바른 서버에 접근하도록 보장합니다. 이 테스트는 API 키에 충분한 크레딧이 있고 네트워크 경로가 원활함을 확인합니다.

표준 메시지 객체를 보내세요. 응답에는 일반적인 콘텐츠 거부 없이 생성된 텍스트가 포함됩니다. 다음을 확인하세요 choices 생성된 콘텐츠용 배열입니다.

Copycurl https://api.gatewayopenai.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "List 5 Linux commands for disk usage"}]
  }'

응답 시간과 토큰 사용량을 검토하세요. 이 기준 요청은 더 복잡한 프롬프트로 확장하기 전에 연결에 대한 신뢰를 확립합니다.

스트리밍 활성화 및 사용 데이터 파싱

스트리밍을 활성화하여 서버 전송 이벤트(SSE)를 통해 토큰을 실시간으로 받으세요. 이는 최종 사용자의 지각된 지연 시간을 줄이고 긴 출력의 점진적 렌더링을 가능하게 합니다. 설정 stream: true 요청 매개변수에 포함됩니다.

스트림 청크를 파싱하여 최종 토큰 사용량 통계를 추출합니다. 마지막 청크에는 입력 및 출력에 대한 전체 토큰 수가 포함되어 있습니다. 토큰 단위로 과금하므로 이 데이터는 정확한 청구 검증에 필수적입니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

부분 응답을 우아하게 처리하세요. 마지막 청크가 도착한 후 클라이언트가 연결을 깔끔하게 종료하여 자원 누수를 방지해야 합니다.

도구, JSON 모드 및 파라미터 사용

구조화된 데이터 생성을 위해 함수 호출과 엄격한 JSON 출력을 활용하세요. 활성화 response_format with json_object 모델에서 유효한 JSON 응답을 생성하도록 강제합니다. 이는 프로그래밍 통합에 필수적입니다.

temperature와 같은 매개변수를 구성하세요. temperature 및 top_p 창의성을 제어합니다. 조정 max_tokens 출력 길이를 제한합니다. 기본값은 2,048이지만 최대 16,000까지 지정할 수 있습니다. 컨텍스트 창은 총 100,000개의 토큰을 지원합니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayopenai.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

간단한 예제를 사용하여 도구 정의를 테스트하세요. 모델이 요청에 제공된 스키마를 따르는지 확인하세요. 이는 자동화 워크플로우의 신뢰성을 보장합니다.

제한 사항, 오류 및 컨텍스트 윈도우

안정적인 통합을 유지하기 위해 속도 제한 및 오류 코드를 모니터링하세요. 게이트웨이는 키당 분당 300회 요청을 시행하고 8개의 동시 요청을 허용합니다. 이러한 제한을 초과하면 429 오류가 발생합니다.

인증 오류(401) 및 크레딧 부족(402)을 즉시 처리하세요. 401은 유효하지 않거나 만료된 API 키를 나타냅니다. 402는 사전 지불 크레딧이 고갈되었음을 의미하며, 크립토를 통해 충전하여 서비스를 계속 이용하세요. 요청 본문 제한은 8MB입니다.

컨텍스트 윈도우에는 프롬프트와 completion이 모두 포함됩니다. 잘라내기를 피하기 위해 토큰 예산을 적절히 계획하십시오. 오류는 크레딧을 소모하지 않으므로 재시도 시 잔액을 보호합니다.