모델 구성
모델 구성에서는 Orchestrator가 호출할 AI 모델, 게이트웨이, 서버 주소와 실행 한도를 관리합니다. 모델을 바꾸면 응답 품질, 지연시간과 비용이 함께 달라지므로 시험 턴으로 검증한 뒤 기본 구성에 적용합니다.
개요
각 구성은 AI Model Config ID로 식별되고 표시명, Provider 모델명, Gateway Type과 Server Base URL을 포함합니다. 활성 여부와 최대 동시 요청 수, 컨텍스트 창과 출력 토큰 상한도 함께 저장됩니다.
구성 항목
| 항목 | 설명 |
|---|---|
| Display Name | 운영자가 구분하는 모델 구성 이름입니다. |
| Model Name | Provider 또는 서버가 요구하는 실제 모델 이름입니다. |
| Gateway Type | 모델을 호출하는 어댑터 종류입니다. |
| Server Base URL | 로컬 또는 원격 모델 서버의 기본 주소입니다. |
| API Key | Provider 인증에 사용하는 비밀값입니다. |
| Max Concurrent Requests | 동시에 보낼 수 있는 최대 요청 수입니다. |
| Context Window Tokens | 서버가 처리할 수 있는 전체 문맥 상한입니다. |
| Max Output Tokens | 한 번의 생성에 허용할 최대 출력 토큰입니다. |
| Is Use | 선택 가능한 활성 구성인지 나타냅니다. |
모델 등록
- 구분 가능한 표시명과 고유 ID를 정합니다.
- Gateway Type과 실제 Model Name을 입력합니다.
- 서버 주소와 인증 방법을 확인합니다.
- 서버 사양에 맞는 동시 요청 수를 입력합니다.
- 컨텍스트와 출력 토큰 상한을 입력합니다.
- 활성화 후 짧은 질문으로 연결을 검증합니다.
- 긴 문맥과 도구 호출이 포함된 시험 턴도 실행합니다.
토큰 상한
Context Window Tokens는 시스템 프롬프트, 대화, 검색·도구 결과와 예상 출력을 모두 포함한 상한입니다. Max Output Tokens를 지나치게 크게 잡으면 입력 문맥이 줄어들 수 있습니다. 프롬프트 프로필의 상한은 모델 구성의 상한을 넘을 수 없습니다.
API 키 관리
API 키는 저장 후 화면에서 전체 값을 다시 노출하지 않는 방식으로 관리합니다. 로그, 문서와 이슈에 키를 복사하지 마십시오. 키를 교체할 때에는 기존 연결을 사용하는 실행이 없는지 확인하고, 새 키 검증 후 이전 키를 폐기합니다.
변경 검증
같은 프롬프트와 입력으로 기존 모델과 새 모델을 비교합니다. 응답 정확도뿐 아니라 첫 응답 시간, 전체 시간, 토큰 사용량과 도구 선택을 확인하십시오. 기본 모델 변경은 영향을 받는 프롬프트 프로필 목록을 확인한 뒤 수행합니다.
문제 해결
- 401 또는 403은 API 키와 서버 권한을 확인합니다.
- 모델 없음 오류는 Model Name과 서버의 로드 목록을 확인합니다.
- 문맥 초과는 토큰 상한과 도구 출력 크기를 줄입니다.
- 동시 요청 실패는 Max Concurrent Requests와 서버 처리량을 비교합니다.