Orchestrator 관리
Orchestrator 관리는 Echo AI가 요청을 받아 모델과 도구를 선택하고 결과를 반환하는 전체 실행 상태를 점검하는 시작 화면입니다. 장애가 발생했을 때 모델, 프롬프트, MCP 도구와 테넌트 구성 중 어느 영역을 확인해야 하는지 판단하는 데 사용합니다.
개요
Orchestrator는 사용자 요청을 턴으로 기록하고, 실행 컨텍스트를 구성한 뒤 모델 호출과 도구 실행을 조정합니다. 관리 화면의 설정은 실제 응답 품질과 데이터 접근 범위에 영향을 주므로 운영과 시험 환경을 구분해 변경해야 합니다.
운영 확인 순서
- Runtime version과 서비스 상태를 확인합니다.
- 최근 턴의 성공률과 오류 코드를 확인합니다.
- 기본 프롬프트 프로필과 모델 구성이 활성 상태인지 확인합니다.
- MCP 카탈로그가 정상적으로 로드됐는지 확인합니다.
- 테넌트와 사용자 컨텍스트가 요청에 포함되는지 확인합니다.
- 이상 턴은 턴 검사기에서 세부 실행 이력을 확인합니다.
구성 영역
| 영역 | 역할 |
|---|---|
| 모델 구성 | Provider, 모델명, 서버 주소와 토큰 상한을 관리합니다. |
| 프롬프트 프로필 | 시스템 지침, 데이터 컨텍스트와 기본 모델을 연결합니다. |
| MCP 도구 | 서버에서 발견한 도구와 모델에 노출되는 이름을 확인합니다. |
| MCP 정책 | 읽기·쓰기·파괴 위험에 따른 실행 허용 범위를 결정합니다. |
| 플래너 | 복합 요청을 세부 작업으로 나눌 때 사용할 역량과 근거를 구성합니다. |
| 테넌트 | 회사별 프로필과 데이터 격리 키를 관리합니다. |
변경 전 확인
활성 모델이나 기본 프롬프트를 바꾸면 이후 턴부터 응답 방식이 달라집니다. 변경 전에 현재 ID와 갱신 시각을 기록하고, 시험 대화에서 도구 없는 질문과 도구가 필요한 질문을 각각 검증하십시오. API 키는 화면이나 로그에 평문으로 남기지 않습니다.
장애 분리
- 모든 요청이 실패하면 서비스, 인증과 기본 모델 구성을 확인합니다.
- 특정 테넌트만 실패하면 tenantId와 회사 프로필을 확인합니다.
- 답변은 나오지만 도구가 실행되지 않으면 MCP 카탈로그와 정책 결정을 확인합니다.
- 비용이나 응답시간이 급증하면 사용량과 실행 모니터에서 모델별 호출을 확인합니다.
- 같은 질문의 결과가 달라지면 적용된 프롬프트와 모델 ID를 턴별로 비교합니다.
운영 원칙
설정 저장 성공만으로 적용 완료를 판단하지 마십시오. 실제 턴을 실행해 선택된 모델, 프롬프트, 도구 정책과 응답을 확인해야 합니다. 쓰기 도구와 파괴적 도구는 자동 실행 범위를 넓히기 전에 승인 흐름을 검증합니다.
관련 작업
- 턴 검사기에서 개별 요청의 입력과 실행 근거를 확인합니다.
- 사용량에서 토큰과 모델 호출 비용 추세를 확인합니다.
- 실행 모니터에서 지연 구간과 오류 발생 단계를 확인합니다.