실행 모니터
실행 모니터는 요청 접수부터 모델 호출, 도구 실행과 응답 완료까지 걸린 시간과 결과를 확인하는 운영 화면입니다. 느린 응답과 반복 실패가 어느 단계에서 발생하는지 찾는 데 사용합니다.
개요
턴이 끝나면 Orchestrator는 턴 사용량, 모델 호출별 사용량과 성능 정보를 기록합니다. 도구 호출 여부와 횟수, 성공 상태, 오류 코드와 소요시간을 함께 보면 모델 지연과 도구 지연을 구분할 수 있습니다.
모니터링 절차
- 최근 실패와 지연 턴 수를 확인합니다.
- 테넌트, 모델과 시간대로 범위를 좁힙니다.
- 전체 소요시간이 긴 턴을 선택합니다.
- 모델 호출 횟수와 도구 호출 횟수를 확인합니다.
- 오류 코드와 마지막 성공 단계를 확인합니다.
- 같은 시간대의 API·MCP 서버 상태를 비교합니다.
주요 지표
| 지표 | 의미 |
|---|---|
| Turn duration | 요청을 받은 뒤 최종 결과를 만들기까지의 전체 시간입니다. |
| Model invocations | 한 턴에서 Provider를 호출한 횟수입니다. |
| Tool call count | MCP 또는 내장 도구를 호출한 횟수입니다. |
| Success rate | 선택 기간의 성공 턴 비율입니다. |
| Error code | 인증, 모델, 정책, 도구와 시간 제한 오류를 구분합니다. |
| Model pass | 계획, 실행, 정리 등 모델 호출 단계를 구분합니다. |
지연 원인 분리
모델 호출이 한 번인데 오래 걸리면 Provider 응답과 출력 토큰을 확인합니다. 도구 호출이 많으면 같은 도구가 재시도됐는지 확인합니다. 모델 호출과 도구 호출이 모두 적은데 전체 시간이 길면 큐 대기, 데이터 저장 또는 네트워크 연결을 점검합니다.
오류 대응
- 인증 오류는 API 키와 호출 경로를 확인합니다.
- 모델 오류는 Model ID, 서버 주소와 동시 요청 상한을 확인합니다.
- 도구 오류는 MCP 서버, 입력 스키마와 정책 결정을 확인합니다.
- 시간 제한은 어느 단계에서 제한을 넘겼는지 확인한 뒤 해당 구간만 조정합니다.
- 취소된 턴은 사용자가 연결을 끊었는지 서버가 취소했는지 구분합니다.
운영 기준 만들기
정상 시간대의 평균과 상위 지연값을 기준선으로 기록합니다. 단일 최대값보다 일정 기간의 변화와 실패율을 함께 봅니다. 새 모델이나 프롬프트를 적용한 날은 변경 시각을 기록해 전후 수치를 비교하십시오.
관련 작업
- 턴 검사기에서 선택한 턴의 실제 실행 컨텍스트를 확인합니다.
- 사용량에서 모델별 토큰과 호출 횟수를 확인합니다.
- MCP 진단에서 도구 카탈로그와 정책 경로를 검증합니다.