운영 피드백

운영 피드백에서는 실제 대화에서 발견한 오답, 누락과 불편사항을 수집하고 재현 가능한 시험 시나리오 후보로 정리합니다. 단순 의견을 바로 프롬프트에 반영하지 않고 근거와 상태를 관리하는 화면입니다.

개요

피드백은 Feedback ID, Tenant ID, 사용자 발화, 운영자 설명, 상태와 생성 시각을 JSONL 저장소에 기록합니다. 상태는 open, promoted, dismissed 중 하나이며 최근 항목부터 조회됩니다.

피드백 등록

1. 문제가 발생한 턴을 턴 검사기에서 확인합니다.
2. 사용자의 원래 발화와 기대 결과를 기록합니다.
3. 실제 결과에서 잘못된 부분을 구체적으로 설명합니다.
4. 적용 테넌트와 관련 Turn ID를 확인합니다.
5. open 상태로 등록합니다.
6. 재현 후 시나리오 승격 또는 제외 여부를 결정합니다.

상태

허용되지 않은 상태값으로 변경하면 저장되지 않습니다.

좋은 피드백 작성

“답이 이상함”처럼 결과만 적지 말고 어떤 정보가 틀렸는지, 기대한 근거와 사용한 데이터 범위를 적습니다. 개인정보와 API 키는 제거합니다. 모델 문제인지 데이터·도구·권한 문제인지 확인할 수 있도록 Turn ID를 남깁니다.

시나리오 승격

1. 같은 조건에서 문제를 재현합니다.
2. 기대 결과를 객관적으로 판정할 수 있는지 확인합니다.
3. 테넌트 전용 사례인지 공통 사례인지 구분합니다.
4. promoted로 변경합니다.
5. 시나리오 후보 목록에서 발화와 기대 결과를 확인합니다.
6. 자동 회귀 테스트에 넣기 전 민감정보를 다시 확인합니다.

저장소 주의사항

피드백 저장소는 파일 기반 JSONL이므로 여러 인스턴스가 같은 경로를 안전하게 공유하는지 배포 구성을 확인해야 합니다. 파일을 직접 편집하지 말고 API를 사용해 상태를 변경하십시오. 백업과 접근 권한도 운영 데이터 기준으로 관리합니다.

문제 해결

피드백이 보이지 않으면 상태 필터와 저장 루트 경로를 확인합니다. 상태 변경이 실패하면 Feedback ID와 허용 상태값을 확인합니다. 서버를 바꾼 뒤 목록이 달라졌다면 ECHO_FEEDBACK_ROOT가 같은 저장소를 가리키는지 확인합니다.