품질 현황

품질 현황은 평가 실행 결과를 기반으로 애플리케이션의 응답 품질을 추적하는 화면입니다. 핵심 지표, 기간별 추이, 저품질 질문, 최근 평가 이력을 함께 확인할 수 있어 운영 중인 서비스의 품질 저하를 빠르게 감지할 수 있습니다.

화면 예시

품질 현황 화면은 대시보드의 품질 현황 탭에서 접근하며, 애플리케이션 선택과 기간 필터를 함께 제공합니다.

핵심 지표

상단 카드에서는 평가 기준별 현재 점수와 직전 대비 변화를 확인할 수 있습니다.

지표 예시	설명
Faithfulness	응답이 실제 근거 문서와 얼마나 일치하는지 보여줍니다.
Context Precision	검색된 문맥이 질문과 얼마나 정밀하게 맞는지 보여줍니다.
Context Recall	필요한 문맥을 충분히 회수했는지 나타냅니다.
Answer Relevancy	최종 응답이 질문 의도에 맞는지 평가합니다.

품질 추이 분석

트렌드 차트에서는 기간별 지표 변화를 시각적으로 비교할 수 있습니다.

항목	설명
기간 필터	최근 기간을 기준으로 평가 추이를 비교합니다.
지표별 선 그래프	지표별 개선 또는 악화 흐름을 한눈에 확인합니다.
급격한 변동 구간	배포 이후 품질 변화나 특정 시점의 이상치를 파악하는 데 유용합니다.

하위 질문과 최근 평가

화면 하단에는 즉시 확인이 필요한 품질 저하 항목이 모여 있습니다.

영역	설명
품질 하위 질문 Top 5	가장 낮은 점수를 기록한 질문과 문제 지표를 보여줍니다.
최근 평가 요약	최근 실행된 평가의 상태, 질문 수, 주요 점수를 확인합니다.

활용 방법

1. 점수가 낮은 질문을 먼저 확인해 프롬프트, 문서, 도구 호출 중 어느 구간이 약한지 구분합니다.
2. 품질 추이에서 급락 시점을 찾고 해당 시기의 배포나 설정 변경과 비교합니다.
3. 저품질 질문을 기준으로 지식 베이스 문서를 보강하거나 프롬프트를 수정합니다.

관련 문서

• 대시보드
• 대화 이력
• 피드백
• 지식 베이스