Copilot Studio 에이전트 평가에 콘텐츠 안전 기준을 유형별로 넣어보세요

콘텐츠 안전 평가는 어떻게 판정하나요?

테스트 질문 → 에이전트 답변 → 유형별 심각도 판정 → 허용 단계 이내면 합격

평가기는 고른 유형마다 답변이 얼마나 자세하게 그 내용을 담았는지 보고 심각도 단계를 매겨요. 그 단계가 설정한 허용 단계 안에 있으면 합격, 넘으면 불합격이에요. 백분율 점수는 따로 나오지 않아요.

이 평가 문서들은 표준 하네스(standard harness)로 동작하는 에이전트와 에이전트 플로를 기준으로 쓰여 있어요. GitHub Copilot 하네스 에이전트에서도 같은지는 이 문서에 적혀 있지 않아요.

네 유형과 0~7단계는 어떻게 고르나요?

Microsoft Learn 기준이고 확인일은 2026-10-18이에요.

설정은 테스트 세트를 만들거나 고칠 때 Add test method에서 Content safety를 고르고, 유형 하나와 허용 단계를 정한 뒤 OK를 누르는 순서예요. 방법 하나에 유형 하나라서 네 유형을 다 보려면 콘텐츠 안전 방법을 네 번 추가해야 해요.

단계는 에이전트 용도에 맞춰 정하세요. 사내 업무 안내 에이전트라면 네 유형 모두 낮은 단계부터 걸어 두는 편이 무난해요. 폭력이나 자해를 다루는 상담 안내처럼 주제상 그 내용이 나올 수밖에 없는 에이전트는 유형마다 다른 단계를 두고, 왜 그 단계를 골랐는지 따로 적어 두세요.

거절해야 하는 질문은 어떻게 시험하나요?

에이전트가 거절하는 게 맞는 질문은 평가 방법을 나눠서 보는 게 좋아요. 모든 테스트 세트에 기본으로 들어가는 일반 품질(General quality)은 답하려고 시도했는지를 기준에 넣어서, 적절한 거절도 개선 대상으로 표시할 수 있다고 문서에 적혀 있어요.

• 거절이 맞는 질문은 사용자 지정(Custom) 방법에 평가 지시와 라벨로 기대하는 거절을 정의해 합격으로 잡아요.
• 같은 질문에 콘텐츠 안전 방법을 함께 걸어 거절 문장에 유해한 내용이 섞이지 않았는지 봐요.
• 일반 품질 점수가 낮게 나온 거절 사례는 실패로 바로 묶지 말고 따로 확인해요.

테스트 질문을 Copilot Studio가 자동으로 만들게 할 때는 질문이 에이전트의 콘텐츠 조정(content moderation) 설정에 걸리면 생성 자체가 실패할 수 있어요. 민감한 주제의 테스트 질문은 직접 쓰거나 파일로 가져오는 쪽이 확실해요.

테스트 세트는 얼마나, 어떤 형식으로 넣나요?

단일 응답 테스트 세트에는 테스트 케이스를 100개까지 넣을 수 있어요. 파일로 가져올 때는 CSV나 텍스트 파일 첫 줄에 Question, Expected response 순서로 제목을 두고, 질문 하나는 공백 포함 1,000자 이내로 써요.

문서의 평가 방법 표를 보면 콘텐츠 안전에 필요한 설정은 유형과 허용 단계뿐이에요. 다만 테스트 세트 생성 문서에는 일반 품질을 뺀 방법은 기대 답변이나 키워드가 필요하다는 일반 안내도 있어요. 기대 답변 없이 돌린 케이스가 Invalid로 나오는지 첫 실행에서 확인하세요.

평가 결과와 연결 계정은 무엇을 챙기나요?

평가는 지금 로그인한 사용자 계정으로 지식 원본과 도구에 연결해요. 그 계정이 볼 수 있는 민감한 데이터가 자동 생성된 테스트 케이스에 들어갈 수 있고, 에이전트에 접근할 수 있는 제작자는 누구나 그 테스트 세트를 볼 수 있어요. 평가용 계정은 필요한 권한만 가진 계정으로 정해 두세요.

테스트 결과는 Copilot Studio에서 89일 동안만 볼 수 있어요. 기준 단계를 바꾸기 전후 결과를 견주려면 실행할 때마다 CSV로 내보내 두는 게 안전해요. 문서는 콘텐츠 안전 평가가 에이전트의 안전을 보장하지 않는다고 적고, 책임 있는 AI 검토와 콘텐츠 안전 필터를 함께 쓰라고 안내해요.

사람 확인 단계를 플로에 넣는 방법은 Copilot Studio 에이전트 플로에 사람 확인과 긴 작업을 넣기 전에 알아야 할 점에, 다른 플랫폼의 평가 기능을 옮기는 계획은 OpenAI Agent Builder와 Evals 종료 대비 글에 정리해 뒀어요.

처음에는 거절해야 하는 질문 10개만 골라 네 유형을 모두 단계 0으로 걸고 한 번 돌려 보세요. 불합격이 나온 유형의 답변부터 읽고, 그 유형만 단계를 조정하면 돼요.

출처: What's new in Copilot Studio, Choose evaluation methods, Create a single response test set. 확인일 2026-10-18.