라인 커버리지 80%는 왜 검수가 아닌가

줄이 한 번 실행된 비율입니다. 현업이 싸인하는 것은 합의 시나리오의 합격입니다. 같은 80이어도 분모가 다릅니다.

RFP에 커버리지를 빼야 하나

빼지 말고 나눕니다. 도구 목표와 시나리오 필수 첨부, 치명 미실행 시 검수 불가를 한 조항의 세 줄로 적습니다.

QA가 커버리지를 안 봐도 되나

참고 칸으로 내립니다. 주간 첫 장은 실패 시나리오와 치명 미조치입니다. 게이지만 오르는 주는 도구 최적화 주입니다.

조서에 PDF만 붙이면 안 되나

PDF는 첨부입니다. 본문에는 시나리오 총수와 합격, 조건부, 미실행을 적고 검수 주체가 그 칸에 서명합니다.

테스트 커버리지 RFP 작성 - 라인 80% 시나리오 검수 기준 비교와 조서 연결

RFP나 검수 기준을 잡으시는 분들 중에 테스트 커버리지 숫자부터 적어두시는 경우가 많습니다. 도구 리포트가 한눈에 보여 관리하기 편해 보이기 때문이죠. 하지만 라인 커버리지 80%만으로는 현업이 싸인하는 시나리오 합격을 담지 못해, 검수 주에 시비가 붙는 현장이 적지 않습니다. 이번 포스팅에서는 RFP 문구와 QA 주간 숫자, 도구 최적화 함정, 조서에 남길 합격 칸까지 커버리지와 시나리오를 어떻게 갈라 쓸지 자세히 다뤄보도록 하겠습니다. 검수 합격 기준을 고민 중이시라면 도구 숫자와 인도 기준을 나누는 데 큰 도움이 될 것입니다.

칸	도구가 찍는 것	검수가 받아야 하는 것
분모	실행된 코드 줄, 분기	합의 시나리오 경로
RFP	80% 이상 한 줄	라인 목표, 시나리오 첨부, 치명 미실행 시 불가
주간보고	커버리지 게이지	실패 시나리오, 치명 미조치, 재실행 비율
최적화	생성된 시험, 한쪽 분기	시나리오와 시험의 연결 칸
조서	80% 달성 문장	합격, 조건부, 미실행 건수와 현업 서명

커버리지 숫자와 검수가 보는 칸

라인 커버리지와 시나리오 합격은 어떻게 다를까?

도구가 찍는 라인 커버리지 80%는 코드 줄이 한 번 실행된 비율입니다. 현업 싸인의 대상은 합의 시나리오의 합격이지, 도구 게이지 숫자가 아닙니다.

단위 시험 도구가 보여주는 커버리지는 실행된 줄의 비율입니다. 분기를 한쪽만 타도 줄은 초록이 되고, 예외 처리나 권한 거부, 정산 마감일 변경처럼 줄 수가 적은 경로는 건너뛰어도 80은 쉽게 나옵니다.

그런데 시나리오 커버리지는 합의한 업무 경로를 탔는지가 분모입니다. 경로 40개 중 32개를 타면 80%이고, 같은 80이라도 분모가 줄이냐 경로냐에 따라 남는 구멍이 완전히 달라집니다.

검증(Validation)이 확인하는 쪽은 경로입니다. 줄 쪽 숫자를 검수 목표로 두면 수행 보고는 매주 초록인데 현업 리뷰는 매주 새 예외를 만납니다.

그래서 RFP와 착수 기준선에는 두 숫자를 같이 적는 편이 안전합니다. 하나만 적으면 적힌 쪽만 올라가기 때문입니다.

RFP에 커버리지 80%만 쓰면 왜 검수가 흔들릴까?

필수 산출물에 시나리오 목록, 합격 기준, 커버리지 분모를 같이 박습니다. 도구 숫자 한 줄만 있으면 검수는 리포트 PDF 첨부로 끝나기 쉽습니다.

제안요청 특수조건에 단위시험 커버리지 80% 이상이라고만 적힌 사업이 많습니다. 그러면 수행사는 도구를 고르고 빌드마다 숫자를 올리며, 검수 주가 되면 PDF 한 장이 80.4%를 보여 줍니다.

그 한 장이 시나리오 실패 12건을 가리는 경우가 있습니다. 그래서 RFP 문장을 나눕니다.

단위 시험의 라인 또는 분기 목표, 통합과 현업 시나리오 목록의 필수 첨부, 치명 시나리오 미실행 시 검수 불가. 이 세 줄이 한 조항입니다.

한 줄이면 도구가 조항의 주인이 되고, 도구의 주인은 수행 품질 조직이며 검수의 주인은 발주 현업입니다. 주인이 다른 숫자를 한 칸에 넣지 말아야 하고, 칸이 하나면 주인은 도구 쪽으로 기울기 쉽습니다.

QA가 주간에 먼저 봐야 할 숫자는 무엇일까?

실패한 시나리오 수, 치명 미조치, 신규 대비 재실행 비율입니다. 커버리지 게이지는 참고 칸으로 내리는 편이 낫습니다.

주간보고 첫 장에 커버리지 87%가 크게 박혀 있으면, 회의 초반 몇 분이 그 숫자에 쓰입니다. QA vs QC가 먼저 읽을 칸은 다른 데 있습니다.

이번 주 실패한 시나리오, 치명 미조치, 지난주에 실패했던 경로를 다시 탄 비율입니다. 이 세 칸이 안정인데 커버리지만 오르는 주는 대개 도구 최적화 주이고, 그 주에 현업 시나리오를 안 돌렸다면 87은 검수와 무관합니다.

보고 양식에서 게이지를 두 번째 장으로 내리고 첫 장은 시나리오 칸으로 두는 이유입니다. WBS 시험 단계에도 시나리오 실행 줄을 넣고, 커버리지 도구 줄은 그 아래 참고로 두면 발주 임원이 초록만 기억하는 위험을 줄일 수 있습니다.

도구 최적화로 올린 80%는 왜 위험할까?

예외 경로를 피하고 생성된 시험으로 줄을 채우면 80은 금방입니다. 그 80은 정산 예외 한 건을 한 번도 안 탈 수 있습니다.

커버리지 목표만 있는 팀은 숫자를 올리는 법을 찾습니다. 분기 한쪽만 타는 시험, 예외를 던지지 않게 막는 입력, 생성기가 만든 빈 호출로 줄은 초록이 되지만 업무 경로는 그대로입니다.

발견하는 법은 거창하지 않습니다. 치명 시나리오 목록을 도구 리포트와 나란히 놓고, 목록의 각 줄이 리포트의 어떤 시험과 연결되는지 칸을 하나 두면 됩니다.

연결이 비면 그 시나리오는 커버리지에 안 들어 있는 것이고, 연결을 검수 전에 채우라고 하면 한 주가 그 표에 쓰입니다. 착수 때 시험 전략에 연결 칸을 넣어 두면 최적화로 올린 80이 주간보고에서 바로 드러나고, 드러난 80은 고칠 수 있지만 가려진 80은 조서 첨부가 됩니다.

검수 조서에는 어떤 합격 칸을 남겨야 할까?

조서 첫 줄은 합의 시나리오의 합격 건수와 치명 경로 미실행입니다. 라인 커버리지 숫자는 본문이 아니라 첨부 칸입니다.

조서에 시험 커버리지 80% 달성, 합격이라고만 적으면 나중에 장애가 나도 그 문장이 방어 자료가 됩니다. 방어 자료가 라인 숫자면 현업이 싸인한 경로가 무엇이었는지가 남지 않습니다.

그래서 조서 본문에 시나리오 총수, 합격, 조건부 합격, 미실행을 적고, 조건부 합격의 조건과 기한도 한 줄로 남깁니다. 라인 커버리지 PDF는 첨부 3으로 두는 편이 읽기 순서에 맞습니다.

첨부를 본문으로 올리면 읽는 순서가 도구가 되기 때문입니다. 검수 주체가 시나리오 칸에 서명해야 검증(Validation)이 끝나고, 도구 칸에만 서명하면 끝난 것은 빌드 파이프라인입니다.

파이프라인의 끝과 인도의 끝은 다른 날짜여야 하며, 같은 날짜로 적으면 80%가 검수를 대신한 기록이 됩니다.