예외 시나리오는 몇 개가 적당한가

돈과 권한이 걸린 화면마다 실패 한 줄이면 현업이 읽는다. 화면 수 곱하기 다섯으로 늘리면 다시 안 읽힌다.

실패 케이스는 엔지니어만 돌리면 되나

케이스는 엔지니어가 먼저 닫는다. 현업 사인은 그 실패가 자기 업무 문장으로 맞는지다. 403 같은 기술 문장으로 올리지 않는다.

이번 오픈에 예외를 다 넣을 수 없으면

빼는 줄을 조서 첨부 이관 목록에 수동 절차와 같이 적는다. 안 적으면 그 예외는 범위로 남는다.

오픈 첫 주 장애를 전부 잔존 결함으로 봐야 하나

조서에 있던 실패 줄이 틀린 것만 잔존이다. 이관 줄과 범위 밖 줄은 다른 칸이다. 한 칸으로 받으면 안정화가 검수가 된다.

예외 경로 검수, UAT 시나리오 - 해피패스만 돌리면 오픈 다음날 터지는 이유

정상 케이스만 돌아가면 검수가 끝났다고 보는 현장이 있다. 오픈 다음날 터지는 것은 정상이 아니라 예외다. 부분 취소, 권한 없는 조회, 마감 후 입력, 중복 요청, 연계 타임아웃. 이 다섯은 화면 목록에 칸이 없어도 업무에는 매일 있다. 해피패스 40개를 돌려 사인을 받으면 조서는 깨끗하다. 깨끗한 조서의 첫 장애는 대개 예외 경로에서 난다. 시나리오에 실패 한 줄을 넣지 않은 시험은, 시험이 아니라 시연이다. 시연으로 받은 사인은 운영 첫 주에 다시 검수가 된다. 예외를 검수 항목으로 올리는 위치와, 현업이 그 줄을 읽을 이유를 적는다.

예외	정상 시나리오에 보이는가	조서에 적을 문장
부분 취소	저장 성공만 보임	취소 후 원장 숫자와 메시지
권한 없는 조회	권한자 화면만 보임	안내 문구와 감사 로그
마감 후 입력	마감 전 저장만 보임	차단 또는 운영 수동 절차
중복 요청	한 번 클릭만 보임	두 번째 저장의 원장 상태
연계 타임아웃	성공 응답만 보임	재처리 버튼과 대기 상태

해피패스 조서에 없는 줄이 오픈 다음날 오는 방식

정상 케이스만 통과하면 검수가 끝나나?

고객 사인의 최소 조건일 뿐이다. 업무는 실패 경로에서 돈을 잃는다. 실패가 없는 조서는 시연 기록이다.

저장이 된다, 조회가 된다, 출력이 된다. 세 문장은 데모에 잘 맞는다.

검수 자리에 데모 대본을 그대로 올리면 현업은 잘 된 것 같다고 사인한다. 다음 날 마감 지난 전표를 고치려다 막히고, 대리자가 결재를 못 하고, 같은 청구를 두 번 눌러 원장이 두 줄이 된다.

그 세 건은 기능 누락이 아니라 예외 미시험이다. 검증(Validation) 목록을 시나리오 제목만으로 채우면, 제목은 정상 동사로 끝난다.

동사 옆에 실패 때 기대 메시지를 한 줄 붙이지 않으면 시험자는 성공만 찍고 자리를 뜬다. 성공만 찍힌 조서는 운영 인계 문서가 되기 어렵다.

인계 뒤에 같은 예외가 티켓으로 돌아온다.

예외 다섯 줄을 시나리오에 어떻게 넣나?

핵심 화면마다 실패 한 줄을 붙인다. 부분 취소, 권한, 마감, 중복, 타임아웃. 화면 수만큼 늘리지 않는다.

예외를 화면 수 곱하기 다섯으로 늘리면 현업은 또 안 읽는다. 늘리는 쪽이 안전한 느낌이 들지만, 안 읽힌 항목은 없는 항목과 같다.

돈과 권한이 걸린 화면을 먼저 고른다. 정산, 청구, 승인, 고객 원장, 대외 전송.

각 화면에 실패 한 줄. 기대 결과는 된다가 아니라 이 메시지와 이 원장 상태다.

메시지가 없는 실패는 시험자가 임의로 통과시킨다. QA vs QC로 말하면 이 한 줄은 QC가 케이스로 돌리고, 현업은 그 한 줄의 업무 의미가 맞는지 사인한다.

케이스 800개를 현업 앞에 펼치지 않는다. 실패 한 줄의 업무 문장만 조서에 올린다.

800개는 엔지니어가 먼저 닫는다.

현업이 실패 케이스를 안 읽으면?

실패를 장애 문장이 아니라 자기 업무 문장으로 바꾼다. 읽히지 않는 항목은 조서에서 뺀다.

권한 없는 사용자가 403을 받는지라는 문장은 현업의 문장이 아니다. 영업점이 다른 지점 고객을 조회하면 어떤 안내가 뜨고 로그에 누가 남는가.

이 문장이면 팀장이 읽는다. 읽게 만드는 것은 친절이 아니라 사인 품질이다.

안 읽은 사인은 오픈 후 그거 그런 뜻인 줄 몰랐다로 돌아온다. 시나리오 초안을 요구 검증 주에 현업과 같이 적는 이유가 여기 있다.

오픈 2주 전에 실패 문장을 번역하면, 그 주는 이미 시험 설계 주다. 설계 주에 문장을 바꾸면 개발은 이미 정상 경로만 닫아 둔 상태다.

닫아 둔 코드에 실패 메시지를 붙이는 일은 작은 수정처럼 보이고, 권한과 원장을 건드리기 쉽다.

예외를 이번 오픈에서 빼면 어디에 남기나?

조서 첨부 이관 목록이다. 빼기로 하고 안 적으면 현업은 그 예외가 되는 줄 알고 오픈한다.

모든 예외를 이번 오픈에 넣을 필요는 없다. 넣지 않기로 한 줄이 문서에 없으면, 그 줄은 범위로 남는다.

변경관리에서 운영 이관하기로 한 실패 경로를 검수 조서 첨부에 그대로 옮긴다. 옮긴 줄에는 운영 중 수동 절차를 한 문장으로 적는다.

마감 후 입력은 운영 담당이 전표 취소 화면으로 처리한다 같은 문장. 문장이 없으면 콜센터가 개발사에 전화를 걸고, 전화는 결함이 된다.

이관과 결함은 다른 칸이다. 다른 칸으로 나누는 순간이 사인 전이다.

사인 다음날 나누면 이미 감정이다. 감정으로 올라온 예외는 잔존 결함 목록에도, 이관 목록에도 안 들어가고 주간 이슈만 늘린다.

오픈 첫 주 장애를 검수로 되돌리면?

예외 미시험이면 잔존으로 기한을 박고, 범위 밖이면 이관으로 돌린다. 전부 긴급 결함으로 받으면 안정화가 검수가 된다.

오픈 첫 주에 예외 티켓이 쏟아지면 전쟁방이 다시 검수장이 된다. 전부 이번 계약의 미완으로 받으면 수행사는 밤을 새우고, 발주사는 사인을 취소하고 싶어 한다.

티켓을 세 갈래로 나눈다. 조서에 있던 실패 줄이 틀린 것, 조서에 없던 원래 범위, 조서에 이관으로 적힌 것.

첫 갈래만 잔존 기한을 박아 재시험한다. 둘째는 기준선과 대조해 변경으로 올린다.

셋째는 수동 절차를 운영 매뉴얼에 보강한다. 나누지 않으면 첫 주는 모든 전화가 결함이다.

모든 전화가 결함인 안정화는 종료일이 없는 검수다. 종료일이 없는 검수는 다음 사업 산정에도 예외 공수를 남기지 않는다.