Showing Posts From

스펙이에요에

기획자의 '이건 스펙이에요?'에 대한 답

기획자의 '이건 스펙이에요?'에 대한 답

오전 10시, 버그인지 스펙인지 출근했다. 빌드 받았다. 설치 중. 어제 개발팀에서 던전 드랍률 수정했다고 했다. 기획서상 에픽 아이템 드랍 확률 3%. 테스트해보라고 전달받았다. 점심 먹기 전까지 200번 돌았다. 에픽 드랍 0개. 버그 리포트 썼다. "에픽 아이템 드랍 안 됨, 200회 테스트 결과 0%" 기획자한테 메신저 왔다. "이건 스펙이에요?" 3년 동안 본 이 질문. 천 번은 넘게 봤다.스펙이란 무엇인가 기획서를 다시 봤다. 3%라고 명확하게 적혀 있다. "스펙은 3%입니다." "아 그럼 버그네요. 개발팀 넘겨주세요." 이게 정상적인 대화다. 근데 가끔은 이렇게 온다. "원래 그렇게 되게 하려고 했는데, 기획서 수정 안 됐나보네요. 스펙이에요." 200번 돌린 내 4시간이 증발했다. 기획서는 2주 전 버전이었다. 수정본은 개발팀 내부 공유만 되고 QA팀한테는 안 왔다. 우리는 구버전 기획서로 테스트하고 있었던 거다. "기획서 최신본 어디 있어요?" "아 제 로컬에 있어요. 올려드릴게요." 올라온 적 없다. 일주일 뒤에 다시 물어봤다. 그제야 올라왔다.현장에서 가장 먼저 아는 사람 CBT 시작 전날. 밤 11시. 신규 보스 테스트 중이었다. 보스 체력이 너무 낮았다. 3인 파티로 30초 만에 잡았다. 기획서상 예상 클리어 타임은 5분. 리포트 올렸다. "보스 체력 비정상적으로 낮음, 30초 컷 가능" 기획자 답변: "스펙이에요. 라이트 유저 배려입니다." 새벽 2시. 잠 못 잔다. 이상하다. 라이트 유저 배려치고는 너무 쉽다. 보스 패턴을 봤다. 3페이즈 스킬이 나와야 하는데 1페이즈에서 끝났다. 체력이 낮아서 페이즈 전환도 안 되는 거였다. 다시 리포트 올렸다. "보스 패턴 미출현, 체력 부족으로 페이즈 전환 불가" 새벽 4시에 답 왔다. "아 이거 버그네요. 수정하겠습니다." CBT는 다음날 오전 10시였다. 6시간 남았다. 수정 빌드는 9시에 왔다. 테스트할 시간 1시간. 제대로 확인 못 했다. CBT 시작했다. 유저들 보스 잡았다. 3페이즈 패턴 안 나온다는 피드백 쏟아졌다. 결국 긴급 점검. 5시간 걸렸다. QA가 미리 말했다. 근데 '스펙이에요'라는 답변 때문에 묻혔다. 현장에서 가장 먼저 아는 사람은 QA다. 근데 가장 나중에 믿는 사람도 QA다.스펙과 현실 사이 밸런스 테스트가 제일 애매하다. 기획서에는 "적절한 난이도"라고만 적혀 있다. 구체적 수치 없다. 100번 돌았다. 클리어율 20%. 너무 어렵다고 리포트 올렸다. "스펙이에요. 하드코어 컨텐츠입니다." 런칭 후. 유저 클리어율 5%. 게시판에 욕 쏟아진다. "개발자들 테스트 안 해봤냐" 기획자가 말한다. "QA 테스트에서는 괜찮았는데요." 테스트에서는 20%였다. 보고했다. 스펙이라고 했다. 이제 와서 QA 탓이다. "왜 미리 안 알려줬냐" 알려줬다. 스펙이라고 했다. 확률의 지옥 확률 테스트가 제일 힘들다. 가챠 확률 검증. 기획서상 SSR 3%. 1000회 뽑기 테스트 했다. 결과 2.8%. 리포트: "확률 오차 범위 확인 필요" 답변: "스펙이에요. 오차범위입니다." 2000회 더 돌렸다. 총 3000회. 결과 2.6%. 리포트: "3000회 테스트 결과 지속적으로 낮음" 답변: "스펙이에요. 표본이 적습니다." 표본이 적다고? 3000회가? 10000회 돌렸다. 결과 2.5%. 리포트: "10000회 테스트, 확률 명확히 낮음" 답변: "확인해보겠습니다." 결과. 코드 버그였다. 확률 계산식에서 소수점 반올림 오류. 실제 확률 2.5%로 작동 중이었다. 내가 10000번 뽑는 동안 2주 걸렸다. 엑셀에 하나하나 기록했다. 회사에서 3일, 집에서 퇴근 후 매일 2시간씩. 기획자는 "스펙이에요" 세 번 말하는데 30초 걸렸다. 치트 툴로 보는 진실 극한 테스트할 때는 치트 쓴다. 레벨 999, 풀 장비, 모든 스킬 만렙. 이 상태로 콘텐츠 깨본다. 어제 신규 던전 테스트했다. 치트로 깼다. 10초 컷. "보스 밸런스 확인 필요, 최종 스펙으로 10초 클리어 가능" 기획자: "스펙이에요. 그 정도 스펙이면 쉽게 깨야죠." 그 '최종 스펙' 만드는 데 6개월 걸린다. 과금 500만원 이상. 근데 보스가 10초 만에 죽는다? "유저들 6개월 키워서 10초 컷 나면 허무해할 것 같습니다." "스펙이에요." 런칭 3개월 후. 고인물 유저가 풀 스펙 만들었다. 던전 10초 컷 영상 올렸다. 커뮤니티 반응. "이게 무슨 엔드 컨텐츠냐", "6개월 키워서 이거?" 긴급 밸런스 패치. 보스 체력 3배 증가. 유저들 또 화났다. "패치 예고도 없이 갑자기 바꾸냐" QA는 3개월 전에 말했다. 로그가 말해준다 로그 분석은 거짓말 안 한다. 기획자가 신규 스킬 밸런스 괜찮다고 했다. 기획서상 DPS 다른 스킬과 비슷하다고. 실제 플레이해봤다. 이 스킬만 쓰면 다른 스킬 필요 없다. "스킬 A가 너무 강함, 다른 스킬 사용 의미 없음" "스펙이에요. 계산상 밸런스 맞습니다." 로그 뽑았다. 내부 테스트 서버, 100명 플레이 데이터. 스킬 사용 비율: 스킬 A 78%, 나머지 스킬들 합쳐서 22%. "로그상 스킬 A 사용률 78%" "..." "밸런스 재검토 필요합니다." "수정하겠습니다." 로그는 정직하다. 근데 로그 뽑는 거 귀찮다. 하루 걸린다. 기획자는 로그 안 본다. QA가 뽑아서 보여줘야 본다. 왜 QA가 기획자 설득 자료까지 만들어야 하나. 회의 시간의 공방 주간 회의. QA 리포트 공유 시간. "이번 주 크리티컬 버그 12건, 밸런스 이슈 8건입니다." 기획자가 하나씩 본다. "이건 스펙이에요." "이것도 스펙이에요." "이건 의도된 겁니다." 8건 중 6건이 '스펙'으로 분류됐다. 남은 2건만 '검토'로 넘어갔다. 회의 끝나고 팀장님이 말했다. "너무 쉽게 스펙이라고 하는 거 아닌가요?" 기획팀 리더가 답했다. "QA가 기획 의도를 모르고 리포트하는 것 같아요." 기획 의도? 기획서에 없는 의도를 어떻게 아나. 다음 회의. 리포트마다 기획서 인용 추가했다. "기획서 버전 1.3, 23페이지, '보스 체력 500만' 명시. 현재 빌드 300만." "아, 기획서가 업데이트 안 됐네요. 400만으로 바뀌었어요." "기획서 최신화 부탁드립니다." "네, 올려놓을게요." 다음 주 회의. 기획서 여전히 1.3 버전. "기획서 업데이트 안 됐습니다." "아, 깜빡했네요. 이번 주에 꼭 올릴게요." 다다음 주. 여전히 1.3 버전. QA는 구버전 기획서로 테스트한다. 기획자는 최신 의도로 개발한다. 중간에서 어긋난다. 누구 책임인가? QA 리포트 신뢰도가 떨어진다. 재현율 100%의 무게 버그 찾았다. 재현율 100%. 매번 발생. "특정 스킬 사용 후 캐릭터 조작 불가, 재현율 100%" 영상 첨부했다. 10번 반복 영상. 기획자: "스펙이에요. 스킬 후딜레이입니다." 후딜레이? 5초 동안 아무것도 못 한다. 그 사이에 맞아 죽는다. "5초 후딜레이는 너무 길어서 사용성 없습니다." "스펙이에요. 강력한 스킬이라 패널티입니다." 런칭 후. 그 스킬 사용률 0.1%. 아무도 안 쓴다. 2개월 뒤 패치. 후딜레이 5초 → 1.5초로 감소. 유저 반응. "이제야 쓸만하네", "처음부터 이렇게 했어야지" QA는 3개월 전에 말했다. 재현율 100%. 영상 증거 첨부. 답변은 "스펙이에요"였다. 런칭 후의 책임 런칭 D-7. 최종 빌드 테스트. 30개 리포트 올렸다. 크리티컬 5개, 메이저 15개, 마이너 10개. 기획팀 회신: 크리티컬 2개만 수정, 나머지는 런칭 후 확인. "런칭 전에 수정 안 하나요?" "일정이 촉박합니다. 런칭 후 모니터링하겠습니다." 런칭했다. 3일 후. 리포트 올렸던 버그들 유저 제보로 쏟아진다. 똑같은 내용. 커뮤니티: "테스트 안 하고 런칭했나?" 회사 공지: "빠른 수정 진행하겠습니다. QA 프로세스 개선하겠습니다." QA 프로세스 개선? QA는 다 찾아서 올렸다. 수정 안 한 건 일정 때문이었다. 근데 책임은 QA로 온다. 팀장님이 말했다. "리포트를 더 강하게 올렸어야 했어." 더 강하게? 크리티컬로 분류했다. 재현율 100% 명시했다. 영상 첨부했다. 뭘 더 하란 건가. 스펙이라는 방패 깨달았다. "스펙이에요"는 편하다. 수정 안 해도 된다. 개발 리소스 안 쓴다. 일정 안 밀린다. QA 리포트를 '스펙'으로 분류하면 해결된다. 리포트가 사라진다. 근데 버그는 안 사라진다. 유저가 발견한다. 그때 가서 급하게 고친다. 긴급 점검한다. 유저는 화낸다. 왜 미리 안 고쳤나? QA가 테스트 안 했나? QA는 했다. 리포트 올렸다. 답은 "스펙이에요"였다. 스펙은 방패다. 당장의 편함을 위한 방패. 근데 그 방패 뒤에서 버그는 자란다. 런칭 후에 폭발한다. QA는 미래의 폭탄을 보는 사람이다. 근데 아무도 안 믿는다. "스펙이에요"라는 말로 묻힌다. 신뢰를 잃는 순간 3년 차가 되니 달라진 게 있다. 리포트 올리기 전에 고민한다. '이거 스펙이라고 할까?' 버그 같은데 기획서에 애매하게 적혀 있으면 안 올린다. 스펙이라는 답변 듣기 싫어서. 확실한 버그만 올린다. 재현율 100%, 명백한 오류만. 근데 그렇게 하니까 놓치는 게 생긴다. '애매한 버그'들. 스펙인지 버그인지 애매한 것들. 유저 경험을 해치는 것들. 예전에는 다 올렸다. 지금은 거른다. QA가 자기 검열한다. 이게 정상인가. 리포트 개수도 줄었다. 예전에 주간 50개 올렸으면 지금은 20개. 팀장님이 좋아한다. "리포트 퀄리티가 올라갔네." 퀄리티가 오른 게 아니다. 포기한 거다. '스펙이에요'라는 답변을 안 받으려고 미리 포기한다. QA의 역할이 뭔가. 버그를 찾는 건가, 기획자 기분 안 상하게 리포트하는 건가. 유저의 목소리 런칭 후 커뮤니티 모니터링이 일이다. 유저들이 올린 버그 제보 본다. 익숙한 내용들. "이거 내가 2달 전에 리포트 올렸는데." 답변 확인한다. "스펙이에요." 유저는 모른다. QA가 미리 찾았다는 걸. 스펙이라고 묻혔다는 걸. 유저 입장에서는 '테스트 안 한 회사'다. 억울하다. 테스트했다. 100번도 넘게 했다. 리포트 올렸다. 근데 유저한테 변명할 수 없다. "저희는 찾았는데 기획팀이 스펙이라고 했어요"라고 말 못 한다. QA는 회사 사람이다. 회사를 대변한다. 변명 못 한다. 속으로만 삭인다. '나는 했어. 내 잘못 아니야.' 근데 결과적으로는 QA 책임이다. 버그 못 잡았다는 평가 받는다. 기획서의 부재 제일 힘든 건 기획서가 없을 때다. "이 기능 테스트해주세요." "기획서 어디 있어요?" "아직 안 썼어요. 대충 이런 느낌이에요." 대충? 뭘 테스트하란 건가. 플레이해본다. 이상한 점 찾는다. 리포트 올린다. "이건 의도한 거예요?" "아뇨, 버그네요." "이건요?" "그건 원래 그래야 해요." 기준이 뭔가. 기획서가 없으니 기준도 없다. 기획자 머릿속에만 있다. 매번 물어봐야 안다. 물어보는 게 일이다. 테스트가 아니라. "이거 의도한 거예요?" 하루에 20번 묻는다. 절반은 버그다. 절반은 스펙이다. 물어보기 전까지는 모른다. QA가 기획자 되는 중이다. 기획 의도를 유추하고, 테스트하고, 확인받는다. 역할이 뭔가 헷갈린다. 숫자로만 말한다 요즘은 숫자로 말한다. 감이 아니라. "이 던전 너무 어려운 것 같아요" → 안 통한다. "100회 테스트, 클리어율 15%" → 통한다. "이 스킬 밸런스 이상해요" → 안 통한다. "200회 테스트, 사용률 82%, 다른 스킬 대비 DPS 300% 높음" → 통한다. 감정은 안 통한다. 데이터만 통한다. 그래서 전부 기록한다. 엑셀 장인 됐다. 던전 클리어 시간, 사망 횟수, 스킬 사용 빈도, 아이템 드랍률. 전부 숫자로 만든다. 그래야 "스펙이에요"를 반박한다. 근데 숫자로 증명해도 안 통할 때 있다. "표본이 적어요", "운이 나빴어요", "테스트 방법이 잘못됐어요" 그럼 또 테스트한다. 표본 늘린다. 방법 바꾼다. QA는 증명하는 사람이다. 버그를 찾는 게 아니라 버그를 증명한다. 증명 못 하면 스펙이 된다. 퇴근 후의 테스트 퇴근했다. 집 왔다. 게임 켰다. 회사에서 못 다 한 테스트 한다. 야근 수당 안 나온다. 그냥 한다. 내일 회의 있다. 데이터 더 필요하다. 200회로는 부족하다. 500회 채워야 한다. 던전 돈다. TV 보면서 반복한다. 기계적으로 플레이한다. 새벽 1시. 500회 채웠다. 데이터 정리한다. 엑셀 저장한다. 자려고 누웠다. 같은 BGM이 머릿속에 맴돈다. 던전 음악. 300번 들었다. 좋아하는 게임이었다. 입사 전에는. 지금은 일이다. 숫자고 데이터다. 재미는 사라졌다. 게임을 좋아해서 이 일 시작했다. 지금은 게임이 싫다. 근데 그만둘 수도 없다. 이직하려면 경력 필요하다. 3년은 채워야 한다. 6개월 남았다. 버틴다. 존중받지 못하는 전문성 QA도 전문직이다. 버그 찾는 능력, 재현하는 능력, 데이터 분석, 로그 해석. 3년 하니까 눈이 생긴다. 게임 5분 플레이하면 뭐가 이상한지 보인다. 확률 계산 보면 작동 방식 짐작 간다. 로그 패턴 보면 버그 원인 추론된다. 근데 인정 안 받는다. "QA는 그냥 플레이만 하는 거 아니에요?" "게임하면서 돈 버네, 부럽다." 전문성 없는 취급 받는다. 누구나 할 수 있는 일처럼. 개발자 연봉 6천. QA 연봉 3400. 절반도 안 된다. 같은 회사, 같은 게임, 같이 만든다. 근데 가치는 절반. 기획자가 "스펙이에요"라고 하면 끝이다. QA 의견은 참고사항. 최종 결정권 없다. 판단은 기획이 한다. QA는 보조. 전문성은 인정받을 때 의미 있다. 안 받으면 그냥 허드렛일이다.