PUMBILITY계산기

1. 핵심 원리 — 문항반응이론(IRT)으로 실력과 난이도를 분리

한 기록의 점수는 "플레이어의 실력"과 "채보의 난이도"가 합쳐진 결과입니다. 채보 하나만 놓고 평균 점수를 보면 이 둘을 가를 수 없습니다 — 고수만 친 곡은 어려워도 점수가 높고, 초보가 많이 친 곡은 쉬워도 점수가 낮게 나옵니다. 그러나 같은 플레이어가 여러 채보를 치고 같은 채보를 여러 플레이어가 치는 격자 구조의 데이터에서는, 모든 기록을 동시에 놓고 "이 사람은 어느 채보에서든 이만큼 잘 친다"(실력)와 "이 채보는 누가 쳐도 이만큼 점수가 깎인다"(난이도)를 함께 분리 추정할 수 있습니다. 이것이 시험 이론의 문항반응이론(IRT), 그중 라쉬(Rasch) 모형의 핵심 원리입니다: 문항의 정답률은 "누가 풀었는가"에 좌우되므로, 응시자 능력(θ)과 문항 난이도(β)를 한 모델에서 함께 추정해 응시자 집단에 의존하지 않는 난이도를 얻습니다. 이 서열표는 채보를 문항, 플레이어를 응시자, 점수를 응답으로 놓은 IRT입니다. 그 결과인 채보 난이도 β는 "누가 쳤는가"의 영향을 걷어낸 값이라, "실력자만 도전해서 점수가 높은 곡"과 "실제로 쉬운 곡"을 구분하는 1차 장치가 됩니다. 아래 2-7번은 이 원리를 실제 랭킹 데이터에 적용할 때 생기는 문제(사전 정보·절단·척도·정밀도·결측·적합도)를 IRT의 관점에서 하나씩 처리하는 부속 장치입니다.

세부 — 추정식. 모든 기록을 √(1,000,000 − 점수) = 기준점 + 플레이어 실력(θ) + 채보 난이도(β)의 2원 가법 모델로 분해합니다. 계량경제학의 이원 고정효과(two-way fixed effects) 모델과 같은 구조이며, 응답이 정오답(0/1)이 아니라 연속 점수라는 점만 고전 라쉬 모형과 다릅니다. 응답 척도는 ver 1.3부터 제곱근입니다 — 점수 손실은 "퍼펙트가 아닌 판정의 수"에 가까운 계수형 자료라, 그 분산을 평평하게 만드는 변환이 제곱근입니다. 종전 log 척도는 기록의 80%가 몰린 95만-100만 구간에서 잔차 분산이 저점수대의 7.6배로 부풀어 만점이 많은 플레이어·채보가 과잉 추정됐고, 제곱근은 이 비율이 1.1배로 고르며 난이도 추정의 재현성도 0.94 → 0.97로 올라갑니다. 다만 이 분해만으로 다 걷어지지 않는 잔여 왜곡이 있는데, 이는 6번(생존편향 보정)에서 마저 처리합니다.

2. 실력(θ) 추정 — 사전 정보(prior)의 결합

IRT에서 응시자 능력은 그 사람이 응답한 문항 수가 적을수록 불안정하게 추정되므로, 능력에 사전분포를 두는 베이즈 추정(EAP 등)을 씁니다. 같은 취지로 θ와 β를 교대 최소제곱으로 수렴할 때까지 반복 추정하되, 과적합 방지를 위한 릿지 정칙화(모든 θ·β에 대한 약한 사전분포에 해당)를 둡니다. 여기에 피닉스1 펌빌리티 TOP1000에 등재된 플레이어는 "펌프 실력은 단기간에 크게 변하지 않는다"는 전제 아래 피닉스1 실력을 사전 정보로 80% 가중 반영해, 기록이 적은 플레이어의 θ가 몇 곡의 우연에 휘둘리지 않게 합니다. θ가 안정돼야 그 사람이 친 채보의 β도 안정됩니다.

3. 데이터 절단 보정 — 잘려 나간 응답

IRT는 응답이 "있는 그대로" 관측된다고 가정하지만, 랭킹은 채보별 상위 300개까지만 공개합니다. 300위까지 가득 찬 채보는 그 아래 기록(낮은 응답)이 잘려 나가 채보가 실제보다 쉬워 보입니다(절단 편향). 이런 채보에서는 컷 근처 관측을 난이도 추정에서 제외하는 절단 보정을 적용합니다.
또한 피닉스2 시즌 초반인 지금은 대부분의 채보가 아직 300위까지 차지 않아 낮은 기록까지 전부 보입니다 — 이 기록들을 매일 누적 수집하고 있어, 나중에 300위 밖으로 밀려나는 기록도 버려지지 않고 보존됩니다. 시간이 갈수록 채보당 300개를 넘는 기록이 쌓이며 절단 편향 자체가 줄어드는 구조입니다.

4. 레벨 내 척도화 — 난이도 모수를 읽을 수 있는 눈금으로

IRT의 난이도 모수 β는 원점과 단위가 임의라(척도 부정성) 그 자체로는 읽을 수 없는 숫자입니다. 그래서 추정된 β를 같은 레벨 안에서 5~95백분위 기준으로 n.0 ~ (n+1).0 구간에 사상합니다. 최대 불렙이라도 n+1.0이 상한이며, 이 수치는 레벨 내 상대 위치라 레벨 간 비교에는 쓸 수 없습니다.

5. 신뢰 등급 — 난이도 추정의 정밀도

IRT에서 문항 난이도의 정밀도는 그 문항에 쌓인 응답 수에 비례합니다(문항 정보량). 기록이 적을수록 β의 표준오차가 크므로, 기록 수와 외부 기준(피닉스1 서열)과의 정합으로 등급을 나눕니다: 확정(기록 15개 이상·피닉스1 서열과 정합) · 관찰중(기록 30개 미만이면서 피닉스1 서열과 0.5레벨 이상 괴리 — 피닉스2 초기 미파지 또는 표본 노이즈 가능성) · 표본부족(기록 5~14개) · 유보(5개 미만, 서열 미부여). 별도로 개인차 배지는 신뢰 등급과 무관하게, 같은 레벨 그룹의 비슷한 실력대 플레이어만 놓고 봐도 점수 편차가 다른 채보보다 유의하게 큰 채보(레벨 내 산포 z ≥ 1.5)에 붙습니다 — 7번 참조.

6. 생존편향 보정 — 무작위가 아닌 결측 (ver 1.1)

IRT가 "누가 풀었는가"와 무관한 난이도를 주는 것은, 누가 어느 문항에 응답했는지가 능력과 무관하게 정해졌을 때(무시 가능한 결측)의 이야기입니다. 펌프 기록은 그렇지 않습니다 — 클리어해야만 등재되는 구조(클리어 게이트)와 "어려운 곡은 고수만 고른다"는 자기 선택 때문에, 어려운 채보일수록 응답자 자체가 고수로 편중되고 점수 분포에는 살아남은 기록만 남습니다(비무시적 결측). 1번의 분해는 "고수가 쳤다"는 사실까지는 보정하지만, "고수 아니면 아예 치지 않았다"는 정보는 담지 못합니다. ver 1.1은 두 신호로 이를 보정합니다. ① 등재자 프로파일 — 채보별 등재자들의 펌빌리티 중위값이 레벨 평균보다 높을수록 그만큼 난이도를 상향 보정합니다(보정 계수는 데이터에서 학습). ② 동일 플레이어 쌍대 비교 — 같은 사람이 같은 레벨의 여러 채보에서 받은 점수 차이만 모아 실력 요인을 소거한 내부 기준을 만들고, 표본이 충분한 채보는 이 기준을 우선합니다. 검증에서 등재자 프로파일이 실측·내부기준 격차의 약 73%를 설명했고(R²=0.73), 내부 기준은 플레이어 반분 교차에서 r=0.87의 재현성을 보였습니다.

7. 개인차 표시 — 문항 적합도 (ver 1.2)

IRT는 모든 응시자가 하나의 실력 척도 위에서 같은 순서로 문항을 어려워한다고 가정합니다. 이 가정이 깨지는 문항 — 모델이 기대한 응답과 실제 응답의 잔차가 유독 넓게 흩어지는 문항 — 을 문항 적합도(item fit) 통계로 걸러내는데, 서열표의 개인차 배지가 바로 이것입니다. 서열은 "평균적으로 얼마나 어려운가"를 말할 뿐, 같은 채보라도 사람에 따라 체감이 크게 갈리는 곡이 있기 때문입니다. 방법: 모델이 각 기록에 대해 기대 점수(θ + β)를 내므로, 기록마다 잔차(실제 − 기대)가 남습니다. 채보별로 이 잔차의 산포를 재되, 실력 차이가 산포로 둔갑하지 않도록 같은 레벨 그룹에서 실력이 중앙 50%에 드는 플레이어의 기록만 씁니다. 산포는 표준편차 하나에 기대지 않고 IQR·MAD·표준편차 세 지표(70%)에 꼬리 비중(기대치에서 전역 MAD의 2배 넘게 벗어난 기록의 비율, 30%)을 더해 이상치에 강건하게 합산합니다. 여기서 한 가지 함정을 걷어냅니다 — 잔차는 변환 척도(√(100만 − 점수)) 위의 값이라 채보의 점수대에 따라 산포의 규모가 달라지고, 반대로 점수 공간으로 재면 어려운 곡이 자연히 넓게 나옵니다. 그래서 산포 지표를 채보의 점수대(실력대 기록의 중위 점수)에 대한 전역 추세로 회귀해 그 잔차만 씁니다 — 즉 "같은 점수대의 다른 채보보다 얼마나 더 흩어졌는가"입니다. 실력대 기록의 20% 이상이 999,000점을 넘는 천장 채보는 산포 자체를 잴 수 없어 판정에서 제외합니다. 이 값을 레벨 그룹 안에서 표준화(z)해, z ≥ 1.5 — 같은 레벨 채보 평균보다 1.5표준편차 이상 산포가 큰 채보 — 에 배지를 붙입니다(전체의 약 7%). 서열 등급 자체는 바꾸지 않으며, "이 곡은 서열 위치보다 본인 적성이 더 크게 작용한다"는 신호로 읽으면 됩니다. 검증: 에브리바디 갓 투 노우 S21·트위스트 오브 페이트 D21 등 커뮤니티에서 개인차로 널리 알려진 채보가 배지 기준을 크게 넘겨 상위에 올랐습니다. 한편 가고일 S22·가고일 - FULL SONG - S23 등 가고일 계열은 본래 개인차 곡이 아니지만, GOD OF CONTROL 칭호 도전자들이 의도적으로 낮은 점수를 내는 기록이 섞여 통계상으로는 개인차(최상위권)로 분류됩니다 — 배지는 "점수가 갈린다"는 사실만 말하고 그 이유까지는 가리지 못하므로, 이런 사례가 있음을 감안해 읽어 주세요.

8. 종특 표시 — 실력 역전율 (ver 1.4)

개인차가 "같은 실력대 안에서 점수가 얼마나 갈리는가"라면, 종특은 "실력 순서가 뒤집히는가"를 봅니다. 떨기·틀기·변속처럼 특정 스킬에 크게 기대는 채보는 펌빌리티가 한참 높은 플레이어가 밀리고 그 스킬이 있는 플레이어가 역전하는데, 이런 채보는 같은 실력대 안의 산포만 보면 평범해 보일 수 있어(두 지표의 순위 상관 0.2) 별도 지표를 둡니다. 방법: 같은 채보를 친 두 플레이어 쌍 중 실력 θ 차이가 큰 쌍(2.0 이상)만 골라, 약한 쪽이 더 높은 랭크 밴드(SSS+·SSS·SS+…)인 비율(등급 역전율)을 잽니다. 펌빌리티 값은 밴드로 정해지므로 같은 밴드 안의 점수 차는 역전으로 치지 않습니다 — 990,000+ 기록이 대부분인 쉬운 채보에서 997k 대 994k 같은 차이가 역전으로 잡히는 것을 막기 위해서이며, 밴드 경계를 1점 차로 넘는 쌍을 걸러내려 점수 차 1,000점 미만도 제외합니다. 등재 60명·유효 쌍 200개 이상이고 천장(999,000+ 20% 이상)이 아닌 채보만 판정하며, 레벨 평균은 14-17%입니다. 절대 기준 20% 이상이거나, 판정 채보가 30개 이상인 레벨에서 상위 10% 안에 들면서 레벨 중앙값의 1.25배 이상이면 배지를 붙입니다. 고레벨(S23 이상)에서는 약한 플레이어가 역전할 여지가 구조적으로 적어 종특이 드물고, 같은 스킬 의존이 같은 실력대 안의 양극화 = 개인차로 나타납니다. 매일 재산출되므로 등재 기록이 쌓이면 판정이 바뀔 수 있습니다.

버전 · ver 1.0 — 2원 고정효과(IRT) 모델 공개 · ver 1.1 — 생존편향 보정(등재자 프로파일·쌍대 비교) · ver 1.2 — 개인차 표시 추가 · ver 1.3 — 응답 척도를 log에서 제곱근으로 교체(만점 구간의 분산 안정화, 등급 약 19% 한 단계 이동) · ver 1.4 — 종특 표시 추가(실력 역전율)

버전별 개선 요약

🚪 ver 1.1 — 생존편향 보정: 기록은 클리어해야만 등재되고, 어려운 곡일수록 애초에 고수만 도전합니다. 그래서 점수 분포만 보면 평균적인 유저가 의도적으로 피하는 "기피곡"이 실제보다 물렙으로 평가되는 왜곡이 생깁니다. ver 1.1부터는 채보별 기록 등재자들의 펌빌리티 분포를 함께 분석해 이 왜곡을 걷어냅니다 — 기록 등재자가 온통 고수뿐이라면 그 자체를 "진입장벽이 높다"는 단서로 반영합니다.
🎯 ver 1.2 — 개인차 표시: 서열은 "평균적으로 얼마나 어려운가"일 뿐, 같은 채보도 사람마다 체감이 크게 갈리는 곡이 있습니다. ver 1.2부터는 채보별로 기대 점수 대비 잔차의 산포를 재되, 실력 차이가 산포로 둔갑하지 않도록 같은 레벨의 비슷한 실력대 플레이어만 놓고 비교합니다. 점수대에 따른 산포 차이를 보정한 뒤, 같은 레벨 다른 채보보다 통계적으로 유의하게 산포가 큰 채보(레벨 내 z ≥ 1.5)에는 개인차 배지를 붙입니다 — 서열 위치보다 본인 적성이 더 크게 작용하는 곡이라는 뜻이며, 등급 자체는 바꾸지 않습니다.
📐 ver 1.3 — 응답 척도 보정: 기록의 80%가 95만-100만에 몰려 있는데, 종전 log 척도는 이 구간에서 몇 천 점 차이를 크게 부풀렸습니다. 점수 손실을 "퍼펙트가 아닌 판정의 수"로 보고 제곱근 척도로 바꿔 전 점수대의 분산을 고르게 했습니다 — 모델 구조는 그대로, 척도만 더 정밀해져 등급의 약 19%가 한 단계 이동했습니다.
🏷️ ver 1.4 — 종특 표시: 개인차가 "같은 실력대 안에서 얼마나 갈리는가"라면, 종특은 "실력 순서가 뒤집히는가"를 봅니다. 실력 차가 큰 플레이어 쌍만 골라 약한 쪽이 더 높은 랭크 밴드인 비율(등급 역전율)을 재서, 20% 이상이거나 레벨 상위 10%면 배지를 붙입니다. 같은 밴드 안의 점수 차는 펌빌리티에 영향이 없어 역전으로 치지 않고(점수 차 1,000점 미만도 제외), 990,000+ 기록이 대부분인 쉬운 채보가 변별력 부족으로 잡히는 것을 막습니다. 개인차와는 거의 별개의 지표(순위 상관 0.2)라 둘을 병기하며, 고레벨에서는 약한 플레이어가 역전할 여지 자체가 적어 같은 스킬 의존이 개인차 쪽으로 드러납니다. 등급은 바꾸지 않습니다.