- 세금, 보조금, 입학, 스포츠, 경매, 시험, 논문 심사처럼 연속적이어야 할 결과가 특정 임계값에서 갑자기 바뀌면 사람들은 그 경계에 맞춰 행동하고 데이터도 비정상적으로 몰릴 수 있음
- 미국 ACA 건강보험 보조금은 개인 소득 $48,560 같은 hard cutoff 때문에 소득이 조금 늘어도 보험 비용이 연 약 $7,200 증가할 수 있어, 일부 개인에게 소득을 줄일 유인을 만듦
- 큐 드롭, 링크 집계기 노출, Pell Grant 기준, p-value 0.05, 폴란드 고교 졸업시험 30점, 약물 기소량 280g처럼 경계선은 행동 변화와 데이터 뭉침을 동시에 만들 수 있음
- 러시아 선거의 둥근 숫자 스파이크, 일본 조달 경매의 반복 낙찰 패턴, NYC 음식점 등급 경계, 중고차 경매의 $10k 단위 가격, 마라톤 완주 시간의 30분 단위 몰림은 히스토그램과 산점도에서 의심 지점으로 드러남
- 날카로운 기준 대신 단계적 축소나 확률적 완화 기법을 쓰면 일부 불연속성을 줄일 수 있으며, 실무에서는 산점도·히스토그램·CDF 같은 기본 시각화가 원인 탐색에 유용함
임계값이 행동을 바꾸는 방식
- 불연속성은 입력이 조금 변했을 뿐인데 결과가 크게 바뀌는 구간에서 나타남
- 개인 금융 포럼에서는 연말에 일부 사람들이 손실을 만들 방법을 찾았고, 한 가지 제안은 만기 때 가치가 없어질 가능성이 큰 풋옵션을 사는 방식이었음
- 미국 ACA 건강보험 보조금에는 개인 기준 $48,560의 소득 상한이 있으며, 가족 규모가 클수록 상한은 높아짐
- 4인 가족 기준 예시는 $100,400
- 나이, 지역, 가구 규모, 플랜 종류에 따라 세부 효과는 달라짐
- 한 개인이 경계선을 넘으면 보험 비용이 대략 연 $7,200 증가하는 상황이 흔하지 않게 발생할 수 있음
- 예를 들어 ACA 보험을 사는 개인이 $55k를 벌 예정이라면, 소득을 $6,440 줄여 $48,560 아래로 내려가는 편이 $55k를 그대로 버는 것보다 나을 수 있음
세금과 보조금의 날카로운 경계
- 미국 세금 정책에는 소득 증가를 억제하거나, 일부 경우 소득 감소를 유인하는 불연속성이 여럿 있음
- 예시로는 TANF, Medicaid, CHIP의 무료 보장 및 저비용 보장 소득 한도가 있음
- TANF와 Medicaid 한도는 일반적으로 저소득으로 여겨지는 범위에 걸침
- CHIP 한도는 일반적으로 중산층으로 여겨지는 범위에 걸침
- Learned Hand의 인용처럼 법이 요구하는 것보다 세금을 더 많이 낼 공적 의무는 없다는 관점에서는, 가처분소득을 늘리기 위한 합법적 세금 최소화가 개인 차원에서 정당화될 수 있음
- 하지만 세금·보조금 체계가 사람들이 손실을 내도록 유도하고, 풋옵션 매수를 통해 평균적으로 더 부유한 옵션 트레이더에게 돈을 이전하게 만들 수 있다면 좋은 설계라고 보기 어려움
- 단순한 개선책은 날카로운 문턱 대신 단계적 축소를 적용하는 것임
- 일부 보조금에는 이미 단계적 축소가 쓰임
- 이 방식도 문제가 있을 수 있지만, 보통 sharp discontinuity보다 덜 문제적임
기술 시스템의 큐와 확률적 완화
- 순진한 큐는 가득 차면 새 항목을 버리고, 가득 차지 않으면 버리지 않는 불연속적 동작을 가짐
- 네트워킹에서는 이런 큐가 bursty workload에 불리할 수 있음
- 전체 대역폭 사용량은 낮지만 순간적으로 몰리는 워크로드가 더 많은 드롭을 겪을 수 있음
- 이것이 공정한지 여부는 목표에 따라 달라질 수 있음
- random early drop과 변형 기법은 큐가 얼마나 찼는지와 다른 요소에 따라 들어오는 항목을 확률적으로 드롭함
- 드롭 확률의 불연속성을 완화함
- 큐가 꽉 찼는지 여부 하나로 결과가 갈리는 문제를 줄임
- 링크 집계기의 투표와 프런트페이지 노출도 비슷한 구조를 가짐
- N표를 받으면 프런트페이지에 올라가고, N-1표면 노출이 급감하는 트래픽 불연속성이 생김
- 큐에서 항목이 드롭되는 문제와 비슷하게 볼 수 있음
입학, 논문, 시험에서 보이는 경계선 효과
- Pell Grant는 대학이 저소득층 학생을 얼마나 돕거나 입학시키는지의 대리 지표로 쓰이기 시작함
- 그 결과 Pell Grant 기준 아래 학생은 입학 가능성이 높아지고, 기준 위 학생은 입학 가능성이 크게 낮아지는 효과가 나타남
- Pell Grant를 받지 못하는 집단 안에서는 소득이 낮은 학생이 가장 크게 불리해짐
- Pell Grant를 받는 집단 안에서는 소득이 높은 학생이 가장 크게 이익을 봄
- 부모도 세금 소득을 줄이는 사람들과 유사하게 행동할 수 있음
- Roth IRA 대신 traditional IRA에 돈을 넣을 수 있음
- IRA 한도에 도달했다면 옵션 손실을 만들어 Pell Grant 기준 아래로 내려가려 할 수 있음
- 심리학 논문에서는 p-value가 보통 0.05 아래여야 한다는 유인이 있고, Masicampo et al.은 세 심리학 저널 논문의 p-value에서 0.05 바로 아래가 비정상적으로 많은 현상을 찾음
- 결과를 조정해 p = 0.05를 만들었을 가능성
- 저널이 p = 0.055보다 p = 0.05 논문을 훨씬 더 받아들였을 가능성
- 연구자가 p = 0.055 결과보다 p = 0.05 결과를 더 제출했을 가능성과 일관됨
- 폴란드어 고교 졸업시험 점수 히스토그램에서는 30점 또는 그 바로 위에 점수가 몰리고 23~29점은 비정상적으로 적음
- 30% 미만이면 시험 불합격임
- 폴란드어처럼 작문과 열린 질문이 있는 과목에서는 채점자가 빠진 점수를 찾아줄 여지가 있음
- 수학 시험 점수에서는 2010~2013년 검토 범위에서 비정상적 불연속성이 보이지 않음
선거, 사법, 경매, 검사 점수의 의심스러운 데이터
- 러시아 선거구별 투표율과 결과 히스토그램에는 2004년 무렵부터 95% 같은 둥근 숫자에서 스파이크가 보임
- 조작된 결과를 통한 선거 부정 가능성을 가리키며, 일부 조작자가 매끄러운 분포를 만들지 않았다는 신호로 볼 수 있음
- 부정 숫자 탐지와 관련해 Benford's law도 참고할 수 있음
- Fair Sentencing Act 2010은 10년 의무 최소형이 적용되는 cocaine possession 기준을 50g에서 280g으로 올림
- 2010년 전에는 기소량 분포가 비교적 매끄러웠음
- 2010년 후에는 280g에서 날카로운 불연속성이 나타남
- 하단 그래프는 2013년 증거 기준 변화 뒤 스파이크가 줄어든 듯한 모습을 보임
- 일본 정부 조달 경매 분석에서는 1라운드 최저가 제출자가 2라운드에서도 최저가를 제출한 경우가 약 97% 였음
- 2위 입찰자가 그대로 2위를 유지할 확률은 26%
- 1위와 2위 입찰자의 라운드 간 bid 변화에는 0 근처에서 날카로운 불연속성이 나타남
- 2위와 3위 입찰자의 변화 분포는 대체로 대칭적임
- NYC 음식점 검사 점수에는 A와 B를 가르는 13점과 14점 사이에서 날카로운 불연속성이 보임
- 일부 지역에서는 B와 C를 가르는 27점과 28점 사이에도 불연속성이 보임
- 위반 항목 산정에 검사관 재량이 있으며, 일부 음식점이 더 높은 등급으로 밀려 올라가는 사례가 있는 것으로 보임
가격, 스포츠, 마라톤에서 나타나는 둥근 숫자와 분류 기준
- 미국 자동차 경매 판매 가격과 경매에 나온 차량 수에는 $10k 경계에서 불연속성이 있음
- 모델 연식 같은 여러 요소를 조정한 그래프에서도 보임
- 원자료에서도 같은 불연속성이 보임
- UEFA Youth League 축구 선수 데이터에서는 출생 월이 U19 클럽에 들어갈 확률과 강하게 관련됨
- 그래프는 한 해 안에서 출생 시점을 0~1로 정규화한 값을 사용함
- 왼쪽 히스토그램은 연중 어느 시기에 태어났는지가 U19 수준 클럽 진입 확률과 강하게 연결됨을 보임
- 오른쪽 그래프는 경기 출전 시간을 가치의 대리 지표로 삼았을 때 출생 시점과 실제 기여의 상관이 약하다고 봄
- 이 현상은 여러 스포츠에서 연구된 바 있으며, 일반적으로 청소년 스포츠의 연 단위 나이 분류에서 비롯된다고 여겨짐
- 같은 연도 안에서는 더 일찍 태어난 아이가 더 강하고 빠를 가능성이 있음
- 그 결과 연중 나이가 많은 아이들이 경쟁에서 앞서고, 이후 참여 수준도 높아질 수 있음
- 마라톤 완주 시간 9,789,093건의 히스토그램에는 매 30분과 :10, :15, :20 같은 둥근 시간에서 눈에 띄는 불연속성이 있음
- 각 레이스 내부 시간을 분석하면, 사람들이 둥근 시간에 가까울 때 막판에 속도를 올리거나 평소보다 덜 느려지는 현상이 일부 원인임
- 온라인에서 흔한 pace runner 설명은 해당 논문의 section 4.4에서 성립하기 어렵다고 다뤄짐
불연속성을 찾고 줄이는 실무 도구
- 불연속성을 의심하고 원인을 찾는 일은 여러 문제에서 유용할 수 있음
- 기본 시각화 도구가 자주 효과적임
- 시간성을 더하는 시각화도 도움이 될 수 있음
- 예시로 flamescope가 있음
- 큐처럼 일부 상황에서는 불연속성을 완화해야 하며, 다른 임계값 문제에서도 비슷한 동작이 나타남
- 랜덤화는 임계값의 불연속성을 완화하는 도구가 될 수 있음
- ML에서 정밀도를 낮출 때 quantization error를 줄이는 데에도 쓰일 수 있음