1P by GN⁺ | ★ favorite | 댓글 1개
  • 박스 플롯은 분포를 요약하려는 고전적 차트지만, 읽는 법을 설명하는 데 몇 분이 걸려 학습 비용 대비 효과가 낮음
  • 수천 명의 워크숍 참가자 중 박스 플롯을 이미 읽을 줄 아는 비율은 보통 20% 미만이었고, 산점도나 히스토그램보다도 이해 부담이 컸음
  • 전통적 설계는 박스와 수염, 중앙값 선, 구간 길이가 실제 데이터 의미와 어긋나 시각적 오해를 만들기 쉬움
  • 사분위수 같은 추상 개념을 요구하면서도 빈틈, 다봉 분포, 그룹별 값 개수 등을 숨기고 여러 분포를 종 모양처럼 보이게 할 수 있음
  • 스트립 플롯, 지터 스트립 플롯, 분포 히트맵은 더 빠르게 이해되고 분포 모양을 직접 보여줘 일상적 의사결정에 더 실용적일 수 있음

박스 플롯을 거의 쓰지 않게 된 이유

  • 박스 플롯은 읽는 법을 설명하는 데 4분 이상이 걸릴 수 있으며, 그만한 학습 비용을 정당화하려면 단순한 차트로는 전달할 수 없는 큰 인사이트가 필요함
  • 실제로는 박스 플롯으로 전달하려는 대부분의 인사이트를 더 익숙하고 단순한 차트로도 전달할 수 있음
  • 분포를 보여주려는 목적과 달리, 청중은 데이터를 보기 전에 여러 단계의 해석 규칙부터 통과해야 함

워크숍에서 드러난 이해 장벽

  • 수천 명의 워크숍 참가자는 대체로 평균보다 높은 graphicacy 수준을 갖고 있었지만, 박스 플롯을 이미 읽을 줄 아는 비율은 보통 20% 미만이었음
  • 박스 플롯은 다른 기본 차트 유형보다 이해하기 어려웠고, 산점도나 히스토그램 같은 복잡한 차트보다도 더 큰 부담을 줌
  • 청중이 박스 플롯에 익숙해도 스트립 플롯이나 분포 히트맵보다 해석에 더 많은 인지적 노력이 필요하고 오해 가능성도 큼

전통적 설계가 직관과 어긋나는 지점

  • 전통적 박스 플롯은 Mary Spear가 1952년에 처음 제안하고 John Tukey가 1969년에 다듬은 형태임
  • 시각 설계의 주요 문제는 세 가지임
    • 두꺼운 박스가 가는 수염보다 더 많은 값이나 더 큰 중요성을 나타내는 것처럼 보이지만, 네 구간은 모두 같은 수의 값을 포함함
    • 가운데 박스는 중앙값 선으로 나뉜 하나의 덩어리처럼 보여 전체가 세 부분처럼 보이지만, 실제로는 네 개의 사분위 구간임
    • 사람은 긴 형태를 더 큰 수량으로 인식하지만, 박스 플롯에서 긴 구간은 더 많은 값을 뜻하지 않음
  • 짧은 구간은 실제로 더 높은 값의 밀도를 나타내지만, 눈에는 더 적은 양처럼 보여 시각적 형태와 데이터 의미가 충돌함
  • 대안적 설계안은 짧은 구간이 높은 값 집중을 뜻한다는 점을 더 분명히 하고, 가운데 두 구간에 불필요한 강조를 주지 않으며, 네 개의 형태처럼 보이게 만들 수 있음
  • 다만 이런 설계안도 대부분 상황에서는 권장하기 어렵고, 더 단순한 분포 차트가 나은 선택일 수 있음

사분위수가 만드는 학습 비용

  • 박스 플롯을 이해하려면 정렬된 값 집합을 같은 개수의 값이 들어가도록 범위로 나누는 분위수와 특히 사분위수 개념을 알아야 함
  • 많은 청중은 이 개념에 익숙하지 않으며, 제대로 이해하려면 시각 자료와 예시를 포함한 몇 분짜리 설명이 필요함
  • 차트를 올바르게 해석하려면 먼저 이런 추상 개념을 충분히 이해해야 하는 부담이 생김
  • 여러 유용한 분포 인사이트는 분위수나 사분위수 없이도 다른 차트로 전달할 수 있음

익숙함이 좋은 설계를 보장하지 않음

  • 박스 플롯을 오래 본 사람은 설계상 결함을 우회해 해석하는 법을 배웠을 수 있음
  • 처음 접하는 사람은 같은 결함 때문에 쉽게 혼란을 겪음
  • 조직에서는 분석가가 중요한 인사이트를 박스 플롯으로 전달하려 해도, 의사결정자가 읽는 법을 익히려 하지 않으면 설득에 실패할 수 있음
  • 이후 분석가가 청중이 모든 분포 차트를 이해하지 못한다고 판단하면, 문제를 박스 플롯 자체가 아니라 분포 시각화 전반으로 오해할 수 있음
  • 더 직관적인 분포 차트를 쓰면 분포 시각화의 귀중한 인사이트를 더 잘 전달할 가능성이 있음

박스 플롯이 분포를 왜곡하는 방식

  • 같은 데이터를 박스 플롯과 지터 스트립 플롯으로 비교하면, 박스 플롯은 서로 다른 그룹의 분포를 거의 비슷하게 보이게 만들 수 있음
  • 값이 중앙값 주변에 몰리고 양쪽으로 점차 줄어드는 종 모양 분포처럼 보이게 만드는 경향이 있음
  • 실제 값 집합이 종 모양이 아니어도 박스 플롯에서는 그렇게 보일 수 있음
  • 독자는 박스 플롯만 보고 모든 분포가 실제로 종 모양인지 알기 어렵고, 기껏해야 추측해야 함
  • 분포의 빈틈과 각 그룹의 값 개수도 숨길 수 있음
  • 분포를 더 정확히 보여주는 박스 플롯 변형이나 정교한 차트도 있지만, 박스 플롯의 핵심 문제인 배우기 어려움을 해결하지는 못하며 더 어려울 수도 있음

더 직관적인 대안 차트

  • 가장 자주 쓰는 대안은 스트립 플롯
    • “각 점은 연구 참가자의 나이”처럼 한 문장으로 설명할 수 있음
    • 대부분의 청중이 몇 초 안에 이해할 수 있음
    • 분포가 더 높거나 낮은지, 집중됐는지 퍼졌는지, 정규적인지 치우쳤는지, 이상치가 있는지 보여줄 수 있음
    • 박스 플롯이 보여주지 못하는 분포의 빈틈, 다봉 분포, 각 집합의 대략적인 값 개수도 드러냄
  • 값이 수십 개를 넘으면 점이 겹쳐 스트립 플롯이 선처럼 보일 수 있으며, 이때는 지터 스트립 플롯이 더 많은 값을 수용할 수 있음
  • 값이 수백 개 또는 수백만 개라면 지터 스트립 플롯도 겹친 점 덩어리가 될 수 있고, 이때는 분포 히트맵이 어떤 개수의 값도 처리할 수 있음
  • 분포 히트맵은 빈(bin) 또는 구간 개념을 도입해 복잡도가 올라가지만, 빈은 사분위수보다 훨씬 이해하기 쉬움
  • 분포 히트맵은 그룹별 값 개수를 보는 능력을 잃고 몇 가지 제한이 있지만, 박스 플롯도 같은 제한과 추가 제한을 가짐
  • frequency polygons, violin plots, cumulative distribution plots, bee swarm plots도 특정 상황에서 유용할 수 있음
  • 히스토그램은 일반적으로 단일 값 집합 시각화에 유용하며, 박스 플롯과 그 대안은 여러 값 집합을 비교하는 용도에 가까움

박스 플롯의 장점과 제한된 사용처

  • 박스 플롯의 유일한 장점으로 볼 수 있는 것은 사분위 범위를 보여준다는 점임
  • 하지만 데이터로 말하려는 내용에서 사분위 범위를 반드시 보여줘야 하는 경우는 많지 않음
  • 대부분의 경우 필요한 것은 분포 간 높고 낮음, 집중과 분산, 이상치 여부이며, 이런 인사이트는 사분위 범위 없이도 더 단순한 차트로 전달할 수 있음
  • 중앙값이 필요한 경우에도 더 단순한 차트에 중앙값을 쉽게 추가할 수 있음
  • 박스 플롯이 진정으로 최선인 상황은 청중이 익숙하다는 이유로 박스 플롯을 요구하는 경우 외에는 떠올리기 어려움

박스 플롯에서 벗어나야 하는 이유

  • 박스 플롯은 과거에는 좋았지만 기술 발전으로 낡아진 차트라기보다, 애초에 잘 설계된 차트가 아니었다는 평가를 받음
  • 설계 결함은 학생, 임원, 기타 차트 독자에게 불필요하게 번거로운 이해 과정을 요구해 왔음
  • 현대에는 더 나은 차트를 쉽게 만들 수 있으므로, 박스 플롯에서 벗어나면 앞으로의 독자가 불필요한 인지적 고생을 덜 수 있음
  • 통계에 익숙한 청중에게도 거의 모든 상황에서 다른 차트가 더 나은 선택일 수 있음
  • 실무자는 청중이 박스 플롯에 익숙하지 않을 때 특히 대안을 고려해야 하며, 익숙한 청중에게도 더 직관적인 차트를 검토할 수 있음

댓글과 토론

Hacker News 의견들
  • 여기서 글쓴이와 다른 사람들이 헷갈린 듯함. 상자그림은 분포를 종 모양으로 만들지 않고, 분포를 바꾸지도 않지만, 데이터가 종 모양/가우스 분포를 따른다고 가정함
    중심극한정리를 적용할 수 있는 경우에는 맞지만, 그렇지 않으면 가정이 틀리고 상자그림이 보여주는 값도 별 쓸모가 없음. 상자그림의 실제 용도는 있지만, 쓰려면 통계의 기본을 이해해야 함

    • 상자그림에는 종 모양을 가정하는 요소가 없음. 다만 매끄러운 단봉 분포를 꽤 잘 특징짓는 매개변수들을 시각화할 뿐이고, 실제 분포가 무엇인지는 상관없음
      그래서 상자그림 사용을 비판할 수는 있음. 대안들은 종 모양 분포도 잘 보여주면서, 종 모양이 아닐 때도 드러낼 수 있기 때문임
    • 맞음. 기술적으로 상자그림이 어떤 분포도 가정하지 않는다는 말은 맞지만, 기술적으로는 잔디깎이 기계를 타고 뉴욕에서 샌프란시스코까지 갈 수도 있음
      상자그림은 종 모양/가우스 분포와 충분히 비슷한 단봉 분포에만 써야 한다는 데 완전히 동의함. 분포가 이봉 분포처럼 종 모양이 아니면 오해를 부르니 쓰면 안 되고, 종 모양이면 별문제 없어 보임
    • 이해가 잘 안 됨. 중심극한정리는 모집단에서 뽑은 표본평균의 분포를 설명하지, 모집단 자체의 분포를 설명하지 않음
      표본 자체의 분포를 모집단의 대리로 보고 싶을 때는 표본평균 분포의 모양이 그렇게 흥미롭지 않음. 표본평균 추정만 유용한 지표도 아니고, 자연에서 거의 아무것도 정규분포를 따르지 않음. 정규분포가 유용한 건 대체로 가우스 함수의 해석적 형태와 다루는 방법을 잘 알기 때문이지, 그 추정이 보이는 만큼 유용한 것은 아님. 예컨대 푸아송 분포가 훨씬 흔함
    • 그렇지 않음. 상자그림은 주로 사분위수를 보여주며, 대칭성이나 가우스 분포의 매개변수를 가정하지 않음
    • 동의함. 글쓴이가 그냥 잘못된 차트를 썼음
      예시는 봉우리가 둘인 이봉 분포인데, 봉우리가 하나인 형태의 차트인 상자그림을 골랐음. 솔직히 좀 이해하기 어려움
  • 상자그림의 유일한 장점은 손으로 그릴 수 있다는 것이었음. 이제 컴퓨터가 어디에나 있으니 그 가치는 사라졌음
    바이올린 플롯벌떼 플롯이 더 낫고, 지터를 적용한 스트립 플롯도 포화 영역을 조심하면 괜찮음. 포화된 곳에 점을 더 찍어도 더 어두워지지 않아 사라져 보일 수 있음

    • 글에서 바이올린 플롯을 아주 짧게만 다룬 게 놀라움. 생의학 연구에서는 점점 인기가 많아지고 있고, 글쓴이가 제안한 플롯보다 훨씬 흔함
      원하면 그 위에 지터 적용 점들을 겹쳐서 보여줄 수도 있음
    • 바이올린 플롯이 더 낫다는 데는 동의하지 않음
      Angela Collier가 왜 아닌지 잘 rant한 영상이 있음: https://youtu.be/_0QMKFzW9fw?si=86mRAZRnFCBfSzw0
    • 그놈의 바이올린 플롯보다는 언제든 평범한 히스토그램/커널 밀도 추정 플롯을 택하겠음
      상자그림은 읽기 쉬워서 꽤 유용하지만, 작성자가 실제로 히스토그램을 확인했다는 신뢰가 있을 때만 그렇고, 보통은 그 신뢰가 없음
    • 정확히 맞음. 상자그림은 더 이상 존재하지 않는 제약을 우회하기 위한 낡은 기법
  • 사람들은 서로 충돌하는 목표를 가짐. 한편으로는 많은 숫자를 하나나 몇 개의 요약 통계로 압축하고 싶어 하지만, 그런 요약이 조금이라도 오도하면 곧바로 데이터 압축을 후회함
    실제로는 존재하지 않을 수도 있는 단순함, 특히 확정적 결론을 원하기 때문에 생기는 일이고, 인간 조건의 흔한 병폐에 가까움
    상자그림이 나타내는 분포 자체도 종종 “표본 하나”의 분포일 뿐임. 그렇게 보면 분포에는 고유한 불확실성이 있고, 예를 들어 바이올린 플롯은 그 불확실성을 표현하지 않음. 모든 “작업에 맞는 도구” 논쟁처럼, 사람마다 도구 경험과 남에게 단순화해 설명하는 방식에 따라 판단이 갈림
    https://github.com/c-blake/bu/blob/main/doc/edplot.md

  • 여기서 상자그림을 옹호하는 사람이 예상보다 훨씬 많음
    그런데 “상자그림은 특정 용도에서 가장 좋은 차트라서 유용하다”는 식의 설명은 잘 안 보임. 스트립 플롯이나 바이올린 플롯보다 상자그림을 더 보고 싶은 상황이 바로 떠오르지 않음. 언제, 왜 데이터를 그렇게 거칠게 요약하고 직관적이지 않게 시각화하고 싶은가?

    • 15/85 백분위수나 25/75 백분위수에 의존하는 프로세스를 가진 비즈니스 담당자들을 많이 상대함
      그들은 중앙값, 낮은/높은 백분위수, 최댓값/최솟값 또는 이상치를 보고 싶어 하지만, 중간에 흩뿌려진 모든 데이터 점을 보고 싶어 하지는 않음. 그건 압도적인 잡음 정보가 됨. 실제로는 그 숫자가 적힌 표를 좋아하지만, 서로 다른 시장의 과거 가격 시계열 10개를 PowerPoint 슬라이드 하나에서 비교하고 싶어 함. 상자그림은 중앙값과 핵심 백분위수를 빠르게 시각 비교하게 해줌. 표준이 아닌 값을 쓰면 백분위수 라벨을 붙이면 됨. 지터나 바이올린 플롯을 쓰면 이상한 무작위 모양에 꽂혀 회의가 딴 길로 샘
      중요한 전제는, 이 값들을 생성하는 과정이 물리적 의미에서 모두 같아서 비교 가능하다는 것임. 분포도 대략 로그정규분포 비슷한 단봉 분포임. 이때 시각화의 목적은 분포 자체의 성질을 이해하는 게 아니라, 비즈니스상 의미가 있는 중요한 백분위수를 보여주는 것임
    • 개인적으로 바이올린 플롯은 엄청 과대평가됐다고 봄. 데이터가 단순하고 단봉이면 상자그림을 쓰면 됨
      분포가 더 복잡하고 세부가 필요하면 히스토그램이나 리지 플롯을 쓰는 게 낫다. 바이올린 플롯은 곡선이라 조금 더 예뻐 보일 뿐, 정보를 전달하는 데는 최고 선택지가 아님
    • 상자그림은 여러 모집단이 있을 때, 그 모집단들의 중앙값이 같다고 봐도 되는지 빠르게 훑어보기에 가장 좋은 차트라 유용함
      이때 각 모집단의 중앙값만 보는 게 아니라 음영 영역도 함께 비교함
    • 때로는 적을수록 더 낫고, 상자그림은 사분위수 표시와 비교에 특히 좋음
      여러 집단을 비교하면서 큰 차이에만 관심이 있다면 훌륭한 도구임. 데이터가 정규분포라고 믿고 히스토그램이 오해를 줄 수 있다고 생각할 때도 좋고, 정규분포가 아니더라도 사분위수에 관심이 있으면 좋음
      최솟값, 최댓값, 중앙값, 25/75 백분위수라는 다섯 개 숫자 표로 충분한 상황이라면, 상자그림은 그래픽 비교용으로 좋은 도구임
  • 수십 년 동안 학교, 대학, 직장에서 상자그림을 써 와서 글에 완전히 설득되지는 않았음
    그런데 이 댓글들을 읽고 나니, 똑똑하고 내용을 아는 사람들로 방을 가득 채워도 상자그림의 이해와 해석을 두고 모두 갈라질 수 있다는 글쓴이의 핵심이 강하게 와닿음
    조금 놀랍지만, 이 스레드의 증거만으로도 내게는 거의 결론이 났음

  • 상자그림 사용을 중단할 필요는 없음. 적절한 경우, 즉 위치와 퍼짐을 보여줄 때 써야 함. 분포의 모양을 보여주는 용도가 아님
    사분위수와 한계를 넘어서는 최빈성이나 분포 정보는 전혀 없음. 주로 개별 묶음을 분석하기보다 여러 묶음을 비교할 때 유용함
    글쓴이는 본인이 잘 모르는 내용을 아는 것처럼 말하고 있음. Tukey의 자료라도 읽었다면 알았을 텐데, 이름만 가져다 붙이는 것으로는 충분하지 않음

    • 이걸 기술적 문제로 보고 있음. 상자그림은 분산과 이상치를 압축해 보여주는 시각 표현으로, 기능적으로는 충분히 그럴듯함
      하지만 글쓴이는 이것을 사람의 문제로 보고 있음. 플롯은 기계를 위한 것이 아니라 사람이 읽기 위한 것이고, 글쓴이는 가능한 한 많은 사람이 쉽게 읽고 해석할 수 있기를 바람. 수학 교육이 아쉽더라도 현실에서 출발해야 하고, 합리적인 목표라고 봄. 분포가 얼마나 퍼져 있는지 보려면 사분위수가 무엇인지 알아야 할 필요는 없어야 한다는 데 동의함
    • 글쓴이는 그 점을 알고 있음. 글에서도 “대부분의 상황에서는” 이런 설계안이나 상자그림을 권하지 않겠다고 했음
      몇몇이 대부분의 상황이라는 부분을 놓친 듯함. 자기 청중에게 효과가 없어서 어떤 이유로든 상자그림 사용을 중단했다는 얘기임. 제목처럼 우리도 상자그림 사용을 돌아보고 더 나은 대안이 있는지 봐야 함
      또한 그가 말하는 독자를 기억해야 함. 상자그림을 이해하는 사람이 아니라, 상자그림을 모르거나 이해하지 못하는 사람들임. 본인 말로는 수천 명에게 설명해야 했던 대상임
    • 상자그림은 정말 그만 써야 함. 쓸 이유는 손으로 표현해야 하고 컴퓨터에 접근할 수 없을 때뿐임
      상자그림은 손작업용 데이터 압축 기법임. 이제는 데이터 품질과 시각 품질을 더 잘 보존하는 자동화 기법들이 있음
  • 글쓴이는 어떤 플롯에는 일반화와 “특정 상황”을 인정하면서, 다른 플롯의 특정 상황은 가치 없게 봄
    내가 얻은 결론은 기껏해야, 분포가 단봉이 아니고 오해될 가능성이 크면 상자그림을 쓰지 말라는 정도임. 좋아하는 물리학 rant 유튜버가 바이올린 플롯을 비판한 영상도 있으니, 어쩌면 그것도 쓰지 말아야 할지도 모름
    https://youtu.be/_0QMKFzW9fw?si=4VM4DT9Q1zEnV93A

  • 상자그림은 멋진 차트를 인쇄할 수 없던 시절의 유물임
    분포를 스크롤되는 오실로스코프나 지형도처럼 한 줄 안에 표시할 수도 있고, 시간에 따른 밀도 플롯을 그린 뒤 중요한 기간을 음영으로 겹칠 수도 있음. 가우스 과정 쪽을 보면 됨

  • 상자그림은 분포를 과도하게 단순화해서 추론하기 쉽게 만듦. 비슷하게 평균도 매우 오도할 수 있지만, 평균 사용을 금지하지는 않을 것임
    좋은 결론은 언제나 기저 분포를 공정하게 나타내는 플롯을 쓰라는 것일 수 있음

  • Nature 계열 저널이 이제 요구하는 방식대로 하면 됨. 상자그림 위에 원 데이터 점을 겹쳐서 보여주는 방식이고, 양쪽의 장점을 모두 얻을 수 있음