1P by GN⁺ | ★ favorite | 댓글 2개
  • 2015년 Aliso Canyon 가스 누출 이후 로스앤젤레스 일부 학교가 교실에 공기 필터를 설치하자 학생 시험 점수가 크게 올랐고, 상승분은 다음 해에도 유지됨
  • NYU의 Michael Gilraine은 작업 논문 Air Filters, Pollution, and Student Achievement에서 이 사건을 학생 성취도 변화와 연결해 분석함
  • 학교가 한 일은 대규모 교육 개혁이 아니라, 교실에 꽂아 쓰는 700달러 상용 공기 필터를 들여놓은 것이었음
  • 1,000달러 지출만으로 한 학급의 시험 점수를 학급 규모를 3분의 1 줄이는 것만큼 높일 수 있다는 점이 핵심 수치로 제시됨
  • 단일 연구만으로 일반화하기는 이르지만, 여러 도시가 일부 학교에 필터를 설치해 추가 데이터를 모으는 실험은 비교적 저렴하게 가능함

Aliso Canyon 누출 이후의 교실 변화

  • 2015년 10월 23일, Southern California Gas Company 직원들이 San Fernando Valley의 Porter Ranch 근처 Aliso Canyon 천연가스 저장 시설에서 대규모 누출을 발견함
  • 사건 이후 로스앤젤레스의 여러 학교가 교실에 공기 필터를 설치함
  • 이후 학생들의 시험 점수가 크게 올랐고, 그 상승은 다음 해에도 사라지지 않음

Michael Gilraine의 분석

  • NYU의 Michael Gilraine은 작업 논문 Air Filters, Pollution, and Student Achievement에서 Aliso Canyon 가스 누출의 예상 밖 결과를 분석함
  • 분석의 초점은 2015년 Aliso Canyon 가스 누출 이후 학교에 설치된 공기 필터와 학생 성취도 변화임
  • 작은 설비 변화에 비해 관찰된 효과가 매우 큰 사례로 평가됨

비용과 개입 방식

  • 학교구는 건물을 다시 설계하거나 대규모 교육 개혁을 추진하지 않았음
  • 설치된 장비는 어느 방에서나 플러그를 꽂아 사용할 수 있는 700달러 상용 필터였음
  • 1,000달러로 한 학급의 시험 점수를 학급 규모를 3분의 1 줄이는 것만큼 끌어올릴 수 있다는 비교가 제시됨

공기 오염과 인지 성과

  • 이 결과는 공기 오염이 인지 성과에 영향을 준다는 기존 연구 흐름과 맞닿아 있음
  • 함께 다뤄진 사례는 다음과 같음
  • 이 연구들은 공기가 더 오염될 때 다양한 사람들의 수행 능력이 저하된다는 결과를 다룸

저비용 실험으로 남은 검증 과제

  • Gilraine의 결과가 추가 검토를 통과한다면, 공기 필터 설치는 가장 비용 효율적인 교육 정책 개입 중 하나가 될 수 있음
  • 특히 저소득층 아동에게 큰 혜택을 줄 가능성이 있음
  • 단일 연구만으로 성급하게 큰 결론을 내리기는 이르며, 몇몇 도시가 일부 학교에 공기 필터를 설치해 추가 데이터를 모으는 방식은 매우 저렴하게 실행 가능함

댓글과 토론

정말 흥미로운 실험입니다

Hacker News 의견들
  • 교실에 공기 필터를 설치하는 건 여러 이유로 찬성하지만, 이 연구의 극단적인 결과가 후속 연구에서도 유지될 것 같지는 않음
    논문은 미국 역사상 최대 규모의 가스 누출 사고 때문에 가스 회사가 누출 지점 5마일 이내의 모든 학교 교실·사무실·공용 공간에 필터를 설치한 상황을 이용했고, 그 경계 안팎 학교의 성취도를 공간 회귀 불연속 설계로 비교함
    하지만 결국 서로 다른 지역·연도·학교의 시험 점수를 보고 “달라진 것은 공기 필터뿐”이라고 가정한 셈임. 아이들을 가르쳐 본 사람이라면 학급 간 연도별 차이, 교사 차이, 학교 정책 차이만으로도 결과가 크게 흔들릴 수 있다는 걸 알 것임
    실내 공기 여과 자체는 좋지만, 시험 점수가 이렇게 극적으로 오른다고 기대하는 건 비현실적임. 예전 생선기름 보충제처럼 작은 연구에서 큰 건강 효과가 나왔다가, 표본이 커지고 연구 품질이 올라가자 대부분의 효과가 사라진 사례가 떠오름

    • 공기 여과 시스템에 예산을 배정할 정도의 학교라면, 애초에 학생 성과 개선에 돈과 노력을 더 쓰는 학교라는 선택 편향이 있을 수 있음
      더 나은 방법은 일부 학교에 공기 여과 장치를 무료로 제공하고, 다른 큰 변화 없이 효과가 있는지 보는 것임
      새 버스를 산 학교를 보고 “새 버스가 시험 점수를 올렸다”고 주장하는 것과 비슷함. 실제로 새 버스를 많이 사는 학교는 과거보다 예산이 크게 늘었고 학생에게 쓸 돈도 많아졌을 가능성이 큼. 버스 제작 연도보다 그 재정 변화가 훨씬 중요할 수 있음
    • 이런 종류의 효과 추정치는 시간이 지나면 작아질 거라고 보지만, 사용한 불연속 설계 자체는 학급·교사·학교·연도 차이를 이미 다루려는 방법이긴 함
      어떤 예상치 못한 사건이 일부 집단에만 적용될 때 이를 자연 실험으로 보고, 사건 전후의 집단 간 변화를 비교하는 방식임. 비교 대상이 “변동 없음”인 것은 아님
      진짜 핵심은 표 3과 표 4에 있음. 관측된 효과가 모집단 효과 0과도 양립 가능하고, 그림 2를 보면 신뢰구간 안에 직선, 즉 효과 없음도 그릴 수 있음. 효과가 없다는 뜻은 아니지만, 효과가 있다고 보기엔 증거가 부족하고 추정치를 그대로 받아들이면 안 됨
    • 그 논리라면 효과가 더 작을 수도 있지만 더 클 수도 있음
      모든 연구는 HN에서 “내가 더 잘 안다”며 결함을 설명하는 사람들을 만남. 인류 역사상 HN만큼 전문성이 모인 곳은 없을 것임
      덧붙이면, 이 연구에서 어떤 가치를 찾을 수 있는지가 중요함. 성경처럼 완전한 답으로 출판된 게 아니라 흥미로운 사건과 데이터를 다룬 하나의 연구이니, 거기서 무엇을 얻을 수 있는지를 봐야 함
    • 공기질 검사에 더 많은 노력을 기울였으면 좋겠음
      좋은 학교에 다녔지만 정수기 필터가 2005년 이후 교체되지 않았고, 당시가 2012년이었음. 원래는 6개월마다 갈아야 하는 필터였음
      미국의 공기질이나 수질이 좋다고 당연하게 여기지만, 실제로 검사해 보면 쉽게 예방할 수 있는 발암성 물질에 계속 노출되고 있을 가능성이 큼. 요즘 급수대는 플라스틱(PVC)으로 만들어져 시간이 지나며 물에 녹아들고, 결국 나노플라스틱이 몸에 축적됨. 더 비싼 강철 배관으로 쉽게 막을 수 있음
      사무실 천장에는 석면이 있었고 그 위에 페인트만 칠해져 있었음. 이런 걸 개인이 확인하고 신고해야 한다고 생각하지 않는데, 규제가 부족해 피로함. EPA 예산도 부족하니 아이들이 지금처럼 높은 암 발생률을 겪지 않도록 각자가 실사를 해야 하는 상황임. 폐암을 제외하면 미국 암 발생률은 유럽보다 30% 높다고 봄
    • 그럴 수도 있고 아닐 수도 있음. 후속 연구가 알려줄 것임
      시험 결과가 좋아진 이유가 시험 당일 아이들이 더 잘 쉬었기 때문일 수도 있고, 기계의 웅웅거리는 소리가 명상 같은 소음을 만들어 집중을 도왔을 수도 있음. 아니면 전혀 아닐 수도 있음
  • 데이터가 실제로 주장하는 바를 보여주는지에 대한 검토가 있음: https://statmodeling.stat.columbia.edu/2020/01/09/filters-be...
    핵심은 결과 전체가 데이터 한 점과, 논문 맥락상 이론적으로 말이 안 되는 선형 추세에 의해 좌우된다는 것임. 논문 초록은 “누출 중 필터 설치 전 학교 내부 공기 검사에서 천연가스 오염물질이 검출되지 않았으므로, 필터 효과는 일반 대기오염물질 제거에서 나온 것”이라고 함. 그런데 그 선형 추세가 큰 불연속과 통계적 유의성을 만들어내는 배경 역할을 함
    제3세계 아동에게 구충제를 먹이면 큰 이익이 있다는 연구들이 나중에 후퇴한 사례도 떠오름: https://www.theguardian.com/society/2015/jul/23/research-glo...
    Matt Y.식 과학 기반 공공정책 세계관에서 불편한 점은, 공공정책 개입의 비용과 편익을 연구하기가 너무 어렵고 현실적인 시간 안에 정책을 이끌 만큼 의미 있게 쓰기 힘들다는 데 있음. “공기 여과가 시험 점수를 올린다”는 아주 단순한 가설조차 교란 요인을 통제하며 쉽게 시험할 수 있을 것 같지만, 실제로는 이렇게 어려움

    • Andrew Gelman은 이 연구가 “교실에 공기 필터를 설치하면 놀랄 만큼 큰 교육적 이익이 생긴다는 좋은 증거를 제공한다고 생각하지 않는다”고 봄
      https://statmodeling.stat.columbia.edu/2020/01/09/no-i-dont-...
      Gelman 글에 대한 예전 스레드도 있음: https://news.ycombinator.com/item?id=22006595
    • 연구 자체는 결론적 증거가 아니라 후속 연구가 필요해 보이는 고무적인 사례 연구라고 꽤 명확히 말함
      Matt Y.의 보도는 그 점을 충분히 앞세우지 않았지만, 글 끝에서는 같은 취지를 말하긴 함. 핵심을 묻어두긴 했지만 거짓말을 한 건 아님
    • 연구가 권고하는 조치에 따른 물질적 영향이 결과에 영향을 줄 수 있고, 그 방향이 객관성에 유리하지 않을 수 있음
  • 공기 중 가스가 사람에게 미치는 영향에 대한 데이터가 더 많았으면 좋겠음
    우리가 아는 것은 방 안의 높은 CO2가 인지 성능을 떨어뜨린다는 것, 일반 방보다 훨씬 높은 수준의 잠수함 내 CO2는 인지 성능에 영향을 주지 않는 것처럼 보인다는 것, 이 연구가 실제로 본 탄소 필터 설치가 교실 성과를 높일 수도 있다는 것, 사람들은 답답한 방을 싫어한다는 것 정도임
    이 모든 것은 여러 가설과 양립함. 우리가 아직 잘 모르는 것일 수도 있고, 사람이 배출하는 CO2가 아닌 어떤 가스가 사람을 약간 불편하게 하고 인지 성능을 떨어뜨리는 것일 수도 있음
    CO2는 실외와 공기가 교환되고 공기 중 가스가 따로 바뀌지 않는 공간에서는 환기 품질의 좋은 대리 지표임. 하지만 탄소 필터가 있는 교실과 잠수함은 그런 예가 아님

    • 전직 잠수함 승조원으로서, 잠수함의 높은 CO2는 분명히 성능을 떨어뜨림
      예를 들어 배에 CO2가 너무 높아지면 편두통이 오는 사람이 있었고, 그는 그때 아무 일도 못 했음. 다행히 해결책은 간단해서 CO2 스크러버를 하나 더 켜면 됐음
      잠수함이라고 CO2가 다른 곳과 다르게 작용하는 특별한 이유는 없음
    • CO2는 다른 많은 가스의 대리 지표임. 값싼 CO2 센서는 휘발성 유기화합물(VOC)을 감지해 CO2를 추정함
      그런 가스 중 상당수는 인지 성능에 영향을 줌. CO2 자체가 왜 영향을 주는지는 명확하지 않지만, CO2가 올라가면 우리가 내쉬는 다른 것들도 같이 올라감
      주변 CO2는 대략 400~1000ppm, 즉 0.04~0.1% 수준이고 꽤 비활성이라 어떤 해를 주는지 잘 모르겠음. 실제로 해를 준다면 CO2 상승은 “그냥” 기후변화보다 훨씬 더 걱정해야 할 문제임
      다만 실제 원인은 다른 가스일 것 같음
  • LNG와 메탄을 걸러내려고 왜 HEPA 필터를 설치했는지 혼란스러움
    HEPA 필터는 탄소막이 있어도 CO2를 그렇게 효과적으로 제거하지 않는데, 정말 CO2 수치가 낮아진다고 기대할 수 있는지도 의문임
    그렇다면 실제 결론은 무엇인가? 더 깨끗한 공기, 즉 먼지와 바이러스가 적은 공기가 생산성에 좋다는 것인가?
    직장에 같은 필터를 사고 싶어서 묻는 것임. 기사에서는 쉽게 구할 수 있는 5단계 필터를 썼다고 하지만, 700달러짜리 HEPA 필터가 같은 물건인지 의심스러움

    • 예전에 파고들어 보니 설치한 것은 탄소 필터였음
      시중에서 “탄소” 필터로 파는 제품 대부분은 탄소가 너무 적어 큰 효과가 없음. 꽤 많은 양이 필요하고, 어떤 가스에는 특수 함침 탄소나 다른 매체가 필요할 수 있음
    • 누군가 직감이 있어서 HEPA 필터를 사고 싶었던 것 같음
      모든 HEPA 필터는 공기를 비슷하게 걸러야 하고, 가격 차이는 주로 공기를 얼마나 빠르게 여과하느냐에 따라야 함. 방에는 150달러짜리 HEPA 공기청정기를 샀음
  • Airthings를 사서 창문을 열라고 알려주게 하고 Pushover API까지 붙인 것이 지난 10년 중 가장 큰 생산성 향상이었음

    • 창문 여는 걸 기억하려고 앱이나 기기가 필요하다는 건 좀 걱정스러움
      경험칙으로는 매일 최소 10분은 창문을 열어두는 게 좋음
  • “KIPP 차터스쿨 네트워크의 효과에 대한 Mathematica Policy Research의 최선의 근거를 보면, KIPP에서 3년을 보낸 뒤 네 가지 시험 지표 중 세 가지에서 유의미한 개선이 있었다. 영어 시험 하나는 표준편차 0.25, 다른 영어 시험은 0.22, 수학 시험 둘 중 하나는 0.28 상승했다”는 부분에서 표준편차 0.22가 감이 안 와서 찾아봄
    정규분포에서는 평균에서 표준편차 1만큼 위로 가면 50백분위에서 84백분위로 가는 것임. 평균에서 표준편차 0.22만큼 오르면 대략 50백분위에서 55백분위로 가는 정도임

  • 아이들이 아프지 않게 하면 교육 성과가 좋아진다는 뜻이기도 함

    • 아이들이 어리다는 전제라면 아버지도 비슷한 관찰을 했음
      기사를 보니 학년이 명시되어 있지는 않음. 어린아이들은 면역 체계가 약하므로 결석이 줄고 성적이 좋아질 가능성이 있음. 개인적으로도 1학년 아이가 수업을 꽤 많이 빠짐
      다만 이 결과가 3학년 이상에서 관찰됐다면 더 큰 현상을 시사할 수 있음. 3학년은 임의로 고른 것이고, 의학계가 아이의 면역력이 의미 있게 강화됐다고 보는 특정 나이가 있을지도 모름
  • 개인적 일화로, 코로나가 “끝난” 직후 우리 어린이집은 거의 전염병 배 같았음
    아이들이 면역이 전혀 없었고, 빠르게 그 공백을 메웠음. 정말 끔찍한 한 해였음
    이후 어린이집이 보조금을 받아 방마다 N-95 공기 필터와 중국 음식점 화장실에서 흔히 보이는 UV 조명을 설치했음
    차이가 엄청났음. 영아와 아이들이 전보다 훨씬 덜 아프고, 아파도 훨씬 덜 심함. RSV 백신도 큰 도움이 됐음
    무엇이 결정타였는지는 잘 모르겠지만 조합이 훌륭했음. 그래서 집에도 들였음

    • 개선의 어느 정도가 평균 회귀였는지 궁금함
      모두가 다시 모이면 감염이 급격히 치솟았다가 시간이 지나며 정상 수준으로 내려갈 것으로 예상할 수 있음. 필터가 있든 없든 그럴 수 있음. 물론 필터도 어느 정도 긍정적 효과는 있을 것임
    • 어떤 조명을 말하는지 궁금함. 소독 가능한 UV는 사람이 보면 안 되는 종류임
      혹시 UV라고 부르기도 하는 벌레 퇴치 램프를 말하는 건가? 가시광선 스펙트럼 위쪽에 가까운 빛에 벌레가 끌리지만, 실제로 죽이는 것은 고전압 전선임
      사람이 있는 공간에서 쓰는 소독용 UV로 아는 것은 위쪽만 비추도록 매달아 두어 사람이 노출되지 않는 장치뿐임. UV 중에서도 더 높은 쪽의 안전한 조명 연구는 들어본 적이 있는데, 실제로는 여전히 화상을 일으키지만 죽은 피부층을 뚫을 만큼 침투하지는 않는다고 함
    • 좋은 이야기이고 믿을 만함. RSV 백신이 언급돼 놀랐음
      마지막으로 확인했을 때는 아직 개발 중인 줄 알았는데 틀렸음. 지금은 세 경쟁 제품이 있음: Arexvy(GSK), Abrysvo(Pfizer), Mresvia(Moderna)
      참고: https://en.wikipedia.org/wiki/Respiratory_syncytial_virus_va...
      보통 백신 가격 비교에는 태국의 이 클리닉을 봄: https://www.thaitravelclinic.com/cost.html
      RSV 백신은 엄청 비싸고 HPV 백신보다도 비쌈. 200달러가 넘는 가격은 태국 같은 개발도상국에서는 믿기 어려울 정도로 비쌈
      중국 음식점 화장실에 있다는 UV 조명은 처음 들어봄. Amazon이나 Alibaba 링크가 있으면 더 알아보고 싶음
  • 건강 연구에는 잘 확립된 근거 수준의 위계가 있고, 이 연구는 다른 요인을 통제하기 어려워 낮은 품질의 근거로 분류될 것임
    배경은 https://gdt.gradepro.org/app/handbook/handbook.html#h.3183vu... 참고
    오염과 건강 영향 연구에서는 교란 요인이 미세먼지 수준 같은 오염물질보다 건강 결과에 더 큰 영향을 주는 경우가 많으므로, 영향을 추정하려면 교란 요인을 강하게 통제해야 함
    이 연구의 큰 효과는 입자나 다른 오염물질의 실제 효과라기보다 교란 요인을 강하게 시사함. 정책 수준에서 큰 효과를 기대하고 행동하려면 훨씬 나은 연구 설계가 필요함
    전반적인 공기질 개선을 위해 필터를 넣는 것은 좋지만, 이 연구가 제시하는 수준의 편익을 근거로 삼기는 어렵다

  • 약간만 관련 있지만, 집에서 증발식 냉방기를 쓰는 이유 중 하나가 이것임
    1년에 4개월은 창문을 24시간 열어둠. 아침에 새소리를 듣는 게 에어컨 박스 안에 갇히는 것보다 훨씬 쾌적하다고 느낌

    • 습도가 문제를 일으키지는 않나? 집 안 상대습도가 어느 정도인지 궁금함
    • 먼지가 엄청나게 들어오지는 않나?