스크레이핑을 통한 오스트리아 식료품 가격 추적

• 오스트리아에서 식품·에너지 물가 압박이 커진 가운데, 정부의 제한적인 가격 DB 예고를 계기로 Mario Zechner가 대형 체인 온라인 스토어 기반 가격 추적 플랫폼을 직접 만듦
• 첫 프로토타입은 두 대형 체인의 전체 상품을 대상으로 2시간 만에 만들어졌고, 이후 독일·슬로베니아 매장 데이터와 카테고리 정규화, 유사 상품 매칭, 분석 도구가 붙음
• 2017년부터 수집된 익명 제공 데이터까지 합쳐지면서, 두 대형 체인의 자체브랜드 상품 가격이 센트 단위로 일치하는 패턴을 과거 흐름까지 확인할 수 있게 됨
• 역사적 가격 데이터에서는 같은 날 또는 1~2일 차이로 가격이 맞춰지는 사례, 슈링크플레이션, 독일보다 최대 40% 비싼 동일 상품 사례가 드러남
• 오스트리아 식료품 시장은 할인 상품 비율이 약 40% 로 높아, 정가 인하를 내세워도 순환 할인 구조 때문에 평균 지불액이 오히려 올라갈 수 있음

---

정부 가격 DB 예고와 개인 프로젝트의 출발

• 오스트리아는 인플레이션이 EU 평균보다 높고, 특히 에너지와 식품 같은 기본 필요 품목에서 압박이 큼
• 정부는 5월에 대형 식료품 체인과 함께 식품 가격 데이터베이스를 만들겠다고 발표함
  • 담당 장관은 작업 규모가 커서 가을까지 걸릴 것이라고 밝힘
  • 포함 범위는 밀가루, 우유 같은 16개 상품군에 그침
  • 갱신 주기는 주 1회로 예정됨
• Mario Zechner는 이를 듣고 두 대형 체인의 전체 상품을 대상으로 하는 프로토타입을 2시간 만에 만듦
• 플랫폼은 매장의 온라인 스토어를 크롤링하는 방식으로 동작함
  • 대부분의 매장은 API를 갖고 있음
  • 수집 데이터는 매장 간 비교가 가능하도록 정규화됨
  • 이후 공개와 분석이 가능한 형태로 제공됨

플랫폼 확장과 2017년부터의 가격 데이터

• 초기 플랫폼 이후 독일과 슬로베니아 매장 데이터도 추가됨
• 매장마다 다른 상품 카테고리를 정규화하고, 같거나 비슷한 상품을 매칭하기 위해 가벼운 데이터 과학 기법이 붙음
• Twitter의 익명 사용자가 두 대형 체인에서 2017년부터 크롤링한 데이터를 제공함
• Zechner는 이 데이터를 플랫폼에 통합하고 분석 도구를 추가함
• 초기 분석에서는 에너지 가격 상승을 감안해도 가격 상승 폭이 크다고 볼 만한 결과가 나옴

체인 간 가격 일치와 동시 가격 변경

• 플랫폼 구축 전 첫 분석은 두 대형 체인이 자체 판매하는 최저가 상품을 수작업으로 비교하는 방식이었음
  • 예시는 매장 자체브랜드 우유나 밀가루 같은 상품임
  • 40개 상품 쌍의 가격이 센트 단위까지 정확히 일치함
• 한 NGO가 Twitter에서 이 내용을 보고 600개 상품 쌍으로 같은 분석을 진행했으며, 같은 양상이 나타남
• 역사적 데이터가 통합되면서 두 체인에서 같은 상품의 가격 변동 시점을 비교할 수 있게 됨
• 자체브랜드 저가 상품 가격은 두 체인에서 같은 날, 또는 1~2일 차이로 바뀌고 같은 가격에 도달하는 사례가 나타남
• 이런 패턴은 저가 자체브랜드뿐 아니라 중가 자체브랜드 상품에서도 확인됨
• Zechner는 명시적 조율 없이 과점 가격이 맞춰지는 암묵적 담합(tacit collusion) 가능성을 봄
  • 다른 유사 플랫폼들도 같은 패턴을 봤다고 함
  • 이 패턴은 인플레이션이 크게 오른 시기부터 나타났다고 함

슈링크플레이션과 국가별 가격 차이

• 플랫폼 분석으로 슈링크플레이션(shrinkflation) 사례도 확인됨
  • 제품 내용량이 줄었지만 가격은 같거나 더 높은 경우를 뜻함
  • 예시로 세탁세제가 나옴
• 같은 제품이 독일에서는 최대 40% 더 저렴한 사례도 나타남
  • 독일은 평균 소득과 생활비가 더 높은 나라로 제시됨
• 오스트리아에서만 생산되는 제품도 오스트리아 밖에서 더 싼 사례가 있음
• Billa는 오스트리아판 REWEDE로 언급됨
• 오스트리아 브랜드인 Red Bull도 오스트리아 할인 가격이 독일 정상가보다 더 비싼 사례가 있음

할인 구조와 ‘가격 인하’의 실제 효과

• 오스트리아 식료품 시장에서는 할인 비중이 특히 큼
  • 일반적인 경쟁 식료품 시장에서는 평균적으로 약 10~20% 상품이 할인된다고 제시됨
  • 오스트리아에서는 그 비율이 40% 라고 함
• 할인은 소비자가 실제 지불 가격을 알기 어렵게 만듦
  • 소비자는 매장에 가서 당일 할인을 보기 전까지 가격을 알기 어려움
  • 체인들은 우편 할인 전단을 보내고, 스티커를 모아 계산대에서 상품에 붙이는 방식도 사용함
  • 앱은 사용자 정보를 제공받는 수단으로도 언급됨
• 식료품 체인들은 부정적 보도 이후 매장에 “올해 450개 상품 가격을 이미 낮췄다”는 안내를 내걸었음
  • 전체 상품 수는 약 22,000개로 제시됨
  • 해당 체인은 가격을 낮춘 상품 목록을 기계가 읽을 수 있는 PDF로도 제공함
• Zechner는 PDF의 상품을 자신의 데이터베이스와 매칭함
  • 표면적으로 가격 인하 주장은 맞는 것으로 확인됨
  • 그러나 일부 상품은 수년간 반복되던 순환 가격 패턴의 일부였고, 영구적인 가격 인하가 아니었음
• 더 교묘한 사례도 나타남
  • 정가는 낮췄지만, 주기적으로 적용되는 할인가를 올린 상품이 있음
  • 정가 인하는 사실이어도, 소비자가 매주 같은 상품을 산다면 할인 가격 상승 때문에 평균 지불액이 이전보다 높아질 수 있음

[GN⁺]

Hacker News 의견들

• 오스트리아와 독일에 살아봤는데, 오스트리아 슈퍼마켓 가격이 훨씬 비싸다는 건 100% 사실이고 오스트리아산 제품도 마찬가지임
  이유는 독일인은 가격에 극도로 민감해 늘 비교하지만 오스트리아인은 평균적으로 덜 신경 쓰고, 슈퍼마켓이 이를 이용하기 때문임. 오스트리아는 인구 밀도가 낮고 산악 지역처럼 접근이 어려운 매장이 많아 물류비가 더 높으며, 부가가치세도 약간 높고, 슈퍼마켓·물류의 비숙련 노동 임금도 독일보다 조금 높음
  또 오스트리아는 같은 회사 매장도 독일보다 더 보기 좋고, 진열이 깔끔하고, 대기 줄이 짧은 편이라 운영비가 더 듦. 결국 소비자가 독일처럼 가격을 중시하고 미관을 덜 따졌다면 가격은 내려갔을 것이고, 더 싼 슈퍼마켓을 찾아 조금 더 걸어가기 시작해도 가격은 내려갈 수 있음

  • 독일은 자동차 중심 국가라 평균적인 도시에서 출근, 헬스장 등 대부분 이동을 차로 하고, 그래서 가장 싼 슈퍼마켓까지 더 가기 쉬움
    오스트리아는 대중교통이나 자전거 이용이 훨씬 좋다 보니 가장 싼 식료품점을 들르려고 일부러 우회하지 않게 됨. 차를 쓰는 오스트리아 지역은 인구 밀도가 너무 낮아 슈퍼마켓 간 경쟁도 많지 않음
  • 오스트리아 식료품 시장은 사실상 3개 기업이 지배하는 대기업 구조도 추가해야 함. 이들은 서로 매장을 바로 옆에 두는 식으로 직접 경쟁하는 일이 드묾
  • 네덜란드와 독일도 비슷함. 국경 근처에 사는데, 독일 식료품점에서 네덜란드산 유기농 채소가 네덜란드에서 같은 채소를 사는 것보다 훨씬 싼 경우가 자주 있음
    일부는 네덜란드의 더 높은 부가가치세 때문이지만, 대부분은 네덜란드인이 독일인보다 더 비싼 가격을 그냥 낸다는 데서 온다고 봄
  • 다만 지난 2년 동안 이런 조건들이 바뀐 것은 아니므로, 현재의 가격 급등을 설명하기엔 부족함
  • 캐나다와 미국도 비슷함. 캐나다는 항상 더 비싸고 선택지도 더 적음

• 오스트리아 개발자이자 소비자로서 올해 내내 이 문제를 가까이 봐왔는데, 아무 정당한 이유 없이 바가지를 쓰고 있는데도 아무것도 바뀌지 않고 아무도 신경 쓰지 않는 게 너무 답답함
  Mario가 이 주제를 계속 붙잡고 이 짜증 나는 광기에 질리지 않은 건 정말 대단함

  • 이런 프로젝트가 넓은 인식을 만들고 소비자들의 조직적 반발로 이어진다면 사람들도 신경 쓰게 될 것임
    기업이 나쁘게 행동하지 않게 하려면 방 안에 어른이 필요함. 감시받지 않으면 기업은 나쁘게 행동한다는 전제에서 출발하는데, 이는 단정이라기보다 검증할 가설에 가까움
    적어도 결과가 없을 때 기업은 더 나쁘게 행동하고, 그래서 예전에는 가격을 올릴 “좋은 이유”가 없었지만 이제는 인플레이션이 가격 인상의 엄폐물이 됨
    이런 지수 데이터 프로젝트는 하나의 분야로 가능성이 커 보이고, 특히 인공지능과 기계학습 시스템이 변화와 추세를 쉽게 관찰하게 해주는 지금은 더 그렇다. 관건은 사람들이 행동할 만큼 사회과학적 분노를 일으킬 충분히 뚜렷한 결론과 관찰을 어떻게 얻느냐임
    아니면 기업이 이런 기술로 소비자에게 불리하게 모든 것을 최적화하는 걸 그냥 받아들이고, 그에 맞서는 화이트햇식 저항에는 쓰지 말아야 하는지도 모름
  • 오스트리아인은 아니지만 오스트리아에 살고 있음. 처음엔 코로나 이후라 다 그렇듯 물가가 오르나 했는데, 지금처럼 가격이 계속 오르는 걸 보면 노골적인 현금 뽑기처럼 느껴지기 시작함
    다만 모두에게 매년 500유로를 Klima bonus로 더 주면 사람들이 뭘 기대한 건지도 모르겠음. 그게 어떻게 인플레이션을 낮춘다는 건지 의문이고, 식료품 체인들이 이걸 이용하고 있는 것 같음
  • 아무 이유 없이 비싸진 게 아니라, 독일에서 가격이 낮은 이유와 정확히 같은 이유로 오스트리아 가격이 높음. 설정한 가격이 회사에 가장 많은 돈을 벌게 해주기 때문임
    가격이 높든 낮든 이유는 늘 같음. 그 가격이 가장 많은 돈을 벌게 해줌
  • 최근 인도의 LinkedIn 영양 인플루언서가 Bournvita라는 우유에 타 먹는 맥아 초콜릿 제품 뒷면의 영양성분표를 그대로 읽었을 뿐인데 DMCA를 맞고 소송 직전까지 갔음
    이런 회사들은 자기 수익에 영향을 주기 시작하면 정말 예민하게 반응함. Bournvita가 아니라 아이들용 비슷한 우유 첨가제였을 수도 있음
  • 탐욕과 더 높은 이익 추구도 그들에게는 충분한 이유임

• 영국과 비슷하다면 슈링크플레이션이 너무 많아서 가격 비교에는 그램당 가격이 필요해질 것임. 제품 크기를 줄이고 성분을 싸게 바꾸는 방식인데, 겉보기엔 같은 포장이어도 초콜릿 바 포장에 공기층이 늘고, 아이스크림 콘 뚜껑 아래 1cm 빈틈이 생기고, 버터 용기 바닥이 움푹 들어가고, 예전엔 곧았던 포장 옆면이 이제는 좁아지는 식임
  이런 “꼼수”는 전부터 있었지만 점점 더 많이 쓰이고 있음. 모든 슈퍼마켓은 전체 재고 데이터베이스를 갖고 있으니 사실상 비용 없이 5분마다 전 제품 최신 가격표를 보낼 수 있음. 입법부가 전문가 조언을 구하지 않거나 구할 생각이 없어 보이지만, 그래도 시작은 시작임

  • 영국에는 이미 그램당 가격, 정확히는 £/KG 단위 가격 표시 의무가 있음
    문제는 식료품점들이 사람들이 “로열티” 카드를 쓰게 만들면 모든 것을 “프로모션 가격”으로 만들 수 있고, 그러면 단위 가격 표시 요건을 피할 수 있다는 점임. 더 높은 원래 가격의 £/KG만 보여주니 소비자가 쉽게 비교할 수 없음
    Aldi나 Lidl에서 쇼핑하면 피할 수 있지만, 그들도 조만간 로열티 카드 전용 가격의 유혹에 넘어가도 놀랍지 않음. 물론 그들 역시 슈링크플레이션은 해왔음
    예: https://www.tesco.com/groceries/en-GB/products/296117381 — “£3.00 / £10.71/kg”이지만 Clubcard 가격은 £2.00
  • 영국 슈퍼마켓은 법으로 요구되는 것 같은데, 단일 제품의 내용물 중량을 표시함. 이는 포장 무게를 제외한 총중량이어야 하므로 꽤 빠르게 분석할 수 있을 것임

• 오스트리아인으로서, 가격 비교 프로젝트는 좋지만 방 안의 코끼리는 독일 식료품점 가격이 같은 제품 기준으로 20~40% 낮다는 것임
  슈퍼마켓 체인의 해명은 기껏해야 수상함. 독일보다 1인당 매장 수가 더 많다거나, 더 비싼 오스트리아 유통업체에서 사야 한다는 식임. 벨기에가 프랑스보다 비싸다는 비슷한 이야기도 들었음
  상황을 바꾸려면 유럽 전역 가격 비교가 필요함

  • 오스트리아의 진짜 문제는 세금이 높고 규제가 많은 나쁜 사업 환경임. 결국 이 분야를 지배하는 플레이어가 몇 개 안 남게 됨
    작은 회사는 제품 선택의 자유나 영업시간 같은 영역에서 혁신할 여지조차 없어서 아예 진입하기 어려움
  • 다른 이유가 있다고 의심하는 건가? 예를 들어 오스트리아에서는 그렇게 해도 통하지만 독일에서는 안 통한다는 식으로? 어떤 설명이라야 “수상하지 않은” 설명이라고 보는지 궁금함
  • 그리스에 있는데, 현지에서 생산된 복숭아 가격이 루마니아에서 파는 같은 그리스산 복숭아보다 더 비쌈. 오늘 보고 충격받았고, 그리스 사람들이 이 말도 안 되는 상황을 어떻게 견디는지 모르겠음. 휘발유 가격도 훨씬 높음

• 온라인에서 서비스와 제품 가격을 수집해보면 흥미로운 것들이 정말 많이 보이고, 대개는 고객에게 손해를 주려는 꼼수임
  이제 EU가 기업들이 표준화된 API로 가격 데이터를 제공하도록 법제화할 때라고 봄. 그래야 모두가 이득을 보고 이런 꼼수를 억제할 수 있음
  실제로 Disney World 휴가 상품 스크래퍼를 만들었고, 전체 숙박 기간 중 일부만 따로 호텔 티켓을 사는 식으로 더 싼 거래를 찾는 방법도 발견했음. 언젠가 휴가 인플레이션 지수로 만들 계획임
  1 - https://mousetrack.co.uk

• 정말 흥미로운 글이었음. 식료품 가격을 평가하고 시간과 비용을 최적화하려고 장보기를 조정하는 일이 너무 피곤한데, 이런 대규모 데이터셋이 있으면 훨씬 쉬워질 수 있음
  미국에 대해 비슷한 가격 분석이 있는지 궁금함

  • 다른 방법은 판매자의 이익률을 확인하는 것임. 미국의 대형 회사들은 모두 상장되어 있으니 Costco, Walmart, Target, Kroger, Albertsons 같은 곳에서 장을 본다면 소매업체가 당신에게 판매하는 비용보다 몇 퍼센트 이상 더 내지는 않는다는 걸 알 수 있음
    물론 매장 안 개별 품목별 이익률은 다르지만, 거의 모든 비조리·유통기한 있는 식품은 가장 낮은 이익률에 속함
    Winco, Aldi, Lidl도 마진이 극히 낮은 것으로 알려진 식료품 업체임

• 다른 Mastodon 서버들이 어떤지는 모르겠지만, 이 서버는 읽기 편함 면에서 Twitter보다 몇 광년 앞서 있음
  언젠가 누군가 그 회사와 제품 설계 접근법에 정확히 무엇이 잘못됐는지 폭로하는 책을 써줬으면 좋겠음

  • 인센티브가 다름. 영구 성장을 추구하는 수천 명 규모의 상장 기업과 커뮤니티 프로젝트는 목표가 다를 수밖에 없음
    전자는 자원이 더 많지만, 후자는 사명 지향성이 더 강함
  • 이건 기본 Mastodon 모양인 것 같음. 별도 프런트엔드도 쓸 수 있음
  • 기본 Mastodon 스타일의 어두운 모드와 단일 패널 화면임
    Tweetdeck과 비슷하다는 다중 패널 “고급 보기”도 있음
    어두운 모드를 선호하는 사람도 있지만 전자잉크 기기에서는 읽기가 정말 끔찍함. 특정 인스턴스에 로그인하지 않으면 테마를 바꿀 수 없어서 관련 이슈 요청을 열어둔 상태임

• 훌륭한 스레드이고, 똑똑하고 기술 역량 있는 시민의 힘을 보여줌

  • 해외나 독일을 자주 가는 오스트리아 소비자들은 오래전부터 자신들이 속고 있다는 걸 알고 있었지만 증명할 수 없었고, 이제는 증명할 수 있게 됨. 더 중요한 질문은 그 결과 무엇이 나오느냐임. 데이터는 대형 유통업체들이 가격 담합에 명확히 협력하고 있음을 보여줌
    내 예상은 아무 일도 안 일어날 것임. 이를 감시해야 할 정부 규제기관은 문제없다고 결론 낼 가능성이 큼. 정치권 일을 마치면 이 유통업체들의 로비스트나 “컨설턴트”로 가도록 이미 매수되어 있다고 보기 때문임
    약 6년 전 오스트리아의 3대 통신사가 정확히 같은 시점에 함께 가격을 올렸는데, 담당 정부기관은 세 회사가 가격 담합을 공모했다는 증거가 없고 우연일 수도 있다며 사건을 닫았음
    이 나라는 너무 부패해서 뿌리까지 썩었음. 소비자이자 납세자로서 정부의 축복 아래 모든 방향에서 합법적으로 털리고 있는데, 다른 많은 나라에서도 비슷할 것 같음

• 오스트리아인으로서 이 링크를 몇몇 기자와 친구들에게 보냈음. 이걸 어떻게 실행 가능한 행동으로 만들어 정치권이 움직이게 하고 소비자에게도 도움이 되게 할 수 있을지 궁금함