[GN#76] FT의 데이터플랫폼 구축기와 슬랙의 Vitess 도입기
2020-12-14 ~ 2020-12-20 사이의 주요 뉴스들
신문(Newspaper)은 디지털의 발전과 함께 빨리 없어질 것만 같은 미디어입니다만, 100년 넘게 유지해온 신문사들도 자신들을 바꿔가려고 다양하게 노력을 하고 있습니다. 뉴욕타임스의 디지털 트랜스포메이션은 제가 기사 및 동영상으로도 찍어서 공유해 드렸었는데요. 이번 주에는 Financial Times 가 자신들의 내부 데이터 플랫폼 구축기를 상세하게 적어서 공개했습니다. 꼭 신문사뿐만 아니라, 기존 데이터 처리를 배치 처리에서 실시간으로 바꿔야 할 회사들이 참고하기에도 좋은 자료가 될 것 같습니다.
클라우드 시대로 오면서 MySQL 기반의 대용량 데이터베이스를 쓸 때 Amazon RDS / Google Cloud SQL 처럼 알아서 확장해주는 서비스를 사용하는 게 간편한 선택방식이 되었습니다. 하지만, 상황상 이런 업체들의 서비스를 선택하지 못하고 직접 DB 서버를 호스팅 하는 경우에는 Scaling 이 문제가 되는데요. Slack이 Vitess 를 활용하여 자신들의 데이터스토어를 확장한 방법을 상세히 적어서 공유했습니다. Vitess 는 유튜브의 엄청난 MySQL 트래픽 문제를 해결하기 위해서 만들어진 솔루션으로 지금은 CNCF의 오픈소스 프로젝트가 되었습니다. MySQL 앞단에서 대규모 샤딩을 효율적으로 처리하는 미들웨어로 동작하며 사용자는 VTGate라는 프록시를 통하게 되므로 기존처럼 MySQL에 접속하듯이 사용할 수 있는 장점을 가지고 있습니다. MySQL을 대규모로 사용하고 계신 조직에서는 참고하시기 바랍니다.
연말이 가까워 지면서, 내년 예측들이 하나둘 나오기 시작했는데요. The Information은 매년 이맘때쯤 자사 기자들이 예측한 내용을 정리해서 발표하는데 작년에 이어 올해도 중요한 내용을 간략히 요약해 봤습니다. 전 올해 대형 테크 IPO가 많았어서 내년에는 없겠지 했는데, Confluent/Robinhood/Chime 등이 IPO 할 것이라고 나와서 더 찾아보니 Instacart/Stripe/Lime/Zapier/Roblox/Coinbase 등까지 이름 알려진 테크 기업들이 줄줄이 상장을 준비하고 있다는 게 솔깃하더군요. 신규 IPO한 주식들만 투자하는 IPO ETF가 더 잘될 거 같다는 예상도 해봅니다.
✓ 사내에서 슬랙을 쓰신다면 뉴스채널에 GeekNews SlackBot 을 추가하여 편하게 새 글을 받아보시고, 멤버들에게도 공유해주세요.
✓ 주위분들께 긱뉴스 위클리 - https://news.hada.io/weekly 를 추천해 주세요.
✓ Twitter , Facebook 에서도 긱뉴스를 받아 보실 수 있습니다.
✓ 긱뉴스를 팟캐스트로 들어보세요 : 애플, 유튜브, 팟티, 팟빵, 구글, 네이버 오디오클립
클라우드 시대로 오면서 MySQL 기반의 대용량 데이터베이스를 쓸 때 Amazon RDS / Google Cloud SQL 처럼 알아서 확장해주는 서비스를 사용하는 게 간편한 선택방식이 되었습니다. 하지만, 상황상 이런 업체들의 서비스를 선택하지 못하고 직접 DB 서버를 호스팅 하는 경우에는 Scaling 이 문제가 되는데요. Slack이 Vitess 를 활용하여 자신들의 데이터스토어를 확장한 방법을 상세히 적어서 공유했습니다. Vitess 는 유튜브의 엄청난 MySQL 트래픽 문제를 해결하기 위해서 만들어진 솔루션으로 지금은 CNCF의 오픈소스 프로젝트가 되었습니다. MySQL 앞단에서 대규모 샤딩을 효율적으로 처리하는 미들웨어로 동작하며 사용자는 VTGate라는 프록시를 통하게 되므로 기존처럼 MySQL에 접속하듯이 사용할 수 있는 장점을 가지고 있습니다. MySQL을 대규모로 사용하고 계신 조직에서는 참고하시기 바랍니다.
연말이 가까워 지면서, 내년 예측들이 하나둘 나오기 시작했는데요. The Information은 매년 이맘때쯤 자사 기자들이 예측한 내용을 정리해서 발표하는데 작년에 이어 올해도 중요한 내용을 간략히 요약해 봤습니다. 전 올해 대형 테크 IPO가 많았어서 내년에는 없겠지 했는데, Confluent/Robinhood/Chime 등이 IPO 할 것이라고 나와서 더 찾아보니 Instacart/Stripe/Lime/Zapier/Roblox/Coinbase 등까지 이름 알려진 테크 기업들이 줄줄이 상장을 준비하고 있다는 게 솔깃하더군요. 신규 IPO한 주식들만 투자하는 IPO ETF가 더 잘될 거 같다는 예상도 해봅니다.
✓ 사내에서 슬랙을 쓰신다면 뉴스채널에 GeekNews SlackBot 을 추가하여 편하게 새 글을 받아보시고, 멤버들에게도 공유해주세요.
✓ 주위분들께 긱뉴스 위클리 - https://news.hada.io/weekly 를 추천해 주세요.
✓ Twitter , Facebook 에서도 긱뉴스를 받아 보실 수 있습니다.
✓ 긱뉴스를 팟캐스트로 들어보세요 : 애플, 유튜브, 팟티, 팟빵, 구글, 네이버 오디오클립
매주 월요일 아침, 지난 일주일간의 GeekNews 중 엄선한 뉴스들을 이메일로 보내드립니다.
- Financial Times의 데이터플랫폼 구축기
- Vitess를 활용한 Slack의 데이터스토어 스케일링
- The Information의 2021년 예상
- faasd - 초경량 포터블 Function-as-a-Service 엔진
- .vimrc 파일에 꼭 넣는 5줄
- Typesense를 활용한 검색용 API 서버 그리고 데모용 웹페이지 만들기
- 구글, 이미지 최적화 앱 Squoosh v2 공개
- 진정성과 스타트업 (번역)
- imgdiff - 정말 빠른 이미지 비교 도구
- PoloDB - Embedded JSON DB
- 빅 테크들을 쪼개는 것이 효과를 낼까?
- 2020 디자인 툴 설문조사
- Vercel의 버추얼 이벤트 스타터킷
- 2020-12-14 Google 장애 보고서
- Cloudflare, 빠른 시간 안에 빠른 사이트를 빌드할 수 있게 해주는 Cloudflare Pages 공개
- 3000개 이상의 아이디어
- Facebook IQ의 2021년 핵심 주제 및 트렌드 보고서 [40p PDF, 한국어]
- meli - 스태틱 사이트 호스팅 플랫폼 오픈소스
- 인스타그램 미디어 받기 단축어
- 2020 Web Almanac - 웹의 현재 보고서
- Rust Survey 2020 결과
- 페이스북 : iOS14의 정책은 작은 비즈니스를 해치고 있다
- AWS CloudShell 공개 - 클라우드 관리용 브라우저 쉘
- DB Diagram - 온라인 ERD 편집기
- JSweet - Java to JavaScript 트랜스파일러
- Ampere Altra - 2x 80코어 ARM 서버 CPU 리뷰
- Microsoft, Azure 서버와 Surface PC를 위한 자체 ARM 칩 개발 중