[GN#122] 2021년 데이터/ML/AI 업계 지도와 최신 트렌드

2021-11-01 ~ 2021-11-07 사이의 주요 뉴스들
Data와 AI는 근래 IT산업에서 가장 뜨거운 주제입니다. FirstMark의 VC인 Matt Turck는 2012년부터 2년 단위로 빅데이터 에코시스템을 조망하는 보고서를 만들어 왔는데요. 2017년부터는 변화가 많아서 매년 "Data & AI Landscape"라는 제목으로 업계를 총망라한 이미지 한 장과 상세한 설명을 곁들여 인기를 끌고 있습니다. 올해의 주제는 저도 흥미가 생겨서 조금 상세히 옮겨 봤습니다. "모든 회사는 단순한 소프트웨어 회사가 아니라 데이터 회사가 되고 있다" 로 시작해서 "미래에는 모든 회사가 적어도 하나의 클라우드 데이터 웨어하우스를 가지게 될 것"으로 이어지는 업계 조망과 함께 작년 최대의 소프트웨어 IPO였던 Snowflake 와 곧 IPO 하게 될 Databricks 와의 대립, 그리고 주요 트렌드인 DataMesh, Data/Model Ops, Metrics/Feature Store, Reverse ETL 등 이 분야를 폭넓게 다루고 있으니 천천히 읽어보시길 권해 드립니다.

CI/CD 가 일상화되고 개발환경이 바뀌면서 예전에 얘기하던 "데드라인"은 이제 의미가 많이 없어졌는데요. "데드라인을 효율적으로 써서 행복하고 생산적인 팀 구축하기" 라는 글에서는 이 데드라인을 창의성을 발휘하는 데 도움이 되도록 사용하거나, "Giving"을 관리하는 도구로 사용하는 방법을 정리했습니다. 특히나 두 번째 방법에서 Giver, Taker, Matcher 를 구분하고, Giver가 가장 큰 성과를 내면서 조직에도 좋은 영향을 주는데 그 Giver를 관리하는 도구로 사용한다는 게 아주 흥미로웠습니다. 댓글에 Giver에 대한 영상링크와 그 요약도 있으니 꼭 참고하세요.

제가 좋아하는 개발자 에반젤리스트인 Christian Heilmann이 "브라우저 개발자 도구의 비밀"이란 글에서 최신 브라우저들이 가지고 있는 개발자도구의 유용한 기능들을 한데 정리했습니다. Console 창의 기능을 자유자재로 사용하는 건 정말 유용한 것 같아요.

연차가 높아가고 직책이 올라가는데 일이 줄어 들지 않는다면, 아마도 "위임"을 잘하지 못하기 때문일 수 있습니다. "위임 101: 무엇을 위임할지 파악하기" 에서는 할 일들을 목록으로 정리하고 위임할 아이템들을 고르는 방법을 설명합니다. 다음 글이 기대되네요.

[ 금주의 Ask - 다양한 질문을 올려주세요 ]


[ 금주의 Show - 직접 만드신 오픈소스나, 재직중인 스타트업의 제품/서비스를 소개해주세요]


✓ 사내 커뮤니케이션 도구들에 GeekNews Bot을 추가해서 편하게 새 글을 받아보시고, 멤버들에게도 공유해주세요. : Slack Bot, 잔디 Bot, MS Teams Bot, Discord Bot
✓ 주위분들께 긱뉴스 위클리 - https://news.hada.io/weekly 를 추천해 주세요.

매주 월요일 아침, 지난 일주일간의 GeekNews 중 엄선한 뉴스들을 이메일로 보내드립니다.


2021년 데이터/ML/AI 업계 지도와 최신 트렌드

이미지 1장으로 정리한 2021 Data & AI Landscape 와 상세한 설명
1. 거시적 관점 : 생태계의 복잡성 이해하기
2. 자금조달 , IPO 및 M&A
3. The 2021 Landscape
4. 데이터 인프라스트럭쳐의 주요 트렌드
ㅤ→ Data Mesh
ㅤ→ DataOps에게 바쁜 한해
ㅤ→ 이제는 실시간
ㅤ→ Metrics Store
ㅤ→ Reverse ETL
ㅤ→ Data Sharing
5. 분석 & 엔터프라이즈 AI의 주요 트렌드
ㅤ→ Feature Store
ㅤ→ ModelOps의 부상
ㅤ→ AI 콘텐츠 생성
ㅤ→ 중국 AI 스택의 발전

## "거시적 관점 : 생태계의 복잡성 이해하기"
- 왜 데이터&AI 회사들이 계속 생겨나고, 언제까지 이렇게 갈까 ?
- 근본적인 추세는 "모든 회사는 단순한 소프트웨어 회사가 아니라 데이터 회사가 되고 있다는 것"
- 많은 조직에서 "데이터"는 RDBMS에 저장된 트랜잭션 데이터와 지난 몇달간 생긴 일에 대한 분석을 위한 몇개의 대시보드를 의미했음
- 하지만 이제 기업들은 "데이터와 인공지능"이 "분석 및 운영"을 위해서 "내부 프로세스와 외부 어플리케이션"에 내장되는 세상을 향해 가고 있음
- 이런 근본적인 진화는 기반 기술의 놀라운 발전 - 특히 "데이터 인프라와 머신러닝/AI"의 공생관계(Symbiotic Relationship)에 의해 만들어 짐
ㅤ→ 두 분야가 점점 더 긴밀하게 협력
ㅤ→ 첫번째는 2010년대 초의 "빅 데이터 시대" 였음
ㅤ→ 이 빅데이터를 10년 이상된 오래된 AI 알고리듬(딥러닝)에 적용하면 놀라운 결과를 얻을 수 있다는 걸 알게되면서 AI에 대한 흥분을 이끌어 냄
ㅤ→ 결과적으로 AI가 데이터 인프라 개발의 중요 드라이버가 되었음
ㅤ→ AI 기반으로 모든 어플리케이션을 구축하게 된다면, 더 나은 데이터 인프라가 필요할 것
- 2021년까지 오는 동안 Big Data, AI 용어들이 모두 기복을 겪었고, 요즘엔 "Automation"에 대한 얘기를 많이 듣지만 기본적으로 이건 다 동일한 메가 트렌드 임

- 요즘 Data/AI 분야에서의 가속화는 지난 몇년간 클라우드 데이터 웨어하우스의 성장에서 추적할 수 있음
- 데이터 웨어하우스는 아주 기본적이지만 데이터 인프라스트럭처의 필수요소인 "어디에 저장할 것인가"를 해결
ㅤ→ Big Data 혁명이 시작된지 15년이 넘게 지나서 그 문제는 해결되었다고 생각하겠지만 그렇지 않음
ㅤ→ 돌이켜 보면 Hadoop 의 초기 성공은 어느정도 공간에 대해서는 가짜 였음
ㅤ→ 방대한 양의 데이터에서 실제 가치를 추출이 가능하다는 아이디어 전달면에서는 중요했지만, 기술적 복잡도 때문에 몇몇 회사에서만 사용하는데 그치면서 시장에 침투하지 못함
- 요즘의 클라우드 데이터 웨어하우스(Snowflake, Redshift, BigQuery)와 레이크하우스(Databricks) 는
ㅤ→ 비용도 적게 들고
ㅤ→ 엄청 많은 기술적인 인력을 필요로 하지도 않고도
ㅤ→ 유용한 방식으로 방대한 데이터를 저장할 수 있는 기능을 제공
- 다시 말해, 이제서야 정말로 Big Data를 저장하고 처리할수 있게 되었음. 이게 정말 중요한 일이고, 다른 Data/AI 분야에 대한 Major Unlock(주요 잠금 해제)이 된 것으로 입증됨
ㅤ→ 첫째, 데이터 웨어하우스는 전체 데이터 및 AI 생태계에 대한 시장 규모를 증가시킴. 사용 편이성과 사용량 기반 가격책정으로 데이터 웨어하우스는 모든 회사가 데이터회사가 되는 Gateway가 됨
ㅤ→ 둘째, 데이터 웨어하우스가 그 주변 도구를 비롯한 에코시스템을 사용할 수 있게 해줌.
ㅤㅤ⇨ ETL, ELT, 리버스 ETL, 웨어하우스 중심 데이터 퀄리티 도구, 지표 저장소, augmented analytics 등
ㅤㅤ⇨ "Modern Data Stack" ( https://news.hada.io/topic?id=3055 참고 )
ㅤㅤ⇨ 최신 데이터 스택의 출현으로 많은 신생기업들이 생겨났고 투자가 집중됨 (DBT, Fivetran..)
ㅤ→ 셋째, 데이터 웨어하우스가 가장 기초적인 스토리지 계층을 해결해 주기 때문에, 기업이 데이터 요구 계층에서 더 높은 가치를 지닌 프로젝트에 집중할수 있게 됨
ㅤㅤ⇨ 이제 데이터를 저장했으므로, 실시간 처리, 증강 분석, 머신 러닝 같은 작업에 쉽게 집중가능
ㅤㅤ⇨ 이것은 차례로 모든 종류의 데이터/AI도구 및 플랫폼에 대한 시장수요를 증가 시킴
ㅤㅤ⇨ 더 많은 고객의 요구가, 데이터/ML 회사들에서 더 많은 혁신을 만들어 내는 Flywheel을 만들어 냄

"데이터 웨어하우스는 전체 데이터 산업의 중요 신호이고, DW가 성장함에 따라 나머지도 같이 성장하게 됨"

- 데이터/AI 산업에 좋은 뉴스는 데이터 웨어하우스와 레이크하우스가 엄청 빠르고 크게 성장하고 있다는 것
ㅤ→ Snowflake는 Q2 발표 기준 YoY로 103% 성장했고, Net Revenue Retention이 169%라는 놀라운 숫자를 보여줌 (기존 고객이 점점 더 많이 사용한다는 것)
ㅤ→ 2028년 매출 12조원($10B)를 예상
- 혹자들은 미래에는 모든 회사가 적어도 하나의 클라우드 데이터 웨어하우스를 가지게 될 것이라고 얘기 하기도 함

## "The Titanic Shock: Snowflake vs Databricks"
- Snowflake 는 최근 데이터 분야의 대표 주자. 그들의 2020/9월 IPO는 소프트웨어 IPO사상 가장 컸음. 글쓰는 현재 $95B 회사
- 새로운 산업 내 경쟁자로 Databricks가 떠오름. 8/31에 $38B 가치로 $1.6B 펀딩 완료
- 최근까지 두 회사는 시장에서 상당히 다른 부문에 속해 있었음(실제로 한동안 긴밀한 파트너였음)
- Snowflake는 클라우드 데이터 웨어하우스로서, 대량의 구조화된 데이터(행과 열에 잘 저장가능한)를 저장하고 처리하는 DB
ㅤ→ 기업이 BI도구를 연결해서 과거 및 현재 성과("지난 분기에 가장 빠르게 성장한 지역은?")에 대한 질문에 답하는데 사용
ㅤ→ 다른 DB와 마찬가지로 SQL을 활용해서 수백만의 잠재 사용자를 보유
- Databricks는 데이터 세계의 다른 구석에서 왔음
ㅤ→ 2013년에 오픈소스인 Spark를 상용화 하는 것으로 시작
ㅤ→ 일반적으로 비구조화된 데이터(텍스트,오디오,비디오)를 처리하도록 만들어진 것
ㅤ→ Spark 사용자들은 데이터 구조나 조직을 걱정하지 않고 어떤 데이터든 담을수 있는 "Data Lake"를 구축하는데 사용했음
ㅤ→ 데이터 레이크의 주요 용도는 ML/AI 애플리케이션을 훈련시켜서 기업이 미래에 대한 질문에 답할수 있도록 하는 것("다음 분기에 구매할 가능성이 가장 높은 고객은?" 즉, 예측 분석)
ㅤ→ Databricks는 데이터 레이크 지원을 위해 Delta를 만들고, ML/AI를 지원하기 위해 ML Flow를 만듦
- 그러나 최근에는 두 회사가 서로를 향해 수렴
ㅤ→ Databricks는 데이터 레이크에 DW기능을 넣어서 분석가들이 표준 SQL 쿼리를 실행하고, Tableau나 MS PowerBI 같은 도구를 연동. "Lakehouse" 라고 부르는 것을 만들어 냄
ㅤ→ Databricks는 데이터 레이크를 더 데이터 웨어하우스 스럽게 만들고, Snowflake는 데이터 웨어하우스를 데이터 레이크로 보이도록 비구조화 데이터(오디오,비디오,PDF,이미지등) 저장 기능을 프리뷰로 공개
ㅤ→ Databricks는 AI기능에 BI를 추가하고 있고, Snowflake는 BI 호환성 기능에 AI를 추가하고 있음
- 최종적으로는 Snowflake 와 Databricks 둘다 "The center of all things data" 가 되고 싶어함
ㅤ→ 모든 데이터를 저장하는 하나의 저장소. 구조적/비구조적 데이터를 다 저장하고, 과거부터 미래 예측까지 모든 분석을 수행
- 물론 많은 경쟁자 들이 있음(AWS,GCP 같은 클라우드 하이퍼스케일러들)
- Snowflake 와 Databricks 모두 클라우드 벤더와는 친구이자 적(Friend and Foe)
ㅤ→ AWS기반으로 성장한 Snowflake 는 다름 클라우드로 확장중
ㅤ→ Databricks는 MS와 강력한 파트너십이 있지만, 멀티 클라우드 기능을 통해 벤더 락인되지 않도록 돕고 있음
ㅤ→ 지난 몇년간, 비판자들은 Snowflake 와 Databricks 의 비즈니스 모델이 클라우드업체의 가격 결정에 따라 마진이 좌우된다고 비판해온 바 있음
- 다음 5년간 클라우드 제공업체와 데이터 거물(Behemoth) 사이의 춤을 지켜보는 것이 결정적인 이야기가 될 것

## "Bundling, Unbundling, Consolidation?"
- Snowflake 와 Databricks 둘의 상승을 감안할 때, 이게 업계에서 기다려온 통합 물결의 시작일까 ?
- 데이터 / AI 분야에서 "기능 통합(functional consolidation)은 일어나고 있음"
- 하지만 다들 마찬가지임. 누구도 단일제품 회사가 되기 보다는 더 많은 것을 번들링하고 더 많은 기능을 가지고 싶어 함
ㅤ→ 2021/6에 상장한 Confluent 역시 실시간 데이터 분야를 넘어서 "움직이는 데이터와 정적인 데이터의 처리를 통합" 하는 것을 목표로 하고 있음
ㅤ→ Dataiku는 데이터 준비과정부터 DataOps,MLOps, 시각화 AI explainability 등을 하나의 플랫폼에 번들링하는데 중점을 둠
- 최신 데이터 스택의 출현은 기능 통합의 또 다른 예
ㅤ→ 그 핵심은 데이터 추출에서 데이터 웨어하우스, BI까지 연결되는 기업(대부분 스타트업들)들의 사실상 "동맹"임
- 이런 기술 사용자 들에게 번들링 및 컨버전스는 많이 환영받을 것
ㅤ→ 점점 더 성숙해 지면서 데이터 산업은 "트랜잭션 vs. 분석", "배치처리 vs. 실시간", "BI vs AI" 같은 Technology Divide를 넘어서 진화해 가야함
- 기업들은 계속 여러 벤더/플랫폼/도구들과 협력해서 필요에 가장 적합한 조합을 만들어 갈 것

- 핵심 이유는 "혁신의 속도가 너무 폭발적"
ㅤ→ 계속 새로운 스타트업이 나오고, 빅테크 기업들이 내부에서 데이터/AI도구를 만들어서 오픈소스화하고, 모든 기존 기술/제품에 대해서 매주 새로운 것이 등장

- 빅 데이터 웨어하우스 및 데이터 레이크 벤더들이 모든 데이터를 중앙 집중화 하도록 밀어 붙이고 있는데, "Data Mesh"와 같은 새로운 프레임워크들도 출현
ㅤ→ 다양한 팀이 각자 책임을 지는 분산 접근 방식

- 기능 통합 외에 M&A가 일어날지는 알기 어려움
ㅤ→ 사람들이 좋아하는 소문중에 "MS가 Databricks를 인수하고 싶어한다"는 것도 있음

## "Financings, IPOs, M&A: A Crazy Market"
- 스타트업 시장 좀 본사람이라면 알겠지만, 시장이 미쳤음
- 작년에 이어 올해도 데이터와 ML/AI가 가장 핫한 투자 카테고리
- 상장 예정 회사들
ㅤ→ UiPath : RPA 및 AI 자동화 회사
ㅤ→ Confluent : Kafka
ㅤ→ C3.ai : AI 플랫폼
ㅤ→ Couchbase : no-SQL DB
ㅤ→ SentinelOne : 자동화 AI Endpoint 보안 플랫폼
ㅤ→ TuSimple : 셀프드라이빙 트럭
ㅤ→ Zymergen : 바이오 매뉴팩처링
ㅤ→ Recursion : AI드리븐 신약 제조 회사
ㅤ→ Darktrace : AI기반 사이버 시큐리티
- SPAC 증가로 AI 시장 최전선에 있는 기술회사들이 수혜를 받을 것(자율운전, 바이오테크등)

## "The 2021 MAD Landscape & What’s New this Year"
- 올해 지도에선 "Analytics and Machine Intelligence"를 “Analytics” 와 “Machine Learning & Artificial Intelligence” 로 분리
- 새로운 카테고리 추가
ㅤ→ Infrastructure
ㅤㅤ⇨ Reverse ETL : 데이터 웨어하우스에서 SaaS 어플리케이션으로 다시 데이터를 전송하는 제품들
ㅤㅤ⇨ Data Observability : 데이터 계보(Lineage)를 기반으로 데이터 품질 문제를 해결하는데 중점을 둔 DataOps의 구성요소
ㅤㅤ⇨ Privacy & Security : 데이터 프라이버시가 점점 중요해지고, 많은 스타트업들이 이 카테고리에 등장
ㅤ→ Analytics
ㅤㅤ⇨ Data Catalogs & Discovery : 지난 12개월간 가장 바빴던 카테고리. 사용자들이 원하는 데이터셋을 찾고 관리할수 있게 함
ㅤㅤ⇨ Augmented Analytics : BI 도구들이 NLG/NLP의 발전을 활용하여 자동으로 인사이트를 생성하고, 비기술 청취자들에게 데이터를 접근 가능하게 함
ㅤㅤ⇨ Metrics Stores : 주요 비즈니스 메트릭을 위한 중앙 저장소. 데이터 스택에 새로 진입
ㅤㅤ⇨ Query Engines
ㅤ→ Machine Learning and AI
ㅤㅤ⇨ MLOps 카테고리를 세분화 : Model Building, Feature Stores, Deployment and Production
ㅤ→ Open Source
ㅤㅤ⇨ Format, Orchestration, Data Quality & Observability 추가
- 예전에는 시리즈 C이상의 스타트업 또는 상장기업등이 많았는데, 올해는 시리즈A/시드 단계의 회사들이 많이 추가 됨

## "데이터 인프라스트럭처의 주요 트렌드"
- 2020
ㅤ→ Modern Data Stack(최신 데이터 스택)이 메인스트림으로
ㅤ→ ETL vs ELT
ㅤ→ 데이터 엔지니어링의 자동화?
ㅤ→ 데이터 분석가의 부상
ㅤ→ 데이터 레이크와 데이터 웨어하우스가 합쳐질까?
ㅤ→ 아직 해결하지 못한 복잡성

- 2021
ㅤ→ Data Mesh
ㅤ→ DataOps에게 바쁜 한해
ㅤ→ 이제는 실시간
ㅤ→ Metrics Stores
ㅤ→ Reverse ETL
ㅤ→ Data Sharing

[Data Mesh]
- Zhamak Dehghani 가 2019년에 주장한 "How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh" 에서 유래
- 2020~21 사이에 많은 모멘텀
- 데이터 메쉬 컨셉은 대부분 조직적인 아이디어
- 지금까지 데이터 인프라와 팀을 구축하기 위한 표준 방법은 중앙 집중화. 한 데이터 팀이 괸리하는 한개의 큰 플랫폼이 비즈니스 요구를 충족시킴
- 장점이 많지만 병목현상등 문제도 발생
- 탈 중앙화를 통해서 각자 도메인을 담당하는 독립적인 데이터 팀을 만들고 조직내의 다른 사람들에게 "제품으로" 데이터를 제공 하는 것
ㅤ→ 소프트웨어 공학에서 얘기하는 마이크로서비스 개념과 비슷
- 여러가지 의미를 가지는데
ㅤ→ 이게 가능하게 되면, 분산 데이터 스택에서 미션 크리티컬한 도구를 만드는 신생기업들에게 큰 기회가 될 것
- 여러 저장소를 통합 쿼리 및 분석하는 SQL Query Engine인 Starburst는 자신들을 "데이터 메쉬를 위한 분석 엔진"으로 리브랜딩 했음
- 복잡한 파이프라인을 관리하는 오케스트레이션 엔진(Airflow, Prefect, Dagster)같은 것들이 더욱 미션 크리티컬해 질 것
- 저장소와 파이프라인 전산에서 데이터를 추적하는것은 컴플라이언스 & 거버넌스 측면에서 더 필수적이 되어 데이터 계보(Data Lineage)의 필요성이 강화 (OpenLineage, DataKin)

[DataOps에게 바쁜 한해]
- DataOps 개념이 몇년간 떠돌아 다니다가 최근에 실제로 활성화
- 여러 정의가 존재
ㅤ→ 데이터세계의 DevOps
ㅤ→ 데이터 파이프라인을 구축 및 유지 관리하고, 데이터 카탈로그를 통해 올바른 데이터셋을 찾고, 데이터 생산자와 소비자가 필요한 작업을 수행하는데 필요한 모든 것
- 어쨋거나 DevOps와 마찬가지로 "방법론, 프로세스, 사람, 플랫폼 및 도구의 조합"
- 넓은 맥락에서 "데이터 엔지니어링 도구와 프랙티스"들이 소프트웨어 엔지니어링의 자동화 수준보다 많이 뒤떨어져 있다는 것
- 데이터/AI가 중요해 질수록 더 나은 도구와 프랙티스가 필요함
- 모두 "데이터 세계의 DataDog"이 되고 싶어함 (실제로 DataDog가 DataOps에 쓰이기도 하지만, 기본적으로 소프트웨어 엔지니어링 기반임)
- Data observability, Data Lineage, Data Quality, Data Reliability Engineering, Data Access & Governance 등 다양한 서브 파트가 있음

[이제는 실시간]
- "실시간" 또는 "스트리밍" 데이터는 생성된 직후에 바로 처리 및 소비되는 데이터
- 현재까지 데이터 인프라의 지배적 패러다임인 "배치"에 반대 되는 것
- 실시간 데이터 처리는 10-15년전 빅 데이터 시대 초기부터 뜨거운 주제였음
ㅤ→ 특히 처리속도가 하둡MR에 비해 Spark의 성공을 촉진한 핵심
- 하지만 몇년간 "곧 폭발할"시장이었지만 폭발하지는 않았음
- Confluent IPO의 대성공이 반대론자들이 틀렸다는 것을 증명
- 그리고 컨플루언트를 넘어 전체 실시간 데이터 생태계가 가속화 되었음
- 특히 "실시간 분석"이 많은 활동을 보임
ㅤ→ 러시아 Yandex에서 만든 ClickHouse가 미국에서 회사를 설립하고 $50M 투자를 받음
ㅤ→ Druid 오픈소스 기반의 실시간 분석 플랫폼 Imply가 $70M 투자 받음

[Metrics Stores]
- 지난 몇 년간 기업의 데이터 및 데이터 사용빈도와 복잡성이 증가
- 복잡성이 증가하면서 데이터 불일치로 인한 골칫거리도 함께 증가
- 지표(Metric)들은 디멘젼/정의 및 다른 원인으로 약간만 변경되어도 잘 못 정렬될 수 있음
- 데이터는 팀이 사용할때 정확하고 신뢰할수 있는 경우에만 유용
- 지표를 중앙화 하려는 시도가 AirBnB의 Minerva 같은 자체 솔루션 개발로 이어짐 "Define Once, Use Anywhere"
- 주요 비즈니스 지표 및 모든 디멘젼의 정의를 표준화하고, 이해 관계자들에게 해당 정의 기반으로 정확하고 분석 가능한 데이터 세트를 제공
- 중앙 집중화한 지표 정의를 기반으로 데이터에 대한 신뢰를 구축하고, 누구에게나 지표에 대한 교차 기능 액세스를 제공
- 지표 저장소는
ㅤ→ 데이터 웨어하우스 상단에 위치해서 BI 플랫폼, 분석 및 데이터사이언스 도구, 운영 어플리케이션을 포함한 모든 다운스트림 어플리케이션에 데이터를 알림
ㅤ→ 데이터가 일관성을 유지하도록 해서, 비즈니스 로직이 변경되면 자동으로 채워짐
- Transform, Trace, Supergrain 같은 스타트업이 있음

[Reverse ETL]
- 최신 데이터 스택에서 Reverse ETL이 하나의 카테고리가 됨
- 데이터 웨어하우스에서 CRM, 마케팅자동화 시스템, 고객지원 플랫폼과 같은 비즈니스 어플리케이션으로 데이터를 다시 이동
- 실제 운영 도구들이 다른 비즈니스 어플리케이션에서 강화된 최신 데이터를 활용할 수 있도록 하는 것
- 많은 Reverse ETL 도구들이 펀딩 받음 : Census, Rudderstack, Grouparoo, Hightouch, Headsup, Polytomic

[Data Sharing]
- 기업내 뿐만 아니라 조직 전반에서 데이터 공유 및 데이터 협업의 부상
- 공급망 가시성 및 머신러닝 모델 학습, 시장 출시 계획 공유등을 위해서 공급 업체, 파트너 및 고객등의 에코시스템과 데이터를 공유하고 싶어함
- 조직 간 데이터 공유는 "데이터 클라우드" 벤더의 핵심 테마
- 2021/5월에 구글은 Analytics Hub를 런칭. 조직 내/외부에서 데이터/인사이트/대쉬보드/머신러닝 모델을 공유. 또한 금융서비스를 위한 DataShare도 공개
- 구글과 같은 날에 Databricks는 Delta Sharing을 공개. 조직간 데이터 공유를 위한 오픈소스 프로토콜
- 2021/6월에 Snowflake는 데이터 마켓플레이스를 통해서 Secure Data Sharing 기능을 공개
- Habr, Crossbeam 같은 스타트업들이 있음

## "ML/AI의 주요 트렌드"
2020
- Boom time for data science and machine learning platforms (DSML)
- ML getting deployed and embedded
- The Year of NLP

2021
- Feature Stores
- The rise of ModelOps
- AI content generation
- The continued emergence of a separate Chinese AI stack

- 인공지능에 대한 연구는 빠른 속도로 계속 발전 중
ㅤ→ DeepMind Alphafold, OpenAI GTP-3/DALL-E/CLIP

[Feature Stores]
- Uber가 2017년에 아이디어를 소개한 뒤로 머신러닝 스택에서 점점 더 일반화
ㅤ→ Tecton, Rasgo, Logical Clocks, Kaskada 같은 회사들이 펀딩 라운드
- 머신러닝에서 피쳐(변수 또는 속성)는 개별로 측정가능한 속성 또는 특성으로 데이터 스니펫에서 컬럼으로 표현
ㅤ→ 머신 러닝 모델은 단일 피쳐에서 수백만개까지의 피쳐를 이용 가능
- 점점 더 복잡한 모델과 파이프라인을 사용하면서 점점 더 Ad-Hoc하게 수행되었음
- 엔지니어와 데이터 과학자들은 종종 Raw 데이터에서 피쳐를 다시 추출하는데 많은 시간을 소비
- 프로덕션 환경과 실험 환경의 격차는 모델 성능이나 동작에 불일치를 유발할 수 있음
- 조직은 머신 러닝 모델의 거버넌스 및 재현성등에만 관심이 있어서, 피쳐의 사일로화는 실제로 더 어렵게 만듬
- 피쳐 스토어는 협업을 촉진하고 이 사일로를 없앰
- 학습 및 프로덕션 모두에서 단일 정보 소스를 제공해서 복잡성을 줄이고 피쳐를 표준화 및 재사용
- 조직내의 선별된 피쳐를 저장하고, 원시 데이터를 피쳐 밸류로 변환하는 데이터 파이프라인을 실행하고, API를 통해서 빠른 억세스를 제공

[The Rise of ModelOps]
- 많은 회사들이 실험단게에서 프로덕션으로 모델을 가져오는 것이 어렵다는 것을 알게 되고, 사용중인 모델에는 지속적인 모니터링과 재학습이 필요하다는 것도 알게 됨
- MLOps는 DevOps의 모범 사례를 적용. 대규모 모델의 빠르고 지속적인 개발 및 배포를 간소화
- ModelOps 는 MLOps의 상위 집합. ML을 포함한 모든 AI모델을 학습에서 프로덕션에 이르는 모든 단계에서 더 빠른 운영을 목표로 함
- ModelOps 는 도구와 프로세스를 모두 다루고, 프로세스를 통합하고, 모델 오케스트레이션을 표준화하고, 포괄적인 거버넌스 기능과 함께 모든 모델에 대한 중장 집중형 저장소를 제공
- 잘 구현된 ModelOps는 모든 모델을 배포/모니터링 및 관리하는 통합 시스템을 제공하여 위험을 줄이고 컴플라이언스를 높임

[AI Content Generation]
- AI가 지난 몇년간 크게 성숙해져서 텍스트,이미지,코드 및 비디오를 포함한 모든 종류의 매체에 걸쳐 콘텐츠를 만드는 데 활용
- OpenAI GPT-3 공개. GitHub이 OpenAI Doex를 활용한 GitHub Copilot 공개
- OpenAI가 영어 중심 모델에 집중하지만, 다른 언어로 작업중인 회사들도 많음
ㅤ→ 독일의 Aleph Alpha, AI21 Labs, Huawei의 PanGu, Naver의 HyperCLOVA

[The continued emergence of a separate Chinese AI stack]
- 중국이 세계 최대의 데이터 생산자인 자체 시장과 함께 글로벌 AI강국으로 계속 발전
- 최고의 추천 알고리즘중 하나인 TikTok이 서구에서 성공하면서 중국 AI 소비자 기술이 처음으로 실제로 확산
- 중국이 2030년까지 AI 패권을 선언하고 재정지원되면서, 아직 서구 도구를 활용하던 중국에 별도의 자체 스택이 등장하기 시작

 
데드라인을 효율적으로 써서 행복하고 생산적인 팀 구축하기

사업부에서 설정한 데드라인은 요즘은 거의 의미가 없음. 소프트웨어를 릴리즈하는 게 너무 쉽고, 그래서 릴리즈 한번 한번의 비용이 너무 작아졌기 때문.

도메인별로 중요한 이벤트(교육이면 입학 시즌, 스포츠면 리그 시즌, 이커머스면 블랙프라이데이 등)를 제외하면 거의 모든 데드라인은 환상이다. 두려움과 불안에서 비롯된, 가짜 긴급함(false urgency)에서 비롯된 것.

거꾸로 말하면, 팀에게 실제로 긴급한 무언가가 있다면, 그리고 데드라인을 지킴으로서 얻는 이득이 크다면 설정하면 된다. 근데 설정한다고 끝이 아니다. 팀원들이 모두 같은 모드로 일하려면 이 데드라인을 지키는 것이 왜 중요한지 잘 싱크되어야 함. 예를 들어 펀딩받은 돈이 떨어져간다는 식의 불편한 대화이더라도 해야 함.

그래서 데드라인을 동기부여하는 채찍으로 쓰는 건 안 좋음. 데드라인을 잘 사용하는 방법이 크게 두 가지가 있음.

1. 창의성을 발휘하는 데 도움을 주는 제약으로 사용
- 제약을 가할 때 그 상황에 맞는, 또는 그를 극복하기 위한 창의성이 잘 발휘되기도 함. 특히 프로덕-마켓 핏을 찾아가는 초기 단계에서 데드라인은 과한 계획과 설계를 방지하는 데 큰 도움이 됨.
- 다른 예시로, 인프라 개발팀을 리딩했던 경험에서도 데드라인이 유용했음.
- 인프라 개발 업무는 일반적인 프로덕 개발 업무보다 훨씬 걸리는 시간도 길고, 가치를 증명하기 위해 보여줘야 하는 것도 많으며, 처음 의도했던 것 이상의 가능성을 열어주는 것도 많음. 그래서 인프라 업무는 가성비 분석이 어려움.
- 그러다보니 많은 인프라 팀이 본인들의 리드에게 전체 플랫폼을 2년간 재작성하는 따위의 작업의 당위성을 설득하는 데 어려움을 느낌. 당연히 이런 작업은 거의 항상 실용적이지 않음.
- 그래서 나는, 6주에 한번씩 팀이 데모를 보여주도록 데드라인을 설정했음. 완전히 동작하는 무언가를 보여줄 필요는 없지만, 우리가 옳은 길로 가고 있다는 신뢰를 받을 수 있을 수준으로는 만들도록 함.

2. "giving"을 관리하는 도구로 사용
- 세상에 3종류의 사람이 있음.
- giver는 이득을 고려하지 않고 남을 도움
- taker는 남을 생각하지 않고 이득을 취하고자 함
- matcher는 그 중간. take하고 나면 give하고, give하면 take하고자 하고.
- 회사에서 퍼포먼스 기준으로 줄을 세워보면, 고성과자 giver도 많은데 저성과자 giver도 많음.
- 무엇이 이 차이를 만드는지 살펴보니, 탑 giver는 언제 give할지, 언제 내 일을 할지 giving을 관리하는 법을 안다. 이 때 데드라인이 유용한 툴이 됨.
- 우리는 대부분 giver와 일하고 싶어하며, giver가 많은 조직은 이직도 적음. 이런 조직에서는 giver들이 저성과자가 되지 않게 관리해주는 게 중요하고 데드라인을 그 도구로 사용하면 됨

덕분에 좋은 영상 잘 봤습니다. 소개 감사합니다. 실제 영상을 보시는 게 좋겠지만 다른 분들을 위해 요약해봤습니다. https://www.youtube.com/watch?v=YyXRYgjQXX0

===

3만 명 조사했다. 엔지니어, 간호사, 영업사원 등
- 분포가 기버 25, 테이커 19, 매처 56 정도 됨

테이커는 빨리 올라가고 빨리 망함
- 매처가 많기 때문에 눈에는 눈 전략으로 테이커를 망하게 함

기버는 고성과자와 저성과자 양쪽에 분포되어 있음. 저성과 기버는 남 도와주느라 자기 일 못해서 그러는 것

기버가 있는 조직은 여러모로 생산성과 만족도가 높음. 기버가 고성과를 내고 인정받는 조직이 되려면 어떻게 해야 할까?

1. 기버가 번아웃되지 않게 해라
- 기버는 남 도와주느라 쉽게 지침. 이들을 지켜줘야 함
- 남을 과하게 도와주려 하는 사람이 있다면 그들에게 원칙을 제시해줄 수 있음. "테레사 수녀가 되는 게 아니라 5분만 선의를 베풀어본다" 같은 식.

2. 도움 요청을 장려하라. 기버에게 도움 받는 게 가치있게 되는 문화.
- 요청받은 걸 처리해주면 기버는 성과를 낼 수 있고, 감사받고, 행복해짐
- 그리고 75~90%의 기버는 도와주고자 할 때 "질문"부터 시작함. 즉 많은 도움이 묻는 것에서 시작하기 때문에, 물어보는 거 장려하면 다른 사람들도 기버가 되기 쉬워짐
- 근데 보통 물어보질 않음. 무능해보일까봐, 좋은 질문 못할까봐, 바빠보여서 부담주기 싫으니까 등

3. 테이커를 팀에 들여오지 말고 솎아내라. 테이커 한명 들어오면 기버 여러명 떠나거나 도움을 중지함.
- 매처는 분위기를 따르기 때문에 테이커만 솎아내면 기버 문화로 만들 수 있음
- 문제는 테이커 솎아내기가 쉽지 않다는 것. "우호적이다agreeableness" 라는 게 기버의 좋은 신호이긴 하지만, 테이커도 우호적일 수도 있고 기버도 무뚝뚝할 수 있음
- 무뚝뚝한 기버를 성급하게 테이커라고 판단하지는 마라. 이들은 누구도 듣고 싶어하지 않지만 모두가 들어야 하는 중요한 피드백을 하는 사람들임
- 우호적인 테이커를 거르기 위해 면접 때 내가 자주 써먹는 질문은 "당신의 경력을 근본적으로 향상시킨 사람 네 명을 말해보세요"다.
- 대개 테이커는 아첨받는 것에 익숙하기 때문에 영향력과 권위가 높은 사람의 이름을 댐
- 대개 기버는 권력 구조의 아랫단에 있는 사람 이름을 많이 댐

 
브라우저 개발자 도구의 비밀

1. Console엔 'log()' 이상으로 많은 기능이 있음
- 필터링 옵션
- {} : 변수 값/이름 같이 찍기
- warn/info/error() : 로그 레벨
- assert(): 특정 조건시에만 출력
- trace(): 누가 호출했나
- group(): 메시지 그룹핑해서 펼치기/접기 가능
- table(): 정보를 테이블로 출력하기
- $() = document.querySelector(), $$() = document.querySelectorAll()
ㅤㅤ$$('a').map(a => {
ㅤㅤㅤreturn {url: a.href, text: a.innerText}
ㅤㅤ})

2. 소스코드 접근없이 로그 남기기
- Live Expressions : 실시간으로 변경되는 변수 값 확인
- logpoints : 특별한 형태의 브레이크포인트로 해당 라인 실행시에 로그를 출력. 기술적으로는 console.log를 웹페이지 어디든 추가 가능한 것

3. 브라우저 외부에 로그 남기기
- VS Code Debugger

4. 어떤 사이트에든 코드 인젝션 하기 (크로미엄 브라우저들 : 엣지, 크롬, 브레이브..)
- Snippets : 현재 웹사이트에 대해 스크립트 실행
- Overrides : 리모트 스크립트의 카피본을 저장해두고 수정한다음 페이지 로딩될 때 오버라이드

5. 더 많은 곳에서 Inspect & Debug 가능 (크로미엄 브라우저들)
- Electron 계열은 모두 지원 : GitHub Desktop, VS Code, 브라우저의 Developer Tools자체도 Developer Tools로 디버깅 가능
- MS Edge Tools for VS Code

6. 지저분한 비밀들
- 사람들의 개발자 도구의 일부만 사용. 아마도 설명 문서가 부족하기 때문인듯 해서, 많은 시간을 들여 문서를 만들었지만 그게 해결책은 아닌듯
- 개발자 도구는 점점 복잡해지고 수많은 기능에 압도되게 됨. 개선하기 위한 방법이 없을까 ?
ㅤ→ Edge는 Focus Mode 도입하려고 함. 모든 기능을 보여주는 대신 유스케이스 별로 필요 도구만 보여주는 것
ㅤ→ Informational Overlays도 작업중. 개발자 도구에 바로 볼 수 있는 도움말을 제공하는 것
- 코드 작성과 완성물 디버깅 사이에는 아직 단절이 있음
ㅤ→ 브라우저 개발자 도구에서 변경한 것이 코드에 어떻게 반영되게 할까 ?
ㅤ→ 하나는 개발자 도구를 VSCode로 대체하고, 도구 사용시 하드 드라이브의 파일을 직접 변경하게 하는 것
ㅤ→ 다른 하나는 VSCode 확장의 일부로, 개발자 도구를 사용해서 변경해도 디스크의 파일 변경이 가능하게 선택할수 있게 하는 것

7. 당신이 개발자 도구의 Audience 이자 Client임
ㅤ→ Report a Bug / Request a Feature 등으로 피드백 주기

console.log() 관련 글
- https://javascript.plainenglish.io/stop-using-console-log-in-javascrip…

좋은 기능들이 있어도, 문서에 좋은 예제가 있느냐 없느냐가 큰 결정을 하는것 같습니다.

좀 다른 관점으로는, 사용자와 개발자가 같은 도구를 가진다는 점인데요. 그래서 웹앱은 편법적 악의적인 사용자 대처에 신경을 많이 써야할 듯 합니다.

 
위임 101: 무엇을 위임할지 파악하기

왜 할일 목록은 끝없이 늘어나기만 할까? 다음 연습을 10분간만 해보고 무엇을 위임할지 골라내보자.

## 1단계: 할일 목록 만들기 (a few minutes)

- 당신이 이제 그만했으면 하는 반복 업무가 무엇인가?
- 누군가가 팀에 새로 합류하거나 떠날 때마다 매번 수동으로 하는 일이 무엇인가?
- 다음주에 긴 휴가를 간다면, 돌아왔을 때 해결되어있는 걸 보면 행복해할만한 문제 딱 한가지가 무엇인가?

## 2단계: 할일 목록을 '당신만 할 수 있는 일'과 '위임 후보'로 쪼개기 (a couple of minutes)

"당신만 할 수 있는" 일을 구분하는 방법
- 매니저로서의 일: 비용 승인, 휴가 승인, 성과 리뷰, 오퍼레터 쓰기, 그 외 컨피덴셜한 정보를 다룰 수 있는 사람이 당신뿐일 때. (→ 당신의 매니저나 동료에게 부탁해볼 수도 있음)
- 권한과 관련된 일: 권한 부여 요청을 리뷰하고, 승인하고, 실제 부여할 수 있는 사람이 당신뿐일 때. (→ 승인자를 더 늘려 당신이 유일하지 않게 할 수도 있음)
- 컨텍스트와 관련된 일: 어떤 미팅에 혼자만 참여했는데 팀에게 공유할 정보가 있거나, 팀원의 성과에 아주 중요한 피드백을 혼자만 들었을 때. (→ 이 정보나 맥락을 문서화해둘 수도 있음)
- 데드라인과 관련된 일: 시급하게 처리해야 하는데 위임할 시간이 없을 때. (→ 데드라인은 대개 당신 생각보다 더 유연함. 일정을 늦출 수 있는지 한번 물어본다고 다치지 않는다)

당신만 할 수 있는 것처럼 보이지만 사실은 위임 가능한 일들
- 여러 사람이 참여한 미팅에서 나온 액션 아이템: 당신이 하겠다고 했던 일일지라도, 제시간에 못 끝낼 것 같으면 당신의 가용성을 재산정해보고 위임하라.
- 피드백: 누군가가 당신에게 피드백을 요청했다고 해서, 당신만이 피드백할 수 있는 건 아니다. 피드백해줄 새로운 사람을 피드백 요청자에게 적절하게 소개만 해준다면, 위임해도 괜찮다.
- 공지: 건강한 팀에서는 중요한 뉴스가 여러 사람으로부터 나올 수 있다. 의식적으로 노력해봐라.
- 당신이 직접 부탁받은 일: 직접 부탁받은 일이라도 위임은 가능하다. 다른 좋은 사람들도 그 일을 할 수 있다는 걸 알릴 기회가 될 수 있다.

## 3단계: 더 많은 아이템을 위임 후보 칼럼으로 옮기기

- 당신만 할 수 있는 일들을 우선순위대로 정렬해보고 5개만 남겨라.
- 그 5개만 당장 당신이 할 일이다. 나머지는 다 위임 후보로 옮겨버려라.

## 4단계: 위임 후보를 '노력'과 '효과'로 순위 매기기 (a couple of minutes 이하)

- (당신이 안 하더라도) 적은 노력을 들여서 할 수 있는 일인지, 그리고 수행했을 때 효과가 큰 일인지 구분해볼 것. 정답이 있는 문제가 아니니 정확하게 나누려고 하지 말고 첫번째 본능을 따라라.
- More impact, More effort: 위임함으로써 시간을 가장 많이 아낄 수 있는 일이다. 이것들 먼저 위임하라.
- More impact, Less effort: 당신도 쉽게 할 수 있겠지만, 팀원이 챌린지를 원한다면 위임할 수 있다.
- Less impact, More effort: 자동화를 고려하라.
- Less impact, Less effort: 목록에서 빼는 걸 고려하라.

## 5단계: 위임할 아이템 5개 고르기

- 위임 후보들을 우선순위로 정렬해서 5개만 골라서 위임하라.
- '큰 임팩트가 있는데 적당히 노력해야 하는 일'과, '적당한 임팩트가 있는데 적게 노력해도 되는 일' 중에서는 후자를 더 우선시하라.

## 다음 단계

- 이 연습이 힘들었다면, 당신만 힘든게 아님. 저자도 힘들고 다들 힘들었음.
- 개발자가 리더가 되면서 가장 어려운 일 중 하나가 위임이다. 대개 내가 스스로 하겠다고 한 일을 위임할 때 생기는 죄책감과 실망감 때문.
- 그러나 이 감정을 이겨낸다면 당신은 리더로서 더 중요한 일에 집중할 수 있음. 팀을 더 성공시키는 것.
- 이 연습을 한 달에 한번씩 해보고 패턴을 찾아보길 바란다. 처음에는 작게 시작하고, 편해질수록 더 많이 위임할 수 있음.
- 다음 글은 누구에게, 어떻게 성공적으로 위임하느냐이다. ← 아직 안 나옴

 
BetterDummy - 인텔/M1 맥용 가짜 소프트웨어 HDMI 어댑터

- M1맥들은 커스텀 해상도에 문제가 있음
ㅤ→ 4K 이하 해상도 모니터들에선 HiDPI "Retina" 해상도를 지원 안함
- HiDPI 지원하는 4K HDMI 더미 플러그가 꼽힌 것처럼 가상으로 모니터를 생성해주는 오픈소스
ㅤ→ 더미 모니터의 화면은 원하는 대로 해상도 설정 및 스케일링 가능
ㅤ→ 헤드리스(맥미니/클램쉘) 사용시에도 HiDPI로 이용 가능
ㅤ→ Sidecar 해상도도 스케일 지원
- 하드웨어 동글 대비 장점
ㅤ→ HDMI 포트를 점유하지 않음
ㅤ→ 다양한 HiDPI 해상도 지원
ㅤ→ 여러 Ratio 지원 (16:9, 16:10, 16:12, 21.5:9, 32:10, 10:16..)

HDMI 더미 동글이 알리에서 개당 천원 정도인데 그마저도 필요없게 해주는 오픈소스네요
이 BetterDummy 설치하고 아래 Deskreen 설치하면, 어떤 기기든 맥의 외장 모니터로 사용 가능합니다.
테스트 해보니 잘 동작하네요. 알리에서 산 내 동글 안녕.. ㅠ

- Deskreen - 어떤 기기든 두번째 화면으로 만들어주는 앱 https://news.hada.io/topic?id=3601

저런건 애플이 그냥 고급 옵션으로 풀어주면 좋을 것 같은데... 너무 꽁꽁 숨겨놓는 것 같아요 ㅜㅜ

 
Facebook Infra scaling 관점에서 살펴보기

facebook의 Network infra를 소개한 발표자료들을 통해 어떻게 하면 글로벌서비스를 할 때 스케일링을 더 잘 할수 있을지 알아봅니다.

- OSI 7 Layer를 기준으로 상위 레이어의 컴포넌트를 더 띄우고 싶으면 하위 레이어의 요소들이 필요함
- Edge POP 를 통해 RTT가 긴 상황에서 SSL 4-way handshake와 tcp 3-way handshake를 최적화 하는법
- Facebook이 운영하는 법을 AWS를 사용해 대체할 수 있는 컴포넌트들 예시

 
사회 초년생이 보면 좋은 Excel 공략집

"엑셀 10강으로 끝내기" - Excel 파일 자체로 설명하고 유튜브 영상도 제공
- 빠른실행도구모음 설정하기
- 유용한 단축키
- SUM, SUMIF(s)
- AVERAGE, AVERAGEIF(s)
- IF 함수, 다중 IF 함수
- Lookup 함수, Count 함수
- 원하는 대로 '필터링'하고, '피벗'으로 편하게 보기
- 매크로 버튼 하나로 여러가지 Case 분석하기
- Tip 과 유용한 기능 음

 
봇 감지 우회하기 : 차단당하지 않고 웹 스크레핑 하는 법

- 최근의 안티 봇 관련 정보를 정리한 Repo
- 봇 감지 시나리오 와 해결책
- 추천 서비스들 : Proxy, Scraping as a Service, De-Captcha
- 안티 봇 소프트웨어들
- 자동화 기능을 가진 스텔스 브라우저들
- puppeteer-extra-plugin-stealth
- 핑거프린트 테스트 페이지

 
macOS가 더 안정적이 되었습니다

- 맥의 고질적인 문제였던 "시스템 신뢰성"이 개선되어온 최근 변경들을 정리
- 하이 시에라에서 HFS+ 에서 APFS로의 파일 시스템 변경
ㅤ→ Copy-On-Write를 이용하여 더 안정적으로
- 카탈리나 부터는 부트 볼륨을 System(리드온리) + Data 2개의 볼륨으로 분리
- 빅서 에선 시스템 볼륨을 Sealed Snapshot 으로 바꿔서 시스템 파일을 더 안전하게 보호
- 몬테레이의 /Application 폴더는 하나로 보이지만, 시스템 볼륨에 있는 기본 맥 앱이 들어있는 폴더와 사용자가 설치한 앱들이 들어있는 폴더 두개임

- SecureBoot 가능한 몬테레이(T2칩 있는 모델)는 이렇게 동작
ㅤ→ 맥은 시스템 볼륨의 스냅샷에서만 부팅 되며 이 볼륨은 어떤 방식으로든 변경 불가
ㅤ→ 맥은 Sealed된 시스템에서만 부팅되며, 이것은 애플이 만든 것과 비트단위로 일치함
ㅤ→ macOS의 설치 프로그램/업데이터 외에는 시스템 볼륨을 변경할 수 없음
ㅤ→ macOS 업데이트/인스톨 프로세스 중에 데이터 볼륨은 언마운트되어서 문제 발생을 차단
ㅤ→ 이 모든것은 높은 안정성을 가진 SSD에서 수행됨
ㅤ→ 사용된 파일시스템은 견고한 APFS

- Secure Boot가 활성화 된 빅서/몬테레이 맥이 잘 부팅된다면 System 볼륨은 "완벽한 상태"임
- 가능하면 써드파티 커널 확장을 설치하는 대신, 시스템 확장을 이용하는 다른 소프트웨어를 찾을 것

 
Netflix, Metaflow UI 오픈소스로 공개

- Metaflow : 넷플릭스가 만든 데이터 사이언스용 풀스택 파이썬 프레임워크 오픈소스
ㅤ→ 이 Metaflow의 워크플로우를 실시간으로 모니터링 하기 위한 GUI 도구
- 전문 데이터사이언티스트 들이 실제 작업에 사용하는데 초점을 둠
- 플러그인을 통해 확장 가능

Metaflow - 넷플릭스가 만든 데이터 사이언스용 파이썬 프레임워크 오픈소스 https://news.hada.io/topic?id=1022

소개글 Open-Sourcing a Monitoring GUI for Metaflow, Netflix’s ML Platform
- https://netflixtechblog.com/open-sourcing-a-monitoring-gui-for-metaflo…

 
ToxiProxy - 네트워크 테스팅용 오픈소스 TCP 프록시

- 네트워크 상황을 시뮬레이팅하는 테스팅 프레임워크
- CI/개발환경 등에서 네트워크 연결이 이상할 때를 시뮬레이트해서 SPOF가 있는지 테스트
- Shopify에서 개발해서 2014년부터 사용 중
- Go로 작성된 TCP 프록시와 HTTP로 프록시와 통신하는 각종 언어용 클라이언트로 구성
ㅤ→ ruby, Go, Python, .NET, PHP, Node, Java, Haskell, Rust, Elixir

예1) 모든 MySQL 응답을 1초간 지연
Toxiproxy[:mysql_master].downstream(:latency, latency: 1000).apply do
ㅤShop.first # this takes at least 1s
end

예2) 모든 Redis Instance를 다운
Toxiproxy[/redis/].down do
ㅤShop.first # this will throw an exception
end

 
Motor Admin - No-Code 어드민 패널 오픈소스

- 쉬운 UI로 데이터 검색/생성/수정/삭제 지원 (MySQL/Postgres)
- 복잡한 액션 생성 가능
ㅤ→ API 연동을 통해서 자동화 메일 발송 같은 기능 구현
- SQL과 차트 기능으로 커스텀 보고서 작성 지원
- 여러 보고서를 묶어서 싱글 대시보드로 만들고 공유 가능
- Form 빌더 내장
- 모바일 지원
- 유료 모델인 Pro 버전 별도
ㅤ→ 권한관리
ㅤ→ 멀티 DB
ㅤ→ 실시간 협업
ㅤ→ MFA 인증
ㅤ→ Slack을 통한 개인화된 보고서 알림
ㅤ→ Full-Text Search
ㅤ→ Stripe 연동

 
Microsoft Loop 공개 - Notion과 유사한 새로운 협업 도구

- 프로젝트의 파일/링크/데이터를 하나로 모으는 Workspace
- 모든 컴포넌트 배치가 자유로운 Flexible Canvas를 가진 Page
- 리스트, 투표 가능한 테이블, 상태 트래커, 노트, 파일, 링크, Dynamics 365등의 Component : 실시간으로 업데이트
- 진척도 트래킹, 알림, 변경 하이라이트, 상태 라벨 등을 지원하여 멤버간에 Sync

노션은 페이지 편집자 10명 넘으면 싱크가 다 어긋나던데, 얘는 괜찮을거 같은 느낌이?!

 
가트너의 전략 기술 트렌드 2022

#1 Data Fabric : 데이터가 저장된 위치에 관계 없이 언제나 데이터에 접근 가능
#2 Cybersecurity Mesh : 이질적이고 분산화된 환경에서도 자산에 안전하게 접근 가능
#3 Privacy-Enhancing Computation : 신뢰할 수 없는 환경에서 개인 데이터 처리 보호
#4 Cloud-Native Platforms : 탄력적/민첩한 애플리케이션 아키텍처
#5 Composable Applications : 비즈니스 중심적인 모듈라 컴포넌트로 구축되는 애플리케이션
#6 Decision Intelligence : 조직의 의사결정을 개선하기 위한 실용적인 접근방식
#7 Hyperautomation : 가능한 많은 비즈니스/IT 프로세스를 빠르게 식별/검증 및 자동화 하기 위한 비즈니스 중심 접근법
#8 AI Engineering : 데이터, 모델 및 애플리케이션 업데이트를 자동화해서 효율적인 AI 딜리버리를 제공
#9 Distributed Enterprises : 디지털 우선 / 원격 우선 비즈니스 모델을 반영하여 원격근무자들의 경험을 개선하고 소비자 및 협력사와의 접점을 디지털화
#10 Total Experience : 직원 경험 EX, 고객 경험 CX, 사용자 경험 UX, 다중 경험 MX 등을 통합하여 성장을 가속화
#11 Autonomic Systems : 환경에서 학습하고 실시간으로 자신의 알고리듬을 동적으로 수정해서 동작을 최적화 하는 자체 관리되는 물리적 또는 소프트웨어 시스템
#12 Generative AI : 데이터로부터 얻어낸 결과로 원본과 유사하지만 독창적인 새로운 창작물을 생성. (SW 코드 작성, 신약 개발등)

 
YouGlish - 유튜브를 이용하여 영어 발음 훈련하기

- 특정 단어를 검색하면 해당 발음이 들어있는 유튜브 영상들을 찾아 줌
- 자막과 함께 딱 그 단어 발음 위치만 들려줘서 다양한 사람들의 실제 해당 발음을 들어볼 수 있음
- 미국/영국/호주/캐나다/아일랜드/스코틀랜드/뉴질랜드 발음 들도 따로 선택 가능
- 본인의 목소리도 녹음해서 들어보기 지원

 
Knative 1.0 릴리즈

- 구글이 주도하는 쿠버네티스 기반의 오픈소스 서버리스 솔루션(2018년 공개)
ㅤ→ Scalabe, Secure, Stateless 서비스를 쉽게 시작
ㅤ→ 서버리스 컨테이너를 자동으로 관리
ㅤ→ VMWare, IBM, Red Hat, SAP 등과 협업
- 클라우드 종속성 없음
- 플러그인을 쉽게 추가 가능
- GitOps, DockerOps 등을 지원
- 멀티 HTTP Routing Layer 지원(Istio, Contour, Kourier, Ambassador)
- 이벤트를 위한 멀티 스토리지 레이어 지원(Kafka, GCP PubSub, RabbitMQ)
- HTTP/2, gRPC, WebSockets
- TLS 인증서 자동 프로비져닝
- Django, RoR, Spring 등 기본 지원

 
XIA, 2040년까지의 미래 (208p PDF)

- 스마트폰 너머, 메타버스 너머 2040년까지의 새로운 혁신인 XIA와 이로 인한 사회 변화
ㅤ→ XIA : XR(eXtended Reality) + IoT + AI
- 책 "변화 너머" 강연 자료를 기반으로 다양한 정보를 추가

1. 일반론
- 새로운 혁신의 특징을 품은 5G와 6G
- 스마트폰리스 세상 : XIA
- XIA 세상에 준비된 세대
- XIA가 변화시킬 일상·사회·경제

2. DEEP DIVE
- 스마트폰의 회광반조, Pre-XIA 시대
- 5G 기술에 대한 이해
- 6G 기술에 대한 이해
- XR에 대한 이해
- HOLOGRAM에 대한 이해
- AIoT에 대한 이해

 
크롬 97의 새 기능 - 사용자 플로우 녹화

- 프리뷰 기능으로 97버전부터 추가될 예정
- 개발자 도구에 Recorder 패널이 추가 됨
ㅤ→ 사용자 플로우를 녹화(Record)/재생(Replay)/측정(Measure)
ㅤ→ 재생할때 세팅에서 네트웍 속도 설정 가능(Slow 3G, Fast 3G)
ㅤ→ Measure Performance 버튼으로 성능 측정 가능
ㅤ→ 단계별로 상세히 동작을 확인하고 마음대로 편집 가능