GeekNews Weekly

2024년 데이터 엔지니어링 분야에서는 생성형 AI의 급성장과 데이터 거버넌스의 성숙화가 주요 변화였으며, 2025년에는 AI 컴퓨팅의 발전, 도메인별 특화 언어 모델의 진화, AI 오케스트레이터와 다단계 추론의 결합, 차세대 데이터 통합 개발 환경의 부상, 그리고 LakeDB의 등장이 주요 트렌드입니다. 도메인별 특화 언어 모델과 SLM(Small Language Model)의 발전은 산업별 요구에 최적화된 AI 활용을 가능하게 하며, 비용 효율성과 적응성을 통해 AI 접근성을 대중화할 것입니다. 데이터 관리에서는 데이터 통합 개발 환경과 LakeDB 같은 새로운 기술이 데이터 처리와 분석을 혁신하며, 데이터 메시와 제로 ETL 기술이 데이터를 효과적으로 공유하고 활용하는 데 기여할 것입니다. 이러한 변화는 데이터 엔지니어 역할의 중요성을 더욱 부각시키며, AI와 데이터 기반 혁신의 중심에서 새로운 가치를 창출할 것으로 기대됩니다.

장기적으로 사용되는 소프트웨어는 신뢰성과 안정성이 중요하기 때문에 지속적인 변화보다는 예측 가능한 변경을 선호하며, 의존성 관리와 테스트, 문서화가 핵심입니다. 의존성은 적을수록 좋으며, 주기적인 점검과 신중한 선택이 필요하고, 테스트는 코드의 안정성과 유지보수에 큰 도움을 줍니다. 또한, 단순한 코드 작성과 철저한 문서화, 그리고 안정적인 팀 구성이 장기적인 소프트웨어 개발의 성공에 기여합니다.

Python 프로그래밍의 기초부터 시작하여 AI 도구를 통합하여 데이터를 조작, 분석, 시각화하는 방법을 배우며, 다양한 분야에 Python을 적용하여 실제 문제를 해결하는 방법을 제공합니다. AI 어시스턴트를 활용하여 코드 디버깅, 개념 설명 등을 통해 학습을 가속화하고, 맞춤형 레시피 생성기, 스마트 할 일 목록, 여행 일정 계획자 등 실습 프로젝트를 통해 실무 경험을 쌓을 수 있습니다. 프로그래밍 경험이 없는 초보자부터 전문가까지 참여 가능하며, 총 35개의 비디오 강의와 25개의 코드 예제로 구성되어 있습니다.

• 1: 새로운 o1 추론 모델 및 ChatGPT Pro 출시
• 2: 강화 학습 세부 조정 연구 프로그램 확장
• 3: Sora 출시
• 4: Canvas 기능 확장
• 5: ChatGPT와 Apple Intelligence 통합
• 6: Advanced Voice Mode의 비디오 분석 및 화면 공유 기능 추가
• 7: ChatGPT에 Projects 기능 추가
• 8: ChatGPT Search 모든 사용자에게 제공
• 9: o1 모델, OpenAI API에서 제공
• 10: 1-800-ChatGPT 전화 서비스
• 11: 더 많은 앱과 통합된 ChatGPT
• 12: 차세대 o3 및 o3-mini 모델 티저 공개

서버 전송 이벤트(SSE)는 WebSockets에 비해 간단하고 자원 효율적인 일방향 통신 채널을 제공하며, 표준 HTTP 프로토콜을 활용하여 기존 인프라와의 호환성이 뛰어납니다. SSE는 자동 재연결과 명확한 의미론을 통해 실시간 뉴스 피드, 주식 시세, 서버 로그 스트리밍 등 다양한 실시간 데이터 업데이트에 적합합니다. WebSockets가 양방향 통신에 유리한 반면, SSE는 일방향 데이터 스트리밍에 최적화된 솔루션을 제공합니다.

"Stammtisch"는 독일 전통에서 유래된 정기 모임으로, 같은 관심사를 가진 사람들이 정기적으로 만나 대화를 나누며 감정을 공유하는 기회를 제공합니다. 현대에는 다양한 성별과 연령대가 참여하며, Bar나 레스토랑에서 자유롭게 대화하는 형태로 발전했습니다. 이러한 모임은 사회적 연결을 강화하고, 바쁜 현대 생활 속에서 지속적인 우정과 감정적 연결을 심화시키는 중요한 도구로 자리 잡고 있습니다.

Meta는 생산성 향상과 Null 안정성을 강화하기 위해 Android 코드베이스를 Java에서 Kotlin으로 전환하는 대규모 프로젝트를 진행 중이며, 이를 위해 자동화 도구인 Kotlinator를 개발하여 변환 과정을 효율화했습니다. 이 과정에서 J2K 도구를 헤드리스 방식으로 수정하여 대규모 파일 처리를 가능하게 하고, 개발자들이 소비하는 시간을 줄였습니다. Meta는 변환 도구 개선과 최적화 경험을 공유하며, 다른 개발자들과 협력을 통해 더 나은 변환 경험을 구축하고자 합니다.

Ghostty 1.0은 빠르고 다양한 기능을 갖춘 크로스 플랫폼 터미널 에뮬레이터로, macOS와 Linux에서 네이티브 애플리케이션으로 작동하며 GPU 가속을 지원합니다. 유연한 키바인딩, 다양한 컬러 테마, 수많은 설정 옵션을 제공하며, Kitty 그래픽 프로토콜, 라이트/다크 모드 알림, 하이퍼링크 등 다양한 터미널 기능을 지원합니다. 또한, Ghostty는 성능 최적화를 통해 시작 속도, 스크롤 속도, IO 처리량 등에서 높은 경쟁력을 갖추고 있으며, libghostty라는 크로스 플랫폼 C-ABI 호환 라이브러리를 기반으로 다양한 터미널 에뮬레이터 프로젝트에 활용될 수 있는 생태계를 조성하고자 합니다.

OpenAUTH는 웹 앱, 모바일 앱, 싱글 페이지 애플리케이션(SPA), API 및 써드파티 클라이언트를 위한 표준 기반 인증 프로바이더로, 독립형 서비스로 배포하거나 기존 애플리케이션에 내장할 수 있으며 모든 프레임워크 및 플랫폼과 연동됩니다. 이 솔루션은 사용자 인프라에서 셀프 호스팅이 가능하며, OAuth 2.0 스펙을 준수하여 액세스 및 리프레시 토큰을 발급할 수 있습니다. 최소한의 데이터 저장만 요구하며 다양한 KV 스토어와 호환됩니다.

Chrome은 2024년에 다양한 업데이트를 진행했습니다. Gemini를 활용한 내장 AI로 강력한 기능을 제공하고, WebAssembly와 WebGPU의 개선으로 온디바이스 AI 성능을 향상시켰습니다. View Transition API와 CSS 팝오버, 앵커 포지셔닝을 통해 더 부드럽고 상호작용적인 웹 내비게이션을 구현하고, Speculation Rules API로 거의 즉각적인 페이지 로드를 가능하게 했습니다. 또한, AI 기반 솔루션으로 Chrome DevTools가 더욱 강력해졌습니다.

Bloom 필터를 사용하여 SQLite 데이터베이스의 성능을 7배에서 10배까지 향상시켰습니다. 연구진은 SeekRowID와 Column opcode가 성능 저하의 주요 원인임을 발견하고, Bloom 필터를 통해 공간 효율성을 높이며 CPU 캐시 라인에 맞도록 최적화했습니다. 이 결과는 SQLite v3.38.0에 적용되었으며, 최소한의 메모리 오버헤드로 기존 쿼리 엔진과 잘 작동합니다.

OpenAI의 차세대 AI 프로젝트 GPT-5(코드명 Orion)는 일정 지연과 막대한 비용 문제에 직면해 있으며, 현재 성능은 기존 GPT-4보다 약간 나은 수준입니다. 훈련 데이터 부족과 내부 갈등, 경쟁사의 압박 속에서 OpenAI는 새로운 추론 모델 개발을 통해 성능 향상을 시도하고 있지만, 높은 비용 부담이 따르고 있습니다. 이러한 상황에서 GPT-5의 성공적인 출시는 여전히 불확실하며, AI 발전의 새로운 돌파구를 모색 중입니다.

gitu는 터미널 기반의 Git 클라이언트로, Emacs의 Magit에서 영감을 받아 많은 핵심 기능을 구현하는 것을 목표로 하고 있습니다. Rust로 작성되어 윈도우, 맥, 리눅스에서 모두 사용할 수 있으며, Magit과 유사한 키바인딩을 제공하면서도 Vim과 비슷한 사용자 경험을 제공합니다. 주요 기능으로는 파일 및 라인 단위의 스테이징/언스테이징, 커밋 보기 및 편집기 열기, 브랜치 체크아웃, 커밋 및 수정, 페칭, 로그 보기, 풀/푸시, 리베이스, 리셋, 커밋 되돌리기, 스태시 저장 및 적용 등을 제공합니다.

MDN은 "Learn Web Development" 섹션을 업데이트하여 초보 웹 개발자에게 더 간소화된 학습 경로를 제공하고자 합니다. 새로운 "MDN Curriculum"은 신입 개발자에게 필요한 필수 기술을 파악하고, 자가 학습자와 교육자를 위한 학습 가이드와 교육 과정으로 활용될 수 있으며, Scrimba와의 협력을 통해 대화형 멀티미디어 콘텐츠를 포함합니다. LWD에 MDN 커리큘럼을 합치는 방식으로 기존 두 개의 학습 리소스를 통합하여 사용자가 더 간단하고 체계적인 학습 경험을 제공받을 수 있도록 하고, 콘텐츠를 초보자 친화적으로 개선할 계획입니다.

FixBrowser는 자바스크립트를 지원하지 않아 빠르고 자원 소모가 적은 경량 웹 브라우저로, 프라이버시를 중시하여 화이트리스트 접근 방식을 사용합니다. 현재 알파 단계로 기본적인 기능을 갖추었으며, Windows 및 Linux용으로 다운로드 가능하고 소스 코드도 제공됩니다. 향후 다양한 운영 체제 지원과 CEF 통합, 비디오 재생, 확장 지원 등의 추가 기능이 계획되어 있습니다.

Bruin은 다양한 소스에서 데이터를 수집하고 SQL 및 Python을 사용하여 데이터를 변환하며, 데이터 품질 검사를 추가하여 엔드투엔드 데이터 파이프라인을 구축하는 통합 프레임워크입니다. 이 프레임워크는 dbt, Airbyte, Great Expectations의 기능을 하나로 구현한 것으로, VS Code 확장과 Go로 작성된 CLI를 통해 파이프라인을 생성, 관리, 배포할 수 있습니다. 다양한 데이터베이스와의 연동을 지원하며, 데이터 품질 검사, Jinja 템플릿, dry-run 기능 등을 통해 파이프라인의 효율성과 안정성을 높입니다.

Benchling은 Terraform Cloud를 활용하여 16만 개 이상의 리소스를 관리하며, 검색의 비효율성을 해결하기 위해 RAG LLM을 활용한 Slackbot을 구축했습니다. 이 Slackbot은 Terraform Cloud 관련 질문을 실시간으로 해결하고, 내부 및 외부 데이터 소스를 결합하여 사용자에게 친숙한 인터페이스로 답변을 제공합니다. LLM을 활용한 Slackbot을 구축하고자 하는 회사에서는 참고하시면 좋을것 같아요.

Google은 Forbes/CNN/WSJ등의 기생 SEO 같은 악용에 대해 강경 대응을 시작했는데요. 이 업데이트로 인해 Finixio/Clickout의 웹사이트들이 대규모 페널티를 받았으나, 리다이렉트와 클로킹을 사용하여 빠르게 시스템을 재구축하고 운영을 지속하고 있습니다. Techopedia, ReadWrite, Business2Community 등 여러 사이트가 트래픽과 순위에서 큰 타격을 받았지만, Finixio는 새로운 도메인을 추가하고 기존 콘텐츠를 다른 도메인으로 이동시키는 등의 전략으로 복구를 시도하고 있습니다. 이 사례는 Google의 도메인 권위 중심 알고리즘의 허점을 보여주며, 주제 권위에 대한 재평가가 필요함을 시사합니다.

Black Candy는 사용자가 직접 호스팅할 수 있는 개인 음악 스트리밍 서버로, 아이폰과 안드로이드 모바일 앱을 제공합니다. 이 서버는 Nginx, Postgres, Ruby, Node.js, libvips, FFMpeg를 기반으로 하며, Discogs API를 통해 아티스트 및 앨범 이미지를 가져올 수 있습니다. Docker 이미지를 사용하여 쉽게 설치할 수 있습니다.

DataJourney는 조직이 데이터를 효과적으로 관리하고 활용할 수 있도록 오픈소스 기술을 활용한 구조화된 접근법을 제공합니다. 이 툴킷은 확장 가능성과 재현 가능성을 중시하며, 목표 설정, 도구 선택, 워크플로우 테스트 및 커스터마이징 과정을 체계적으로 지원합니다. 또한, Python 패키징 프레임워크 설계, GitHub Actions 설정, Vale.sh PR 구성, Pre-commit hooks 설정 등 다양한 워크플로우를 지원하여 사용자 요구에 맞게 조정할 수 있는 유연하고 모듈화된 설계를 제공합니다.

TEMU는 LLVM 툴체인을 활용하여 고성능의 프로세서 코어와 메모리를 에뮬레이션하며, 유럽 우주선에 사용되는 공통 장치들과 버스를 타겟으로 합니다. 이 에뮬레이터는 멀티코어 및 멀티프로세서 에뮬레이션을 지원하고, 외부 장치와 데이터 버스 모델, 커스텀 캐시 모델 및 빠른 주소 디코딩이 가능한 메모리 모델을 제공합니다. 지원하는 프로세서로는 SPARCv8, PowerPC, ARMv7이 있으며, 다양한 버스 모델과 장치 모델을 포함하고 있습니다. 다 좋은데 이름 때문에 선입견이 생기지 않을까 우려되네요.

HN에 올라온 여러 답변들을 요약했습니다. 글로벌하게 청소년의 소셜 미디어 사용 제한이 증가하고, 태양광 에너지가 세계 에너지 사용량의 8%를 차지할 것이며, 비트코인의 가치가 $200k 이상으로 상승할 가능성이 있습니다. 또한, AI 기술의 발전으로 인해 음악 및 비디오 생성 AI가 개선되고, LLM이 복잡한 과제를 해결하며 성능이 향상될 것으로 보입니다. 로봇 및 로보틱스 비용이 크게 감소하며 합리적인 이족 로봇이 $8k 수준에 판매될 가능성이 있으며, 검색 엔진 결과가 LLM 텍스트로 채워지며 SEO가 해결(?)될 것으로 예상하네요. 사용자들의 개인적인 예상이니 너무 믿지는 마시고 흥미 위주로 보시면 좋겠습니다.

Fastmail은 초기부터 자체 베어 메탈 서버를 사용하여 비용을 최적화하고, 25년간 축적된 경험을 통해 하드웨어를 장기적으로 활용합니다. NVMe SSD와 ZFS 파일 시스템을 도입하여 성능과 저장 밀도를 향상시키고, Zstandard 압축을 통해 이메일 데이터 공간을 절감합니다. 이러한 자체 하드웨어 운영은 높은 성능과 신뢰성을 제공하며, 장기적인 비용 절감과 제어 향상을 가능하게 합니다.

벤처 스튜디오는 컴퍼니빌딩 + 벤처캐피털 형태로 스타트업을 체계적이고 반복 가능한 방식으로 설계, 구축, 지원하는 조직으로 아이디어 단계에서부터 회사 설립, 초기 자금 지원, 운영 및 성장 지원까지 스타트업의 모든 단계를 직접 관리하거나 지원합니다. 2025년에는 벤처 스튜디오의 수가 증가하고, 산업 및 지역 특화, 대기업 참여 등 다양한 모델이 발전할 것으로 예상됩니다. 벤처 캐피탈의 벤처 스튜디오 모델 수용이 증가하고, 자본 유입도 늘어나지만, 운영의 어려움으로 인해 실패 사례도 증가할 가능성이 있습니다. 현재까지는 벤처 스튜디오의 성과 데이터가 모호하고 투명성이 부족하여, 이를 개선하기 위한 노력이 필요합니다.

Egui는 Rust로 작성된 즉시 모드 GUI 라이브러리로, 웹에서는 WebAssembly와 WebGL을 통해, 네이티브 환경에서는 다양한 플랫폼을 지원합니다. 이 라이브러리는 사용하기 쉽고 이식성이 뛰어나며 빠른 성능을 제공하도록 설계되었으며, 버튼, 슬라이더, 체크박스 등 다양한 위젯과 수평, 수직 레이아웃을 지원합니다. 즉시 모드(Immediate Mode)는 코드 흐름을 단순화하고 상태 동기화 문제를 해결하지만, 복잡한 레이아웃에서는 추가 작업이 필요하고 대규모 UI에서는 성능 저하가 발생할 수 있습니다.

Alibaba Qwen 팀이 발표한 새로운 시각적 추론 모델 QvQ-72B-Preview는 이미지와 프롬프트를 입력받아 깊이 있는 분석을 수행합니다. QvQ는 이전의 QwQ 모델과 달리 시각적 입력을 추가하여 이미지 기반의 추론을 가능하게 했으며, 다양한 테스트에서 흥미로운 결과를 보여주었습니다. 앞으로의 업데이트와 추가 활용 가능성이 기대됩니다.

루비 3.4.0이 12월 25일에 출시되었으며, 주요 업데이트로는 it 블록 매개변수 참조 추가, Prism을 기본 파서로 변경, 소켓 라이브러리에 Happy Eyeballs Version 2 지원 추가, YJIT 성능 개선, 모듈식 GC 도입 등이 있습니다. 언어 변경 사항으로는 frozen_string_literal 주석 없는 파일의 문자열 리터럴 변경 시 경고 발생과 **nil 키워드 스플래팅 지원 등이 포함되었으며, 여러 코어 클래스 및 표준 라이브러리의 성능 개선과 기능 추가가 이루어졌습니다. 호환성 문제로는 오류 메시지 및 백트레이스 표시 방식 변경, Hash#inspect 렌더링 방식 변경 등이 있으며, C API와 기타 다양한 변경 사항도 포함되어 있습니다.

Lua는 간결한 문법과 뛰어난 임베딩 가능성 덕분에 게임과 임베디드 시스템에서 주로 사용되며, 명령형, 함수형, 객체 지향 프로그래밍을 지원하는 유연성을 제공합니다. 그러나 인덱싱 관례와 오류 처리 방식이 다른 언어에 익숙한 개발자에게 직관적이지 않을 수 있으며, nil로 종료되는 배열은 예상치 못한 동작을 유발할 수 있습니다. Lua는 강력하고 효율적인 언어로, 더 많은 인정을 받을 자격이 있지만, 상대적으로 저평가되어 있습니다.

Anvil은 쉘과 잘 연동되며, 마우스를 많이 사용하는 타일링 윈도우 기반의 그래피컬 코드 에디터입니다. 이 에디터는 구문 강조, 멀티 커서 및 셀렉션, 원격 파일 편집을 지원하며, 강력한 텍스트 조작 언어인 "Range Statements"를 내장하고 있습니다. 또한, 윈도우, 맥, 리눅스를 지원하며, Anvil 내에서 실행되는 프로그램에서 사용할 수 있는 HTTP/REST 방식의 API를 제공합니다.

JRuby는 Ruby의 생산성과 JVM의 성능을 결합한 기술이며, JBang은 간단한 의존성 관리와 실행환경을 제공합니다. 두 도구를 결합하여 Ruby와 Java 라이브러리를 통합 활용 가능하며 생산성과 성능 모두를 충족 가능합니다. 이를 위해 Docker 기반 환경 설정을 통해 Amazon Corretto(JDK) 기반의 Docker 이미지를 사용하여 JRuby와 JBang을 설치하고, Javalin을 활용하여 REST API를 구축하며 JWT 인증과 SQLite DB 통합을 통해 CRUD API를 구현합니다. 성능 테스트 결과, Apache Benchmark 도구로 1500개 요청 중 95%가 10ms 이내에 처리되었으며, 최신 Javalin 버전과 Virtual Threads를 사용하여 높은 성능을 제공합니다.

Sherlock Project는 사용자 이름을 기반으로 400개 이상의 소셜 네트워크에서 소셜 미디어 계정을 찾을 수 있는 오픈 소스 프로젝트입니다. 이 프로젝트는 PyPI, Brew, Apt, Dnf, Docker 및 GitHub에서 설치 및 실행이 가능하며, 검색 결과는 사용자 ID별 txt 파일로 기록됩니다. 또한, csv/xlsx 형식으로 출력할 수 있고 특정 사이트만 검색하도록 제한할 수 있습니다.