[GN#30] 개인용 검색 인프라 만들기

2020-01-27 ~ 2020-02-02 사이의 주요 뉴스들
PC와 스마트폰은 우리 두뇌의 연장선에 있는 도구입니다만, 여러 도구에 분산된 기록은 검색이 어렵습니다. 이를 통합해서 검색하기 위한 여러 시도가 있어왔는데, RipGrep 과 Recoll 을 이용해서 이메일,채팅기록,오피스문서,PDF,EPUB등 가능한 많은 것을 검색해볼수 있게 시도한 사례를 소개합니다.

매주 월요일 아침, 지난 일주일간의 GeekNews 중 엄선한 뉴스들을 이메일로 보내드립니다.


개인용 검색 인프라 만들기

Emacs + RipGrep + Recoll 로 내가 기록한 모든 노트부터 이메일,채팅기록,오피스문서,PDF,EPUB등을 검색 가능하게 만든 이야기

 
의욕적인 개발자가 번아웃을 피하는 방법 [번역]

- “싫어요” 라고 말하세요
- 자신이 원하는 것을 알되, 자신이 원하지 않는 것을 더 중점적으로 파악하세요
- 자신이 쓸 수 있는 에너지의 양을 하루하루 측정하고 현실적으로 사용하세요
- 미래의 자신에게 친절하게 행동하세요

 
iHateRegex - Regex Cheatsheet

- 정규식을 구글과 비슷한 UI로 검색
- 검색해서 찾은 정규식과 결과를 직접 수정해서 테스트 가능
- 정규식을 regexper 로 이해하기 쉬운 그래프로 설명
- 주로 쓰는 것들 : username,email,ascii,전화번호,날짜,암호,ip주소 등

RegExper - https://regexper.com/ 는 정규식을 비쥬얼라이즈 해주는 별도의 오픈소스 인데,
정작 예제 사이트는 정규식을 넣어야만 보이게 되어있어서 사용하기 불편했지만,
이렇게 만들어 두니 쓰기도 편하고 보기도 좋네요.

 
커밋 작성하기에 대한 스팩 (한국어지원)

유의미한 커밋을 만들기위한 기본 스팩...
지켜도 그만 안지켜도 그만.

한국어가 존재한다.

 
리눅스 컨테이너란?

- 컨테이너의 종류: 시스템 컨테이너와 애플리케이션 컨테이너
- 컨테이너를 사용해야하는 이유
- 컨테이너 기반 서비스 운영 사례
컨테이너 런타임
- 도커(Docker) : Docker Hub, Docker Compose
- LXC
- LXD
- CRI-O
- 카타 컨테이너(Kata Container)
- 하코니와(Haconiwa)
컨테이너 오케스트레이션
- 쿠버네티스(Kubernetes)
- 아마존 ECS(Amazon ECS)
- 랜처(Rancher)
- 노마드(Nomad)
컨테이너에서 사용하는 프로세스 격리 기능
- 리눅스 네임스페이스(Linux namespace)
- 루트 디렉터리 격리와 chroot
- 컨트롤 그룹(cgroups)
- 리눅스 캐퍼빌리티(Linux capabilities)
- 유니온 마운트(Union Mount)

 
Sovereign - 개인용 클라우드 구축하는 Ansible Playbook 모음

오픈소스로 이메일,달력,파일싱크,VPN등을 싱글서버에 자체구축
IMAP+POP3 : Dovecot+Solr
SMTP : Postfix
스팸필터 : Rspamd
웹메일 : Roundcube
모바일푸시 : Z-Push
Jabber/XMPP : Prosody
RSS리더 : Selfoss
CalDAV & CardDAV : ownCloud
VPN : OpenVPN
모니터링: Monit
웹호스팅 : Apache
자동백업 : Tarsnap
Git호스팅 : cgit & gitolite
Read-it-later : Wallabag

이중 사용하고 싶은 서비스만 site.yml 에서 골라서 선택
512MB 이상의 메모리를 가지는 VPS 하나만 있으면 됨
Let's Encrypt 를 이용하여 SSL 인증서는 자동 획득

 
Trackman - 쉘 커맨드를 워크플로우 처럼 실행해주는 도구

- YAML로 단계를 지정하고 순차적 또는 병렬로 커맨드 실행
- 커맨드별 의존성 지정
- 비동기 태스크Waiting
- 타임아웃 설정
- Bash 스크립트로 만들수 있는 것들을 좀 더 쉽고 강력하게 확장
- Go로 만든 오픈소스

 
페이스북/MS/구글 기술 인터뷰용 Javascript 질문들

회사별로 3개의 문제들과 답. 댓글에 다양한 답들이 있네요.

위 링크는 페이스북이고, 구글과 MS는 아래에

Google : https://medium.com/javascript-in-plain-english/…
Microsoft : https://medium.com/javascript-in-plain-english/…

 
유용한 ‘데이터 시각화’ 정보 사이트 모음

공공데이터 시각화
1) Data USA
2) 데이지(DAISY)
3) ODPia
~
데이터 저널리즘
1) SBS 마부작침
2) KBS 데이터룸
3) ProPublica
4) The Upshot, NYT
~
자체 데이터 시각화 툴 보유
1) infogram
2) Tableau Gallery
~
콘텐츠 자체제작 또는 아카이빙
1) Flowingdata
2) Visualising Data
3) NewsJelly

 
Am I Unique ?

인터넷에서 나를 판별하는 브라우저 핑거프린트에 대한 정보를 모은 페이지
- 내 브라우저 핑거프린트 보기
- 핑거프린트 변경 이력
- 크롬/파이어폭스 확장 ( 변경 이력 보기 및 변경시 알림 )

 
노력이란 무엇인가?

“노력을 하기 위해서는 '목표'가 있어야 합니다. 목표가 구체적이면 구체적일수록 노력을 해서 얻을 때의 보상을 얻기 쉽기 때문에 목표의 선명성이야 말로 노력을 이끌어내기 위한 조건입니다.”
“결국 중요한 건 노력이라는 행위가 아니라, 노력 이전에 목표를 설정하는 것이며, 목표 설정을 위해 스스로의 욕망을 투명하게 직시해야 한다는 겁니다.”

 
Sign in with Apple 사용후기

Mezzanine 앱 개발자가 Sign in with Apple 기능을 넣은 후,
이메일/페이스북/구글/애플 로그인 4가지 방법의 사용량을 비교.
놀랍게도 애플(42%)>이메일(41%)>페이스북(9%)>구글(8%) 순 이었다고.

사용자 입장에서 앱 개발회사에 이메일을 직접 전달 안하는게 꽤 메리트 있는 것 같습니다.
메일 잘못 줬다가 스팸폭탄 맞는 경우가 많아서요.

모수가 작아서 그런거 같기도 한데 애플이 저렇게 높은건 놀랍네요. 사용해보면 쉽고 빠르기는 합니다만..
저 같은 경우 앱스토어 계정을 미국/한국 두개로 쓰는데다가 안드로이드 까지 같이 쓰고 있어서 잘 안쓰게 되더군요.
안드로이드에서 Sign in with Apple 기능 사용하기는 사실 좀 뭐해서.. ( 개발이 편한지는 잘 모르겠네요 )

전 "Sign in with Apple" 버튼을 아직 한 번도 본 적이 없는데.. 쓰던 앱만 쓰는, 이미 로그인 된 유저에게 접근 불가능 한 것이 진입 장벽이 될 수 있겠군요.

 
iOS vs Android 어떻게 다르게 디자인해야 할까? [번역]

"iOS와 Android 간 주된 차이점, 특정 플랫폼의 앱을 다른 플랫폼에 맞게 디자인을 변환할 때, 디자이너가 알아야 할 내용"
1. 주된 차이점에 대한 개요
2. 내비게이션 측면
3. 선택 제어 장치(컨트롤러)
4. 타이포그라피
5. 다른 플랫폼 기준

 
처음 만나는 Svelte [번역]

- Svelte는 무엇인가? : 프론트엔드 프레임워크
"Svelte를 사용하는것이 React 보다 훨씬 빠르고 쉽게 느껴졌다. "
- 빠르다 / 작다 / 컴파일 된다
- 쇼핑 리스트 만들기 예제
- CSS 또한 컴파일하며, 사용하지 않는 CSS를 탐지

 
Matterbridge - 다양한 채팅프로토콜들의 브릿지 라이브러리

- 각 프로토콜 간에 브릿지 연결하여 한곳에서 얘기하면 다른 모든곳에 전송 가능
- Mattermost,슬랙,IRC,Gitter,XMPP,Discord,텔레그램,Matrix,Steam,Twitch 등 지원
- 파일 첨부/링크 지원
- 사용자이름 Spoofing(속이기) 지원

 
OpenSK, FIDO2인증을 Rust로 구현한 구글의 오픈소스

- FIDO U2F 와 FIDO2 지원
- Tock OS용으로 개발되어 Nordic nRF52840(동글,개발킷) 보드에서 테스트
- 아직 PoC 수준으로 CTAP2.0 스펙 기반으로 개발, FIDO인증을 받은 것은 아님

Tock OS - 저전력/저메모리 마이크로컨트롤러용 운영체제 https://news.hada.io/topic?id=1427

 
캘리포니아 법무장관이 .org 도메인 판매를 연기

ICANN에 35개의 질문 및 정보 요구사항을 보냄. 해당 질문들은 .org 도메인 판매 및 절반은 .org의 도메인 가격 상한을 없애 버린 결정에 대한 것.
또한 ICANN의 누가 해당 결정을 했는지를 물음. 15일내로 답변해야 하며, 2달 연장될듯.

관련 기사들

.org TLD를 관리하는 비영리단체 PIR이 사모펀드에 매각됨 https://news.hada.io/topic?id=912
ICA 가 ICANN 에 .org 관리단체 매각에 대해 항의서한 보내 https://news.hada.io/topic?id=924
Save.ORG - PIR 매각을 중단해달라는 서명 사이트 https://news.hada.io/topic?id=959
ISOC가 .org 도메인을 매각한 금액은 1조3천억원 https://news.hada.io/topic?id=993
.ORG Fire Sale : 어떻게 절반도 안되는 가격으로 팔렸을까 https://news.hada.io/topic?id=1012
ICANN이 .ORG 거래건 승인을 지연하고 추가 자료 요청 https://news.hada.io/topic?id=1090

질문들 내용을 보니, 두가지 결정에 대한 이메일,회의록,계약서등 거의 모든 정보를 다 내놓으라고 요청하는 거네요. 각 담당자 정보 및 연락처까지 다 물어보고 있어서, 개인별로 추가 질문이 이어질거 같다는 예상.

도메인 가격 상한 없애 버린거에 대해서는 누가 그걸 처음에 얘기 꺼냈고, 어떻게 진행되었고, 최종적으로 어떻게 그런 결정을 했는지 이유가 뭔지까지 다 묻고 있어서 기존에 밝혀진 정보들보다 훨씬 많은게 나올수도 있을 듯.

 
OpenAI 재단이 PyTorch를 선택

Elon Musk(테슬라)와 Sam Altman(Y컴비네이터) 의 OpenAI재단이 딥러닝 프레임워크를 PyTorch로 표준화 하기로 결정.
- 선정의 주 이유는 생산성. 새로운 연구 아이디어를 실험해보기에 PyTorch가 가장 쉬웠다고
- Deep RL(딥 강화학습) 교육자료를 PyTorch 기반으로 공개하고 Block-Sparse GPU Kernels 을 비롯한 다른 것들도 공개 예정

머신러닝 프레임워크의 현재 [2019] https://news.hada.io/topic?id=696
를 봐도 연구자들은 점점 TensorFlow 보다 PyTorch를 선호하고, 시장에서도 점점 확장세인듯