▲GN⁺ 2024-08-28 | parent | ★ favorite | on: 분산 시스템을 위한 Erasure Coding 기술(transactional.blog)Hacker News 의견 rateless fountain codes가 언급되지 않은 것에 놀라움 Luby Transform Code가 흥미로움 LT codes는 RFC6330의 RaptorQ 인코딩에서 사용됨 과거에 제안된 네트워크 코딩 알고리즘이 있음 여러 경로를 통해 파일을 더 빠르게 받을 수 있음 Erasure coding은 오래된 기술임 Usenet의 PAR2 파일을 기억해야 함 Erasure coding에 관심이 있다면 다차원적인 경우를 고려해야 함 스핀들뿐만 아니라 랙, 방, 데이터 센터, 지역 등 다양한 실패 도메인에 걸쳐 인코딩을 생각해야 함 Wirehair를 프로젝트에서 사용해본 사람이 있는지 궁금함 Wirehair는 이상적인 알고리즘 성능과 API를 가짐 그러나 Wirehair는 명세가 아닌 아이디어의 구현임 안정적이지만 신뢰할 수 있는 명세로 변환될 수 있을지 걱정됨 Ceph의 Erasure Code pool의 핵심 기술임 코딩 매개변수(k, m)를 나중에 업데이트할 수 없음 이 비탄력성 때문에 복제본이 여전히 고가용성 장애 내성 데이터 저장의 주된 선택임 M of N 사건 동안 생성된 제품이 모든 N이 사용 가능한 경우와 다르게 인코딩되는지 궁금함 "N이 복원될 때 재인코딩 필요"를 나타내는 비트 플래그가 필요할 수 있음 Rabin의 Information Dispersal Algorithm을 떠올리게 함 관련 논문 링크 제공 읽기 전용 또는 읽기 집중적인 작업에만 실용적인지 궁금함 Ceph가 분산 블롭 저장소에 사용하는 복제 전략 중 하나임
Hacker News 의견
rateless fountain codes가 언급되지 않은 것에 놀라움
과거에 제안된 네트워크 코딩 알고리즘이 있음
Erasure coding은 오래된 기술임
Erasure coding에 관심이 있다면 다차원적인 경우를 고려해야 함
Wirehair를 프로젝트에서 사용해본 사람이 있는지 궁금함
Ceph의 Erasure Code pool의 핵심 기술임
M of N 사건 동안 생성된 제품이 모든 N이 사용 가능한 경우와 다르게 인코딩되는지 궁금함
Rabin의 Information Dispersal Algorithm을 떠올리게 함
읽기 전용 또는 읽기 집중적인 작업에만 실용적인지 궁금함
Ceph가 분산 블롭 저장소에 사용하는 복제 전략 중 하나임