# Posits, AI의 수학을 향상시키는 새로운 종류의 숫자

> Clean Markdown view of GeekNews topic #7510. Use the original source for factual precision when an external source URL is present.

## Metadata

- GeekNews HTML: [https://news.hada.io/topic?id=7510](https://news.hada.io/topic?id=7510)
- GeekNews Markdown: [https://news.hada.io/topic/7510.md](https://news.hada.io/topic/7510.md)
- Type: news
- Author: [xguru](https://news.hada.io/@xguru)
- Published: 2022-09-30T10:32:01+09:00
- Updated: 2022-09-30T10:32:01+09:00
- Original source: [spectrum.ieee.org](https://spectrum.ieee.org/floating-point-numbers-posits-processor)
- Points: 11
- Comments: 0

## Topic Body

- 대형 신경망을 훈련하는 것은 대규모 계산 능력이 필요   
  - OpenAI의 GPT-3 같은 경우 훈련에만 약 $5m 이상이 들었음   
- 엔지니어들이 이 비용 부담을 줄이기 위해 숫자를 표현하는 다른 방법을 고안   
- 2017년에 제안된 Posits는 오늘날 사용되는 부동 소수점 산술 프로세서에 대한 개선사항  
- 이걸 하드웨어적으로 구현한 첫번째 코어가 개발됨. 현재의 FP방식보다 계산 작업의 정확도가 최대 4배까지 증가   
  > 무어의 법칙이 맞지 않게 되어가므로, 동일한 기계에서 더 많은 성능을 낼수 있는 방법을 찾아야함   
  > 이 방법중의 하나는 실수(Real Number)를 인코딩 하는 방법과 실제 숫자를 나타내는 방법을 변경하는 것   
- 이 숫자를 바꾸는 시도를 하는 곳이 여기만은 아님. 얼마전 Nvidia, Arm, Intel은 머신러닝 어플리케이션을 위해 32/16비트 대신 8비트 부동 소수점 숫자를 사용하는 것으로 합의 했음   
  - 더 작고 덜 정확한 형식을 사용하면 계산 정확도를 희생시키면서 효율성과 메모리 사용을 향상 시킴   
- 실수는 무한하기 때문에 하드웨어가 완벽하게 표현 불가능  
- 지정된 비트수에 맞추려면 많은 실수들은 반올림 되어야 함   
- Posits의 장점은 정확히 나타내려는 숫자가 숫자 라인을 따라 분포되는 방식에서 옴   
  ( 실제 Posits의 분포 방식은 글에 포함된 그림을 보시기 바랍니다. )  
- 이를 통해 얻게 되는 정확도 향상은 부인할 수 없지만, 이게 실제로 GPT-3 와 같은 대형 AI의 훈련에 정확히 어떤 영향을 미칠지는 두고 봐야함

## Comments



_No public comments on this page._