[영상후기]부동소수점 (+ 실수계산 오차가 생기는 이유)

박철현·2023년 3월 5일
0

영상후기

목록 보기
11/160

movie

  • 컴퓨터 : 이진법 표기 -> 모든 숫자 정확하기 표현하기 어려움

    • 예를 들어 10진수 1/3 : 0.33333333.... → 0.3 표기한다면
    • 뒷자리 빼면 뒷자리만큼 오차
    • 소수점 부분 : 2^-1, 2^-2, ...로 표기하나 2로 나눠떨어지지 않는경우 오차 발생
      ex) 십진수 0.1 -> 0.0001100110011... (무한소수)
    • 라이브러리 활용하여 정확한 계산 가능
  • 고정소수점 자료형 : 부호 비트 1 + 정수 15 + 소수 16

    • 소수나 정수 큰 경우 표현 불가
  • 부동소수점 자료형으로 해결 (IEEE 754 표준)

    • 1.xxx형태로 변환
    • 부호 비트 1 + (지수) 소수점 움직임 비트 8 + (가수)소수점 뒤 23 비트
  • 오차 없는 계산 : BigDecimal 등 정확한 실수 계산을 위한 라이브러리가 있음

profile
비슷한 어려움을 겪는 누군가에게 도움이 되길

0개의 댓글

관련 채용 정보