We.TIL 21 : Set, Dictionary, Hash🙉

Set

What is Set?

Set는 array나 list 처럼 순열 자료구조 (collection) 입니다.
하지만 set는 순서라는 개념이 존재하지 않습니다. Set의 특징은 다음과 같습니다.

• 데이터를 비순차적(unordered)으로 저장할 수 있는 순열 자료구조 (collection).
• 삽입(insertion) 순서대로 저장되지 않는다.
  즉 특정한 순서를 기대할 수 없는 자료구조.
• 수정 가능하다(mutable).
• 동일한 값을 여러번 삽입 불가능하다.
  동일한 값이 여러번 삽입 되면 하나의 값만 저장된다.
• Fast Lookup이 필요할때 주로 쓰인다.

Array와 달리 set은 요소들을 순차적으로 저장하지 않습니다. Set에서 요소들이 저장될 때 순서는 다음과 같습니다.

1) 저장할 요소의 값의 hash 값을 구한다.
2) 해쉬값에 해당하는 공간(bucket)에 값을 저장한다.
이렇게 set는 저장하고자 하는 값의 해쉬값에 해당하는 bucket에 값을 저장하기 때문에 순서가 없다. 순서가 없기 때문에 indexing도 없다.
그리고 해쉬값 기반의 bucket에 저장하기 때문에 중복된 값을 저장할 수 없는것이다.
해쉬값을 기반으로 저장하기 때문에 look up 이 굉장히 빠름.
Look up: 특정 값을 포함하고 있는지를 확인 하는것 ==> 5 in my_set
Set의 총 길이와 상관없이 단순히 해쉬값 계산 후 해당 bucket을 확인하면 되므로 O(1)

hash는 단방향 (one way) 암호화 입니다. 단방향이란 한번 암호화 하면 복호화가 안된다는 뜻입니다. 실제 값의 길이와 상관없이 hash 값을 일정한 길이를 가집니다. 그럼으로 Hash는 주로 임의의 길이를 갖는 임의의 데이터에 대해 고정된 길이의 데이터로 매핑할때 사용됩니다.

When To Use Set?

1) 중복된 값을 골라내야 할 때
2) 빠른 look up 을 해야 할 때
3) 그러면서 순서는 상관 없을 때

Dictionary

What is Dictionary?

Dictionary (다른 언어에서는 hashmap 이나 hash table이라고 하기도 함)는 Key-value 형태의 값을 저장할 수 있는 자료구조 입니다. 이름은 "정우성" 등 실제 데이터 값과 데이터를 설명하는 key의 대응 관계를 표현할때 유용합니다.
Dictionary의 특성은 다음과 같습니다.

• Set과 마찬가지로 특정 순서대로 데이터를 리턴하지 않는다.
• Key의 값은 중복될 수 없다. 만일 중복된 key 가 있으면 먼저 있던 key와 value를 대체한다.
• 수정 가능하다(mutable).
  
• set와 비슷하게 key 값의 해쉬값을 구한 후 해쉬값에 속해있는 bucket에 값을 저장한다.
• 그럼으로 set와 마찬가지로 순서가 없고 중복된 key 값은 허용 되지 않는다.

When to Use Dictionary?
마치 데이터베이스 처럼 키와 값을 묶어서 데이터를 표현해야 할때 유용하다. 실제로 데이터베이스 에서 읽어들인 값을 dictionary로 변환해서 사용 자주 함.

Hash

해시란 단방향 (one way) 암호화 입니다. 입력 데이터를 변환하여 원본 데이터로 복호화할 수 없도록 하는 과정 입니다. SHA(보안 해시 알고리즘)을 예로 들수 있습니다. SHA 함수를 이용하여 문자열 데이터를 입력받아서 해시값을 구할 수 있습니다.
실제 코드로 해시 값을 구해보겠습니다. 다음 코드를 작성하고 실행해보세요.

import hashlib

def sha1_hash(input_str):
    
    hash_obj = hashlib.sha1(input_str.encode())
    hash_value = hash_obj.hexdigest()
    return hash_value


wecode_hash_value = sha1_hash('wecode')
print(wecode_hash_value)
print(len(wecode_hash_value))

hash_value_1234 = sha1_hash('1234')
print(hash_value_1234)
print(len(hash_value_1234))

이처럼 hash 값은 일정한 길이를 가지고, 주로 임의의 길이를 갖는 임의의 데이터에 대해 고정된 길이의 데이터로 매핑할때 사용됩니다.

해시함수는 같은 문자열에 대해서는 같은 인덱스를 구할 수 있어야 해시함수로 구한 버킷의 인덱스를 저장 후에도 구할 수 있습니다.

해시테이블은 해시함수와 버킷(bucket)의 리스트로 구현할 수 있는데 위의 wecode 의 해시값인 '283463014a3f8ab829fcf9087ff85d50da1d1bb6' 와 '1234'의 해시값인 '7110eda4d09e062aa5e4a390b0a572ac0d2c0220'을 버킷의 주소인 인덱스를 구할 때 사용하기에는 무리가 있어 보입니다.

버킷의 크기에 따른 인덱스로 변환하는 방법은 입력된 문자열의 각자리의 숫자를 더하는 방식인 Digit folding 과 비트연산을 활용한 방법등 다양한 방법이 있지만 우리는 이미 SHA1 알고리즘으로 해시값을 구하였으므로 간단하게 버킷의 사이즈로 나누는 방법인 나눗셈법을 적용하면 버킷의 인덱스를 초과하지 않는 인덱스를 구할 수 있습니다.

나눗셈 법 : 주어진 해쉬값을 테이블크기(버킷의개수)만큼 나눠준 후 나온 값을 인덱스로 주는 방식 예를들어 SHA1의 한계바이트인 160에 해쉬값 4351이 주어진다면 인덱스는 4351%160(나머지값)인 31로 부여된다.

Linear probing(선형탐사) : 해쉬값 충돌을 방지하는 방법 중 하나로 나온 인덱스에 이미 다른 해시값이 들어가 있는 경우 고정적으로 인덱스를 1씩 증가시켜 빈 버킷에 넣어 주는 방식이다.

간단한 식으로는
(hash+count)%(self.bucket)
count += 1 등으로
1 씩 증가시켜주는 방법이 있다.