[Growth Log] 2기 5차

일전에 밝혔듯이 이번 2학기부터 통계데이터과학과를 복수전공 신청하여 수강을 하고 있다.

복수전공을 결심하게 된 데에는 여러가지 이유가 있지만 가장 큰 2가지 이유는 첫째, 통계데이터라는 학문이 앞으로 미래에 있어 매우 유망하며 배워두면 이래저래 쓸모가 많을 것 같다고 생각되었기 때문이다. 둘째로 당장의 나의 직무인 HR 업무 수행에 약간이나마 도움이 되며 아직 목표에 불과하지만 언젠가 나의 진짜 목표인 농업 분야로 진출할 때 역시 큰 도움이 될 것이라 믿었기 때문이다.

이번 학기에 수강 중인 통계데이터과확과 과목은 총 4가지이다. 이 중 "통계로 세상 읽기"라는 과목에서 빅데이터를 주제로 수업을 진행하였고 이와 관련하여 빅데이터의 개념과 장/단점 그리고 현재 농업현장에서 빅데이터가 어떻게 활용되고 있는지 알아보았다.

1. 빅 데이터란?
   빅 데이터(Big Data)를 한마디로 정의하기는 매우 어렵다. 보통 빅데이터는 다음과 같이 정의되고는 한다. “전례 없이 빠른 속도로 쏟아져 나오는 다양한 종류의 데이터” “다양한 종류의 대규모 데이터로부터 저렴한 비용으로 가치를 추출하고, 데이터의 빠른 수집, 발굴, 분석을 지원하도록 고안된 차세대 기술 및 아키텍처” “기존 데이터베이스 관리도구의 능력을 넘어서는 대량의 정형 또는 심지어 데이터베이스 형태가 아닌 비정형의 데이터 집합조차 포함한 데이터로부터 가치를 추출하고 결과를 분석하는 기술” 등이다. 이와 같이 빅데이터는 정의하는 주체에 따라 다양한 의미를 갖고 있지만 한가지 공통점이 있다. 바로 “거대한 양”이라는 것이다.

   사실 데이터 자체는 인류가 글자를 발명하고 기록하기 시작한 이후로 매순간 증가하고 있었다. 하지만 컴퓨터의 발명으로 인해 인류가 저장할 수 있는 데이터의 양과 속도가 증가하고 저장 가능한 데이터의 다양성이 확장됨으로 인해서 훨씬 더 빠른 속도로 데이터를 저장하는 것이 가능 해졌다. 이처럼 빅데이터는 어찌 보면 컴퓨터의 등장과 함께 시작되었다고 볼 수 있는데, 컴퓨터에 저장된 방대한 양의 데이터를 관리할 데이터센터와 이러한 데이터에 대한 저장, 분류, 추출, 분석 등의 작업을 지원하는 ‘관계형 데이터베이스’가 막 개발되었던 1960~70년대까지 거슬러 올라갈 수 있다. 그 후 IT와 통신기술의 급속한 발전으로 인해 인터넷을 이용하는 인구가 늘어남에 따라 데이터의 생성에 다시 한번 가속도가 붙게 된다. 특히나 PC시대와 인터넷시대를 지나 스마트폰이 중심이 되는 모바일 시대에 다다르자 데이터는 기하급수적으로 증가하기 시작한다. 최근에 데이터는 전세계적으로 2년에 2배씩 증가하고 있다고 하며 2020년에는 40제타 바이트에 이를 것이라고 한다. 1제타 바이트는 1조 1,000억 기가바이트로서 1제타 바이트는 3MB MP3곡 281조 5,000억 곡을 저장할 수 있는 엄청난 양이다.

   이처럼 빅데이터는 데이터의 크기와 증가 속도, 종류가 핵심이라고 할 수 있다. 이를 빅데이터의 3V라고 한다. 크기(Volume), 속도(Velocity), 다양성(Variety)이다. 최근에 차세대 미래 기술로 각광받고 있는 IoT(사물인터넷)을 예로 들어 빅데이터를 살펴보자. 전통적으로 데이터의 생성 주체는 인간이었다. 누군가 새로운 논문을 쓰거나 혹은 데이터를 관측해서 기록하거나 혹은 발견한 데이터를 저장해야 새로운 데이터가 생성되었다. 하지만 인터넷을 통해 세상 모든 사물이 연결되는 현재에 와서는 오히려 사람이 생성하는 데이터는 극히 일부에 지나지 않고 대부분의 데이터는 인터넷에 연결된 우리 주변의 사물로부터 생성되고 있다. 우리 손 안의 스마트폰은 물론이고 전등, 현관문, TV, 라디오, 습도계, 체중계, 스탠드 등 인터넷에 연결 가능한 모든 기기는 그들의 주변 환경을 관찰하고 수집하여 데이터로 전송, 저장하게 된다. 기업들은 자사의 제품을 통해 수집된 이러한 다양한 데이터를 분석하고 활용하여 새로운 가치를 창출하게 되는데, 이 가치가 바로 최근 들어 주목받는 빅데이터의 네번째 특징이다.

   이 가치(Value)로 인해 빅데이터의 중요성이 더더욱 증가했다고 할 수 있다. IT와 통신 기술이 충분히 발전하기 전에는 아무리 많은 데이터가 있어도 이를 저장하고 분석할 수 있는 능력이 부족했다. 수천억 기가바이트를 저장할 물리적인 공간도, 물리적인 공간이 설사 있다해도 이런 엄청난 크기의 데이터를 분석할 수 있는 도구가 없었던 것이다. 하지만 IT와 통신기술의 비약적인 발전은 인류가 이러한 천문학적 크기의 데이터를 다루는 것을 가능하게 해주었고, 인류는 이 데이터를 분석하여 매순간 새로운 정보(Information)을 추출해내고 있다. 예를 들어, 삼성전자의 최신 갤럭시 스마트폰에는 사용자의 스마트폰 사용 패턴을 자동으로 관찰하고 분석하여 각 사용자의 사용 패턴에 맞게 스마트폰의 상태를 조절해주는 기능을 탑재하고 있다. 전세계 10억대 가까운 갤럭시 스마트폰의 사용정보는 모두 수집되어 삼성전자로 보내지고, 삼성전자는 이렇게 수집된 데이터를 분석하여 그들의 고객들의 사용패턴과 주요 관심사항을 추적하여 더욱 향상된 서비스와 제품을 개발할 수 있게 된다.

   이처럼 빅데이터의 활용은 우리에게 전에 없던 새로운 기회의 장을 열어주었지만 이러한 빅데이터의 활용이 쉬운 것은 아니다. 빅데이터를 적절히 활용하기 위해서는 다음과 같은 작업들이 반드시 선행되어야 한다. 첫째, 통합이다. 사람들은 물론이고 우리 주변의 수많은 사물로부터 지금 이 순간에도 생성되고 있는 데이터를 효과적으로 수집해 통합시켜야 한다. 특히나 데이터의 양은 시간이 갈수록 더욱 빠른 속도로 증가하고 있기 때문에 이를 다루기 위한 새로운 기술과 기반구조가 필요하다. 둘째, 관리이다. 수집된 데이터를 저장하고 사용자가 필요한 때에 신속하게 보여줄 수 있는 관리기술은 빅데이터 활용에 있어 필수적인 부분이다. 예전에는 개인이나 기업이 데이터 저장을 위한 스토리지를 직접 구매하고 관리를 위한 SW를 설계해야 했지만, 최근에는 클라우드 컴퓨팅과 관련 오픈소스 프로그램의 배포 등으로 손쉽게 관리할 수 있다. 셋째, 분석이다. 데이터는 데이터 자체로는 아무런 의미가 없다. 데이터를 적절한 방법을 통해 분석하고 가공하여 데이터 사용자에게 의미 있는 것으로 바뀔 때 의미를 갖는 것이다. 특히나 빅데이터에는 기존의 정형화된 데이터뿐만 아니라 사진, 음성, 비디오 등과 같은 비정형 데이터도 포함되어 있기 때문에 이러한 유형의 데이터를 효과적으로 분석할 수 있는 기술이 반드시 필요하다.

2. 빅 데이터를 어떻게 활용할 수 있는가?
   그렇다면 과연 우리 주위에서 빅데이터는 어떤 방식으로 활용되고 있을까? 생각보다 훨씬 다양한 분야에서 생각치 못한 방식으로 활용되고 있다. 스포츠 산업을 예로 들어보자. 지난 2011년 개봉했던 ‘머니 볼’이라는 영화를 본적이 있는가? 이 영화는 미국 MLB를 배경으로 하는 실화 기반의 영화이다. 미국 MLB의 ‘오클랜드 어슬레틱스’의 구단장인 ‘빌리 빈’은 리그 전체 25위에 해당하는 낮은 구단 운영비로 구단을 운영하였다. 하지만 그는 선수들의 ‘이름’과 ‘명성’이 아닌 선수들이 경기에서 보여준 ‘데이터’를 기반으로 팀을 꾸렸고, 빌리 빈의 이러한 전략은 적중하여 리그 최하위에 머물던 팀을 4년 연속 포스트시즌에 진출 시키고 메이저 리그 최초 20연승이라는 대기록을 달성하였다. 축구계도 빅데이터를 활용하고 있다. 지난 2014년 브라질 월드컵 우승국인 독일은 선수들에게 센서를 부착하여 데이터를 수집했고, 이 수집된 데이터를 기반으로 선수들의 움직임을 분석하고 상대팀의 전력, 강점, 약점 등을 분석하여 좀 더 과학적으로 전략을 수립하고 실행하였다고 한다.

   빅데이터는 농업에도 적극적으로 활용되고 있다. 1차산업인 농업과 4차산업의 핵심기술인 빅데이터는 얼핏 보면 전혀 어울리는 것 같지 않지만, 사실 빅데이터는 농업에 가장 극적인 변화를 가져올 수 있는 기술이다. 농사에는 수많은 요인들이 관여한다. 매일의 날씨, 매년의 기후, 토양, 수질과 같은 환경요소는 물론이고 곤충, 미생물, 인간, 야생동물과 같은 생물요소도 관여한다. 때문에 농업은 발생하는 데이터의 양이 천문학적이고, 종류 역시 다양하며, 정형화되지 않은 수많은 비정형 데이터로 인해 예측할 수 없는 특징을 보인다. 그렇다면 빅데이터는 농업 현장에서 구체적으로 어떤 방식으로 활용되고 있을까?

   
   https://www.youtube.com/watch?v=j4RWJTs0QCk

   위의 영상을 통해 IT기술이 농업 분야에서 어떻게 혁신을 일으키는지 확인할 수 있다. 본 영상은 미국의 토마토 농장에서 토마토를 선별하는 작업영상을 촬영한 것이다. 01:15초를 보면 엄청나게 빠르게 이동하는 토마토를 실시간으로 카메라 등을 이용해 촬영 및 분석을 하고 아직 덜 성숙했거나 혹은 상품가치가 떨어지는 토마토를 Robot Arm을 이용해 1초도 안되는 짧은 시간에 쳐내는 것을 볼 수 있다. 만약 이를 사람이 수작업으로 진행하였다면 어마어마하게 많은 시간과 자원이 필요할 것이다 IT기술을 활용하였을 때 비하여 훨씬 높은 오작업을 발생시켰을 것이다. 위의 기술이 벌써 10년도 더 전에 구현된 기술이니 2024년 현재에는 이보다 훨씬 높은 수준의 기술들이 농업현장에 적용되고 있을 것이다. 이와 관련된 간략한 예를 들어보면 아래와 같다.

   클라이밋 코퍼레이션(Climate Corporation)은 미국의 농업 관련 회사로서 미국 내 주요 농업현장에서 발생하는 데이터를 수집, 분석하여 개별 농가들의 의사결정을 지원하는 서비스를 제공하고 있다. 주요 농업 지역의 지난 수십 년간의 수확량 데이터, 1,500억 곳의 토양 데이터, 250만개 지역의 기후 데이터 등 방대한 빅데이터를 기반으로 농업인들이 질병이나 재해를 피하고, 해당 농장에서 수확량을 극대화할 수 있는 방법이나 작물을 제시하여 준다. 또한 작물의 생장상황, 건강상태(양분, 질병 등), 수확량 예측 등의 정보를 실시간으로 제공하여 최적의 상태로 작물을 재배하여 생산 비용을 줄이고 생산량을 증가시켜 수익을 극대화하는 방안도 제시하여 준다.
   세계 최대의 농기계 회사인 미국의 존 디어(John Deere) 또한 빅데이터를 적극적으로 활용하고 있다. 존 디어는 자사의 콤바인에 센서를 탑재하여 토양의 다양한 환경요소를 측정하고, GPS 기술을 탑재하여 cm 단위의 정밀한 작업을 지원한다고 한다. 특히나 존 디어의 이러한 시도는 환경보호에도 큰 역할을 하고 있다. 농업에서의 가장 큰 문제는 바로 ‘제초제’이다. 매년 잡초 제거에 드는 비용만 30조원 수준이고, 매년 250여종의 내성 잡초가 생겨나고 있다고 한다. 존 디어의 자회사인 ‘블루 리버 테크놀로지(Blue River Technology)는 빅데이터와 인공지능을 결합하여 제초제의 사용량을 기존의 10분의 1 수준으로 줄였다고 한다. 이는 제초제 분사 기계가 머신러닝 기술을 활용하여 작물과 잡초를 실시간으로 구분하여 잡초에만 선택적으로 제초제를 뿌리는 방식을 통해 구현할 수 있었다고 한다.
   IBM의 ‘딥 썬더’는 지역밀착형(hyperlocal) 일기예보를 제공하는 서비스이다. 기후와 날씨는 1년의 농업에 있어 가장 중요한 요소 중에 하나이다. 때문에 기후와 날씨를 예측하고 이에 대응하는 것은 농업의 성패를 가른다. IBM의 ‘딥 썬더’는 전국 각지에 설치된 센서를 통해 실시간으로 날씨와 기후에 관한 데이터를 수집하고 분석하여 해당 지역에 대한 더욱 정밀한 일기예보를 제공하여 준다. 이러한 서비스는 정밀농업, 수확량 증가, 수확 후 손실 감소, 저렴한 가격과 같은 소비자 혜택, 품질개선, 환경영향 감소 가능성 등과 직접적으로 연관된다. 아래의 그림은 이러한 딥 썬더 서비스를 설명한 것이다.
   

   빅데이터는 위에서 알아본 작물의 생육 단계뿐만 아니라 작물의 유통과 소비에도 큰 변화를 가져올 수 있다. 최근 들어 각광받는 ‘드론 기술’과 결합하여 신선한 농산물을 산지에서 소비지로 직송하려는 시도가 진행되고 있다. 또한 작물의 수확 후 각 작물 별 최적의 처리 환경을 유지하고 조성하는데 역시 빅데이터가 중요한 역할을 담당할 것으로 예상된다. 또한 빅데이터를 활용하여 소비자들의 농산물에 대한 수요를 분석하여 농산물의 가격 변동을 최소화하고, 필요한 곳에 적절한 때에 농산물을 공급 등 농업의 다양한 분야에 빅데이터 기술을 결합하여 활용할 수 있을 것이다.

3. 빅 데이터 활용에 있어서 당면하고 있는 문제들은 무엇인가?
   하지만 빅데이터가 우리의 삶에 빛만 가져다주는 것은 아니다. 빅데이터를 통해 분명 우리의 삶이 한층 진보한 것은 맞지만 동시에 우리 자신을 제약하는 삶을 만들기도 한다. 이에 앞서 우선 빅데이터 활용 상의 기술적인 문제들에 대해 간략히 알아보자.

   빅데이터 활용함에 있어 가장 큰 장애물은 바로 빅데이터 그 자체의 규모이다.
   

   위의 그래프는 전세계의 데이터 양의 증가 속도를 나타내고 있다. 2020년에는 40제타 바이트를 조금 넘는 수준인데 2025년이면 175제타 바이트로 4배 이상 증가하는 것으로 예측되고 있다. 이는 해마다 30% 이상의 증가율을 보이는 것이며, 데이터의 양은 시간이 지날수록 점점 빨리 증가할 것이다. 우리는 과연 이런 천문학적인 양의 데이터를 어떻게 관리하고 저장할 수 있을까? 최근 들어 급격히 확산되고 있는 클라우드 컴퓨팅이 해답의 실마리르 주는 듯이 보이지만 데이터의 증가 속도를 보면 이조차 확실한 대안이 될 수 있을지 의심스럽다.

   동시에 빅데이터를 관리하고 분석할 수 있는 기술 역시 중요하다. 현재 가장 보편적으로 쓰이고 있는 빅데이터 처리 기술은 Apache Hadoop이다. Hadoop은 대용량 데이터를 분산 처리할 수 있는 자바 기반의 오픈소스 프레임워크이다. Hadoop은 분산 파일 시스템인 HDFS(Hadoop Distributed File System)에 데이터를 저장하고, 분산 처리 시스템인 ‘맵 리듀스’를 이용해 데이터를 처리한다. 이러한 빅데이터 처리 기술은 빠르게 변화하고 있고 최근에는 Apache Spark가 등장했고, Hadoop과 Spark를 적절히 조합한 것이 가장 효율적인 방식으로 여겨지고 있다. 빅데이터의 크기와 복잡성은 앞으로도 훨씬 거대해지고 복잡해질 것으로 예측되는 만큼 이를 적절히 처리할 수 있는 차세대 기술의 필요성이 대두되고 있다.

   빅데이터에 관한 더욱 심각한 문제는 바로 ‘사생활 침해’이다. 미국 Marble사의 영화인 ‘캡틴 아메리카 : 윈터 솔져’에는 빅데이터의 위험성을 다룬 장면이 나온다. 해당 영화에서 특정 단체는 전세계 모든 사람들의 인터넷 사용 기록, 의료정보, 은행 계좌정보, 인터넷, 비행기 예약정보, 이메일, 통화기록 등 수많은 데이터를 수집하고 특정 알고리즘을 통해 분석한 후 각 개인이 자신들에게 협조적인 사람인지, 비협조적인 사람인지, 위협적인 사람인지 구분하고 폭격을 통하여 제거하려고 시도한다.

   비록 영화 속의 사건이지만 빅데이터에 관한 기술은 지금 우리 바로 앞에서도 이루어지고 있다. 특정 사이트를 웹 서핑 하다 옆에 띄워져 있는 배너 광고에 놀란 경험이 한번쯤은 있을 것이다. 여름 휴가 기간에 여행을 가려고 유명 관광지나 여행사 홈페이지를 방문했다면 배너 광고에 여행사들의 패키지 여행에 관한 광고 혹은 항공사들의 티켓 특가 세일 등이 나타난다. 구글의 검색 알고리즘이 각 개인의 인터넷 검색과 방문 기록을 기록한 후 이를 토대로 해당 개인이 관심 있어 하는 정보를 실시간으로 제시하는 것이다. 구글은 가끔은 나 자신보다 내가 원하는 것을 잘 알고 있다.

   만약 상상을 조금 더 전진시켜 빅데이터가 단지 광고에만 활용되지 않는다면? 과거의 데이터를 토대로 개인의 미래를 예측하고 이를 ‘예방’하려는 시도가 발생한다면? 특정 정치집단이 빅데이터를 사용하여 자신들의 정치적 기득권을 유지하려고 자신들에게 반대되는 사람들을 억압하는데 빅데이터 기술을 활용한다면? 지나친 상상일지 모르지만 이는 당장 내일이라도 충분히 가능한 시나리오이다. 이러한 가능성 때문에 빅데이터는 ‘21세기의 핵폭탄’이 될 수 있을 것이라고 생각한다. 원자력 기술이 인류에게 막대한 에너지를 선사해주었지만 동시에 단 한 발로 대도시 하나를 파괴할 수 있는 가공할 파괴력 역시 선사하였다. 빅데이터 역시 마찬가지이다. 빅데이터 기술은 우리 삶을 훨씬 풍부하고 다채롭게 만들어줄 수 있지만 잘못 사용된다면 우리에게 핵폭탄 이상의 고통을 가할 수도 있을 것이다. 앞으로 우리의 과제는 빅데이터를 활용하는 기술의 발전과 동시에 이러한 빅데이터가 내포하고 있는 ‘윤리적 문제’들에 관한 사회적 합의 역시 마련해야 할 것이다.