1. 빅데이터 활용🧮
라이온플러스 현업 강사님
(1) 분석/시각화 구성
(2) 예측정보 서비스
2. 적용 사례📥
해양수산부와 협약하는 회사라서 해양수산과 관련된 빅데이터 플랫폼 구축을 주로 함
(1) 빅데이터 적용 사례
1) 서울시 심야버스 노선 결정
- 이통사 야간 통화 데이터 활용하여 대용량 데이터 분석을 위해 분산 시스템인 하둡을 사용함
2) 아마존 도서 추천 시스템
- 고객 개개인의 구매 선호에 맞춘 개인 맞춤형 도서 추천
- 협업 필터링(Collaborative Filtering)기술 개발(대용량 로그 분석을 위해 하둡을 사용)
- 아마존 매출의 35%가 추천으로부터 발생
(2) 자료수준별 관리체계 마련
1) 원시자료
2) 기초자료
3) 가공자료
(3) 적조 발생 예측 시뮬레이션
적조가 발생 했을 때 시스템 분석원이 입력을 하게 되어있다. 적조가 어디로 이동 할 것이냐를 예측할 수 있다.
과거의 발생한 자료와 기상청 정보등을 참고함
3. 구축 시스템 예시🔗
(1) 어업자원 변동/예측 정보 시스템
최신 수산자원 조사선을 통해 얻어진 각종 과학적 정보를 처리단계에 따라 분류하고 연계 활용이 가능한 데이터 생산
- 어체 생체 자료(조업 정보(SCAMA)), 생체 정보(길이, 무게, 이석, 생식소)
- 해양 환경 자료(CTD, AWS(해양 기상관측장치))
- 과학어탐자료(ADCP, SONAR, LCPC, TSG)
(2) 고품질 해양 환경 관측 정보 시스템
실시간, 정선관측, 연안정지, 어장환경 등 계속적으로 증가하는 실시간 해양환경 수집데이터 서비스
(3) 질병정보 빅데이터를 활용한 스마트 양식생명정보 통합시스템
어종, 질병 유전체 데이터를 활용한 스마트 양식생명정보 플랫폼 구축 및 서비스
- 질병정보 수집/확대, ICT기반 질병정보 수집체계
- 물고기도 코로나와 같은 질병이 있어서, 그 치료제등을 빅데이터를 기반으로하여 개발함
(4) 해양수산 빅데이터 기반 AI추정 어장정보 제공시스템
해양환경DW, 어획량DW, 인공위성DW, 해양기상DW
(5) 통합 정보 수온예측 시스템
(6) 위성 수온예측
4. 질의응답시간⁉
(1) 신입에 대한 기대치
조직이 갖추어져있는 중소기업 이상의 업체는 신입에 대한 기대치가 높지는 않음, 기본적인 기술적인 능력이 있으면 가능함
기술면접을 거의 보지는 않음, 아주 기초적인 기술을 물어보고 관심도에 따라 입사결정
전공자/비전공자 2~3년 후에 차이가 나게됨, 전공자는 원론적인 부분에서 이해가 좀 빠르다.
2~3년이 지났을 때 분석이나 설계도 진행을 할 때 차이가 보이게됨
(2) 요구인재
석박사 출신의 모델링과 알고리즘등을 직접 만들 수 있는 인재를 뽑으려고 함
개발자들은 프로젝트 과정에서 어떠어떠한 데이터들을 분석하고 처리해봤던 경험이 있고, 그것들을 잘했다는 걸 어필해야 함
금융권 공부를해서 다시 입사하는 분도 있었다.
웬만한 회사는 박사급 인재를 보유하고 있다.
(3) 처리순서
처리순서는 솔루션의 한 종류임 그래서 따로 설명 드릴 건 없습니다.
(4) 스타트업
스타트업의 경우는 개발자 한명이 들어오면 설계, 분석 등 다양한 업무를 맡아야 하기 때문에, 실력이 좋은 사람을 원함
(5) 가시화 업무
마지막 가시화팀에 업무 부담에 대한 가중치가 높음
가시화 업무는 개발자라면 누구나 할 수 있다.
(6) 신입사원 하는 일
게시판 만들기 등 여러가지 프로젝트에 걸쳐서 개발단위 업무를 맡아서 역할을 내게함
한가지 프로젝트에 구속되지 않음, 아주 간단한 업무(인서트 업데이트), UI등 까지도 만져볼 수 있음, 시스템 개발까지는 하지 않음, 개발자로서는 크게 비전등이 없다.
데이터베이스등은 무료 데이터베이스를 많이 사용함
일을 잘하는 친구에게는 라벨링과 쓰레기수집 같은 단순 작업을 시키지는 않음
(7) 빅데이터 관련 자격증
관공서와 일을 하는 입장에서는 크게 요청사항이없다.
크게 도움이 되기는 하지만 중요도가 높지는 않다. 면접등에서 약간의 이점이 있을 뿐이다.
자격증이 없는 사람들보다 어느정도의 이점을 받을 수 있다.
보안 관련 자격증이 더 가치가 있다.
(8) 부산취업 현황
부산에는 건설힌 업체가 많이없다. 해양수산부 산하기간들이 다 내려와 있다. 그와 관련된 일들이 조금 있다.
수도권이나, 대전이나 세종특별시쪽에 수요가 있음
tip: 발표나 프로젝트 할 때, 본인이 하는 과정에 대한 이해도가 낮은 사람들이 있다. (본인들이 제작한 UI나 가시적인 효과에 대한 발표를 함) 무엇을 위해서 이 프로젝트를 했는데 정확한 이해가 있어야함 // 왜 이 데이터를 수집을했고, 어떻게 수집을 했고, 어떤게 힘들었고, 앞으로는 어떻게 하고싶다. 이러한 내용을 정확하게 파악하고 있어야함
힝민물류 : 시스템 운영, 데이터 발생등에 대한 운영센터를 구축하고 있음(백업센터)
(9) 해양수산관련 정보시스템
시스템을 만들고 하면서 여러가지를 배울 수 있었다.
잡히는 물고기의 길이등을 측정하고 기록한다고 함
어느 수온에서 고기가 빨리 자리는지 알 수 있게 됨
어떠한 사료를 먹였을 때 가장 잘크고 병에 강하더라와 같은 정보들도 분석을 통해서 알게됨
(10) 빅데이터 솔루션 알고리즘
문자를 입력 할 때 숫자 입력 시 오류가 난다면 숫자 입력이 안되게 프로그래밍이 되어야 한다.
(11) 비전공자가 좋은 케이스
인문학과 케이스가 코딩이 초반에 조금 느릴 수 있지만, 인문학적인 요소가 많아서 분석을 하거나 설계를 할 때 다른 장점이 발휘가 될 수가 있다. 문서 작성 능력등이 더 뛰어날 수가 있다.
(12) 사용언어
정형화된 데이터베이스(오라클)보다는 nonSQL을 많이 사용함(비정형)을 많이 사용함
언어는 주로 파이썬이나 R을 사용함
