컨퍼런스/세미나

개요 2021.11.10~11 진행되는 Line 개발자 컨퍼런스 세션 시청 후 정리 link : https://linedevday.linecorp.com/2021/ko/ DAY1 13:40-14:20 KST LINE Messaging Platform에서 HBase와 K

DAY1 14:20-15:00 KST Youtube 영상 link데이터 포맷은 파일시스템 디렉토리로 관리됨.메타데이터 변경 및 조회는 하이브 메타스토어를 통해 이루어지는데,테이블 메타데이터는 메타스토어 DB (RDBMS) 에 저장라인 데이터 플랫폼은 데이터를 저장하는

DAY1 15:00-15:20 KST Youtube linkKSETL 은 Kafka Stream ETL. 카프카로 ETL 한다는 뜻.데이터 처리 지연을 줄이기 위해 스트림 처리함. ex) 배달주문, 금융거래 사기 판별 등 사용자 컨텐츠 추천시 실시간 처리할 시 성능이

DAY1 15:20-15:40 KST Youtube linkHDFS 는 Hadoop 하위 프로젝트로 분산형 파일시스템.서버가 다운되어도 데이터가 사라지지 않도록 하고 높은 처리 능력으로 RW 가능Master 인 NameNode 와 Slave 인 DataNode 로 구성

DAY1 15:40-16:20 KST Youtube linkKakfa 는 높은 확장성, ACL, Quota, 멀티 테넌트 운영 가능.(Kafka에 대한 설명 생략. Producer, broker ,consumer 등 기초적인 내용.)라인 광고, 공식 계정 등 100개

DAY1 16:40-17:00 KST Youtebe link라인 스티커 숍에는 스티커 추천 기능이 있음.이전에는 스티커를 구매하기 위해선 스티커 숍을 방문해야했음. 현재는 UI 변경으로 숍 접근 없이 스티커 정보 접근 가능해짐유저 행동상으로도 89% 유저가 추천 외 스

DAY2 14:40-15:00 KST Youtube link라인 뮤직에서는 곡 정보를 웹 UI로 접근하거나 API를 통해 메타데이터를 취득할 수 있음.Meta Search API 서버를 만들어 리퀘스트 발생시 Elasticsearch 로 검색함.곡 이름으로 검색하는 것

DAY2 15:20-15:40 KST Youtube link출근 자동 판정 시스템일하기 좋은 환경을 만들기 위하여 사내 과제로서 진행함.통근비 실비 지급을 위해 사무실 출근인지, 재택근무인지 근태 관리 및 이를 취합하여 지불할 금액 자동 산정 진행.오피스 서비스를 적절

DAY2 16:20-17:00 KSTYoutube linkVerda 라는 라인용 프라이빗 클라우드 서비스를 이용함. 쿠버, ES 서비스 및 오프젝트 스토리지 사용하고 있음.애플리케이션 팀이 앱을 배포하기 위해 쿠버 클러스터에 배포하고자 함 \-> 모니터링에 필요한 요소

https://forward.nhn.com/2021/sessions/11전통적인 동기 방식의 처리connection pool 미리 연결을 맺어둔 connection pool 을 이용해 매번 connection을 맺는 병목을 줄여줌thread pool 을 이용

5가지 추천 시나리오에 대해 프롬프트 세트 설계, 성능 평가등급 예측 (rating prediction)순차 추천(sequential recommendation)직접 추천(direct recommendation)설명 생성 (explanation generation)리뷰

class 기반 TF-IDF의 variation 을 통해 토픽 추출문서 임베딩 생성, 임베딩 클러스터링, class 기반 TF-IDF 로 토픽 표현 (topic representation) 추출BERT(Bidirectional Encoder Representations