# NAS
[논문 리뷰] Adashare: Learning What To Share For Efficient Deep Multi-Task Learning
link: https://arxiv.org/pdf/1911.12423.pdf NeurIPS 2020 Abstract 심층 신경망으로 multi task learning을 수행하는 일반적인 방법은 initial layer를 공유하고 adhoc point(임시 지점)에서 분기하는 수작업 방식이거나 additional feature sharing/fusion mechanism이 있는 별도의 task-specific network를 통해 수행됨 자원 효율성을 고려해 최고 인식 정확도를 달성하기 위해 어떤 작업에서 무엇을 공유할지 결정하는 AdaShare라는 adaptive sharing approach를 제안 주요 아이디어 multi task network에서 주어진 task에 대해 어떤 layer를 실행할지 선택하는 task-specific policy를 통해 공유 패턴을 학습 standard back-propagation을 사용하여 네트워크 가중치와
[Error]네트워크 자격 증명 기억이 되지 않는 오류
네트워크 자격 증명 설정을 해보려 합니다. 접속할때 아이디와 비밀번호를 입력하여 로그인해야 접속이 가능한 NAS(Network Attached Storage)를 이용하고 있습니다. 로그인 시 내 자격 증명 기억을 체크해도 항상 재부팅 시에 연결이 끊겨있고, 항상 매번 로그인을 해야하는 불편함이 있었습니다. 귀찮음으로 인해,,, 한 달을 넘게 매번 로그인하다가 오늘은 해결하려합니다 .. 윈도우 검색창에 자격을 검색하여 Windows 자격 증명 관리 를 클릭합니다. 
홈 서버 갖고 놀기 - 하드웨어
홈 서버 만들기 이 글은 SBC (싱글 보드 컴퓨터)를 이용해서 NAS와, 개발 환경 구성이 가능한 홈 서버를 구성하는 방법에 대해서 다루며, 이는 실용적이기보다는 취미에 가깝습니다. 이 글에서 사용하는 기기는 ODROID N2+ 입니다. 만드는 이유 구글 포토 구글 포토가 고화질 용량 무제한 서비스를 중단했습니다. 구글 포토는 최대 15GB 의 사진 저장 용량을 제공하며(이 제공량은 구글 드라이브의 용량과 공유된다), 만약 화질을 '원본' 화질이 아니라 '고화질'로 설정할 경우, 저장 용량에 포함되지 않
스프링부트의 정석 집필 - 8
강사님의 피드백 중에 나스에 올려달라는 피드백이 있었다. 따라서 처음에 NAS가 뭔지 몰라서 일단, 작업한 내용을 강사님께서 하라는 데로 작업을 해서 올려놓았다. 그러다보니 NAS가 뭔지 궁금해서 찾아봤다. NAS Network Attached Storage 의 약자로 네트워크로 연결된 하드 쉽게말해 하드와 인터넷이 결합이되어 서버의 형태로 외부든, 내부든 그 어디에서도 하드에 접속
3. NAS에서 Nexus Container 실행하기
[들어가기전] NAS SSL 은 허용 되어있어야 합니다. 1. Docker에 nexus container 띄우기 NAS Docker에 sonatype/nexus3 이미지 다운로드 Docker registry 탭에서 nexus 검색 sonartype/nexus3 선택 후 다운로드 버튼 클릭 sonartype/nexus container 생성 이미지탭 이동 후 sonartype/nexus 더블클릭 및 아래 이미지들과 같이 설정 네트워크 설정 일반 설정
Cloud Storage (feat. NHN Cloud)
NHN Cloud에서 제공하는 클라우드 기반 스토리지들에 대해 간단하게 정리해보고자 한다. AWS에서 제공하는 유사 서비스의 문서 또한 참고하였습니다. > 공식 Documents의 내용들을 그대로 따온 용어 정리이고, 자세한 사용법은 이 게시글에서 다루지 않습니다. 추 후 다른 게시글에서 작성할 수도 있음(?) Block Storage 블록 스토리지는 인스턴스 기본 디스크 외에 추가로 연결하여 사용할 수 있는 가상 디스크다. 연결된 인스턴스를 삭제하더라도 블록 스토리지는 삭제되지 않는다. 블록 스토리지는 여러 개의 인스턴스에서 동시에 연결하여 사용할 수 없다. 연결이 해제된 블록 스토리지는 다른 인스턴스에 연결하여 사용할 수 있다. 블록 스토리지는 같은 가용성 영역(availability zone) 안에 있는 인스턴스에만 연결할 수 있다. 다음과 같은 상황에서 활용할 수 있다. 기본 디스크의 저장 공간이 부족할 때 블록 스토리지를 추가로 장착하여 인스턴
시놀로지 PtorocolVersion 오류
문제상황 : 접속시도 시, 아래와 같은 오류가 발생 ▷ 원인: ProtocolVersion 원인 HTTPS로 접속하도록 되어 있으나, HTTP로 접속하려고 시도하여 발생. 해결방법 HTTPS 프로토콜은 포트번호 5006, HTTP는 5005 이므로 포트번호를 5005에서 5006으로 변경하면 해결된다. 참고 -- https://ko-with.raidrive.com/t/protocolversion/4445
Synology Download API
나의 친절한 맥북은 Synology를 쓰면 sinology라고 자꾸 자동변환해준다 시놀로지에 올라가 있는 파일을 Python 코드상에서 바로 불러와서 쓰고싶다는 생각을 함. 나한테 필요한건... "시놀로지의 특정 경로에 있는 파일을 다운로드하는 API"인데... 쓸데없이 > _엥 그 뭐드라 스토리지 서비스들 보면 막 그거 그 파일 링크 주면 그걸로 바로 접근할수 있잖아 이거 시놀로지에서 어케 하지?? _ 같은 사고의 흐름을 거친 탓에.. synology direct link...url... 어쩌구 저쩌구로만 서치를 해버리고... 없단 결론을 내림.... 시놀로지에서 "파일 공유" 기능이 있긴 한데 있는데 일단 사용자가 공유 링크를 먼저 생성해야되고 <- 여기에서 아웃. 그 공유 링크를 들어가도 파일이 바로 다운로드되는게 아니라 다운로드 UI 화면을 먼저 띄워줌 <- 나는 바로 데이터를 받아오는 링크를 원함 그래서 삽질을 통해 스스로 Authentif
Neural architecture search (NAS)
🔴 유튜브 영상 시청 : 구글 클라우드에서 강연한 NAS에 대한 영상을 시청 > 🟠 영상 목차 아래의 순서대로 발표가 진행됨 (1) NAS란 무엇인지 (2) NAS buliding blocks (3) NAS가 어떻게 작동되는지 (4) NAS의 강점, 성능 (5) NAS의 사용 사례 (6) 요약 > 🟡 NAS가 나온 계기 2007년 구글 브레인 팀은 기계학습 시, 확장 및 설계 측면에서 더 나은 접근 방식이 필요하다고 생각함 즉, 더 나은 신경망을 구축할 수 있도록 도울 수 있는 방법이 필요했음 신경망 구축 은 다양한 사용 사례에 적용될 수 있기 때문임 신경망을 잘 다루는 데이터 과학자, 엔지니어링 등 많은 전문가가 존재함 BUT, 신경망을 튜닝하기 위한 많은 노력, 시간이 필요함 😀 따라서, 인공 신경망 설계를 자동화 하는NAS 기술이 개발됨 > 🟡 NAS란? (1) NAS는 AutoML의 하위 필드임 : 하이퍼파라미터 튜닝을 살펴보면,
MySQL을 도커에서 작동시키기
MySQL & Docker MySQL : 먼저 MySQL을 도커에 올리게 된 계기라 하면 현재 학부생 인턴으로 실험을 진행하면서 여러 오픈 소스 웹 앱들을 다루고 있는데 그 중 몇가지는 예전 버전의 MySQL을 사용할 때가 있다. 로컬 환경에서는 단 하나의 MySQL을 설치할 수 밖에 없기 때문에 여러 오픈 소스 웹 앱들을 작동시킬 때마다 버전을 바꿀 필요가 생기게 된다. 이러한 문제점을 해결하기 위해서 MySQL을 도커에 올려서 작동시키고 여러 버전을 동작시킴으로써 필요에 맞게 알맞은 로컬 포트의 데이터베이스에 접근하도록 설정할 수 있다. 예를 들면 git에서 해당 웹 앱이 있다.(https://github.com/manhduydl/Shopping-web-Jsp-Servlet) 이 웹 앱의 경우 MySQL 버전 5에 접근하는 자바 코드를 가지고 있어서 MySQL 버전이 바뀔 경우 DBConnect.java의 코드를 전체적으로 수정해야할 필요성이 생긴다. My
TrueNAS Core에서 발급한 인증서 플러그인에서 사용하기
개요 이전에 발급한 ssl 인증서는 freenas-deploy.py에 의해 smb, ftp, webui등 각종 서비스에 자동 배포되었습니다. 하지만 플러그인에서는 인증서를 사용하기 위해 별도로 작업이 필요합니다. 리버스 프록시용 jail을 추가적으로 만들어 각 플러그인에 매핑해주는 방법이 트루나스 포럼에서 선호되는 방법이지만 추후에 적기로 하고 각 플러그인에 수동으로 인증서를 설치하는 요령을 정리합니다. 방법 먼저 기존 이전에 .acme.sh로 발급한 인증서로 사전작업을 하겠습니다. 루트폴더에 자기 도메인의 이름으로된 폴더를 만들고 웹서버에서 사용하기쉬운 파일로 만듭니다. 인증서를 장기적으로 사용할 계획이면 발급명령어를 크론으로 빼두셔도 됩니다. 방금 저장한 인증서를 가져올 jail을 선택해주세요. 저는 nextcloud 플러그인을 사용하도록 하겠습니다. jail이 가동중이면 중지시키고, mount point에 들어가서 인증서를 설치한 폴더를 마운트시킵니다.
SynologyNAS DS218+ 사용 후기
SynologyNAS가 뭐냐고? Synology NAS를 모르는 사람들을 위해 먼저 얘기해보자면 Synology NAS는 대만회사인 Synology에서 만든 NAS이다. NAS는 Network Attached Storage의 줄임말로 쉽게 말하면 LAN으로 연결되어있는 외장 하드디스크로 네트워크에 연결되어있다면 어디서든지 접근할 수 있는 외장 하드디스크라고 보면 된다. 사실 내가 이 NAS를 사게된 이유는 굉장히 게으르고 귀찮아서인데 대학교 1학년 때 한 학기동안 USB를 3~4번을 잃어버리면서 '이렇게 매번 USB를 잃어버릴거면 이 돈으로 차라리 NAS를 사는게 더 현명하지 않을까?' 라는 생각에 사게되었다. 처음에 구매할 때 단순히 Synology사의 NAS가 세계적으로 유명해서 Synology를 구매했는데 사용하다보니 SynologyNAS는 정말 물건인 것 같다. 단순히 파일 저장용 서버로 사용하는 것이 아니라 컴퓨터공학을 전공하는 나는 여러가지 서버로 활용하고있다.
시놀로지 NAS위에 젠킨스 도커로 node서버 자동배포환경 만들기
1. 나스에서 jenkins:jenkins 이미지 다운로드(이미 젠킨스 환경이 설치되어 있어서 편함) 2. 위 이미지로 컨테이너 생성(49156, 49155는 임의로 정함) 나중을 위해 NAS볼륨과 포트를 연결해줌 포트의 경우 나중에 더 추가해도 되는데 젠킨스를 접속하게 할 8080포트와 express가 실행할 3000포트는 필수임 이 도커 컨테이너 포트(내부)를 나스의 포트(외부)로 연결해서 밖에서 접속할 수 있음 예) xxxx.synology.me:49155로 도커의 localhost:8080에 접속가능 <img src="https://velog.velcdn.com/images/t
NAS Docker에 express 서버 설치해보기(1)
1. 필수 프로그램 설치 apt-get update && apt-get install -y build-essential && apt-get install -y nodejs && apt-get install -y npm && apt-get install -y vim 2. 폴더하나 만들어서 express설치 npx express-generator npm start로 서버 실행(기본설정 3000포트) 3. 도커내부 포트와 외부포트가 잘 연결되었는지 확인 만약 도커 만들때 포트 지정안해줫으면 컨테이너 중지하고 편집에서 추가해줄 수 있음 여기서는 외부 43000을 도커의 3000포트와 연결시켜줌 4. 서버 접속하기 
NAS Docker 터미널에 맥 ssh로 접속하기(2)
1. 먼저 컨테이너의 내부 포트와 NAS의 외부포트를 포트포워딩으로 연결해줘야함 내경우는 외부포트는 40022를 내부포트는 ssh를 위해 22로 지정함 다시 말하면, 도커의 외부에서 접속할 때 40022로 접근할거고, 이게 도커 컨테이너의 22번포트로 연결한다는 말 40022는 내가 임의로 정해줘서 바꿔도 되지만, 22번은 ssh전용포트라 ssh를 사용할거면 이걸로 써야함 참고로 외부포트인 40022는 공유기에서도 포트포워딩 해줘야 접속할 수 있음 2. 외부에서 ssh를 접속할 수 있도록 프로그램 설치 apt-get install openssh-server ssh 프로그램 설치 vim /etc/ssh/sshd_config 중간쯤에 PermitRootLogin yes를 삽입 root
Synology NAS 에 MariaDB 설치하기 (AWS RDS MySQL 에서 NAS MariaDB 로 마이그레이션)
https://kb.synology.com/ko-kr/DSM/tutorial/HowtomanageMySQLdatabasesonyourSynologyNASwithphpMyAdmin > > > https://m.blog.naver.com/ahrlakffk/222097900301 > > https://joonius.tistory.com/11 > Synology NAS 에 MariaDB 설치하기 (AWS RDS MySQL 에서 NAS MariaDB 로 마이그레이션) AWS RDS 에서 NAS 로
AutoML 기술 동향
문용혁, et al. "자동 기계학습(AutoML) 기술 동향" (2019) AutoML이란 자동기계학습(Automated Machine Learning: AutoML)은 도메인 데이터 특징 추출 (Feature Engineering: AutoFE) 하이퍼 파라미터 최적화(Hyper-Parameter Optimization: HPO) 가장 우수한 성능을 도출할 수 있는 하이퍼 파라미터를 찾아내는 기술 신경망 아키텍처 탐색(Neural Architecture Search: NAS) 목표 데이터 및 태스크에 적합한 인공 신경망 구조 및 가중치를 자동 탐색 과 같은 파이프라인 자동화에 이용한다. 
[딥러닝] Bringing AI to Edge(2020) 논문 리뷰 (2)
리뷰가 길어져 나누어 작성하였습니다. 1. Deep Compression 이전 게시물에서 Deep Compression의 Pruning에 대해 리뷰하였습니다. 지금부터는 Quantization, 양자화에 대해 리뷰하겠습니다. 1. Quantization(양자화) > 동일한 수준의 정확도를 유지하면서 full-precision(FP32)의 weights 및 activations를 low-precision(예: FP16, INT8, 바이너리)로 인코딩하는 것. 초기 연구에서 FP16을 사용하여 DNN 모델을 train하는 것이 정확도를 유지하면서 computational cost를 낮춘다는 것을 보여줬습니다. 질문 off-chip 메모리 접근으로 발생한 높은 오버헤드를 완화할 수 있도록 전체 모델을 edge devices의 on-chip 메모리에 맞출 수 있습니다. low-bit repre
[딥러닝] Bringing AI to Edge(2020) 논문 리뷰 (1)
이번에는 Bringing AI to Edge라는 논문에 대해 리뷰해보겠습니다. 논문 링크 : https://arxiv.org/abs/2011.14808 1. Introduction 2012년 Alexnet이 Imagenet Contest에서 10% 이상의 차이로 우승 이후, 더 복잡할수록 높은 정확도가 나타난다는 것을 알게 됨. 그러나, 훈련 과정에서 많은 계산과 시간 소요, 환경적 문제(CO2) 등이 있음 (ResNet50은 imageNet training하는 데 29시간 걸림) 많은 회사에서 DNN inference를 서버를 통해 해결함. 그러나 자율주행과 같은 분야에서 클라우드를 통한 DNN inference는 반응성에 대한 어려움, 보안 관련 어려움이 있음 그 결과, Edge Computing이라는 것이 나타나게 됨. Edge Computing을 위해서는 하드웨어의 자원 한계 속에서 DNN 모델을 사용할 수 있어야 하는데, 이 하드웨어의