CoreML - (1)

catcota·2022년 2월 6일
0

CoreML

목록 보기
1/1

목표 : 관련 공식문서 읽고 ML model 만들기

Core ML

  • machine learning모델을 앱에 통합시켜주는 프레임웤
  • Core ML 프레임워크를 이용해 training data들로부터 model을 만들 수 있다.
  • 이 model을 통해 새로운 input data의 prediction을 할 수 있다.
    • 예를들어 코끼리리인지 아닌지 판단하는 모델을 만들었다면 새로운 사진이 주어졌을 때 이 사진의 피사체가 코끼리인지 아닌지 예측하도록 한다.
  • Xcode의 ML app bundle을 통해 앱을 빌드하고 모델을 traing할 수 있으며 이 때 Core ML 프레임워크를 사용한다.
  • 이 프레임워크는 CPU, GPU, Nerual Engine가 메모리나 배터리 소모의 최적화를 진행하며 성능을 낼 수 있도록 최적의 방법을 제공한다.
  • Core ML은 domain-specific frameworks의 기반이다. 즉 목적에 따라 여러 프레워크들이 있는데 그러한 프레임워크들의 기반이다!
    (Core ML is the foundation for domain-specific frameworks)

    domain : 컴퓨터 프로그램영역에서의 targeted subject 를 의미. 예를들어 내가 만드는 앱이 초등학교에서 쓰이길 원한다면 내 앱의 도메인은 초등학교가 되는 것

Core ML API

  • 보통의 경우 model을 xocde프로젝트에 추가하면 자동으로 만들어주는 인터페이스를 사용한다
  • 하지만 작업흐름이 다른 경우나 useCases가 더 심화된 경우에는 Core ML 에서 제공하는 API를 사용한다.
    • 예를들어 비동기적으로 인풋데이터를 모아야하는 경우 MLFeatureProvider 프로토콜을 사용,
  • 사용방법
    1. MLFeatureProvider 를 클래스나 구조체에 채택한다.
    2. MLFeatureProvider의 MLModel 메소드를 사용한다.

Create ML

  • 머신러닝 모델 만드는 프레임워크!

  • 모델을 train하기!

    • representative한 샘플들의 패턴을 모델이 recognize하도록 한다.
    • 모델이 충분히 작동하는 경우 Core ML프레임워크를 이용해서 앱에 integrate한다.
  • Apple 제품에선 Photos, Siri 등에 내장된 machine learning 인프라스트럭쳐에 해당 프레임워크가 leverage하고 있다. (영향를 끼치고 있다. ) = 사진이나 자연어 모델의 train이 더 빠르다는 걸 의미(이미 해둔게 있어서 그렇다는 것 같다. )

Creating and Image Classifier Model

CreatML이용하기

  1. 모델 선정: ex) image classifier

    1. image classifier는 기본적으로 scene print feature extractor 를 사용한다.

      scene print feature extractor : 실제세계의 물체가 담긴 이미지를 가지고 훈련할 때 최적의 성과 내도록 해주는 것. 캐릭터 사진엔 별 효과가 없다(너무 binary해서)

  2. 데이터를 gathering하기

    1. 다양한 이미지 파일일 수록 더 트레이닝에 좋다.
    2. 카테고리별 10개 이상은 되어야한다.
    3. 이미지 카테고리별로 비슷한 수의 이미지를 제시해야한다.
    4. 이미지 사이즈에 제약은 없지만 최소 299X299 픽셀은 되어야한다
    5. 이미지 확장자는 퀵타임플레이어에서 오픈되는거면 다 가능(ex : JPEG, PNG 등등)
  3. 트레이닝에 사용할 데이터를 정리하기

  4. 데이터 셋 트레이닝 시키기

    1. 트레이닝 데이터 셋 추가하기
    2. 테스트 데이터 셋 추가하기
    3. 트레이닝 데이터셋의 Parameters 설정(optional?)

    Iteration : 트레이닝 몇 번 반복할 것인지 정할 수 있음. 기본값은 25

    Argumentations : Argumet정하면 트레이닝을 위해 입력한 데이터셋을 복사한 후 해당 argument에 맞게 변형한다(예를들어 Blur를 선택한 경우 데이터셋 복사 이후 이미지에 blur처리를 함)

    iv. train 버튼 클릭하면 아래와 같이 나옴

    v. model의 Accuracy가 충분하지 못 한 경우 더 다양한 데이터가 필요하다. (Accuracy 높이기)

    vi. Preview : 트레이닝 할 때 썼던 이미지가 아닌 새로운 이미지를 추가하고 어떻게 prediction하는지 살펴보기

  5. 완성된 model을 저장한 후 Xcode project에 추가하기
    i. model 파일 저장

    • 상단 File에서 Save 클릭
    • 혹은 아래 OutPut에서 get, share, Xcode 등 이용

    ii. Xcode에 드래그앤 드롭으로 추가

    iii. 모델에 접근하기

    • 모델의 파일명이 코드의 타입명 (ex :모델 파일 이름 - ImageModel_final, 코드에서의 타입명 - ImageModel_final)
    import CoreML
    class ... {
    	let defaultConfig = MLModelConfiguration()
    	let imageModelWrapper = try? ImageModel_final(configuration: defaultConfig)
    }

testing 데이터 셋의 precision이 계속 낮은데 이건 상관없는건가? 만약 상관있다면 어떻게 향상 시킬 수 있나?

Create Model in Programmatically

MLImageClassifier 인스턴스를 사용해서 model training 작업을 진행할 수 있다. 위 방법과의 차이점은 모든 과정이 코드를 통해 이루어진 다는 것.

  • 주의점 : 프로젝트는 iOS가 아닌 macOS temaplate을 만들어야한다. iOS 템플릿에서는 CreateML이 import되지 않는다.
  • pesudo code
    import CreateML
    
    //1. Make Data set for training and testing
    let trainingDataSource = MLImageClassifier
    												.Data
    												.Source(trainingData:parameters:)
    
    let testDataSource =  MLImageClassifier
    											.Data
    											.Source(...)
    
    // Train
    let matrics = evaluation(on:) 메소드 이용
    (matrics의 타입 : MLClassifierMetrics)
    
    // Access to result
    matrics를 통해 접근 
    
profile
to be iOS Developer

0개의 댓글