MLSys

서론

MLSys: The New Frontier of Machine Learning Systems

MLSys 는 2022년으로 5번째로 열리는 학술 대회입니다.
위 paper 는 ML을 위한 System 을 연구하는 분들이 모여, MLSys 분야의 핵심 issue 를 정의한 내용을 담고 있습니다.
핵심적인 내용을 읽고 정리해 보았습니다.

본론

Q1. Software Systems

프로그래밍 인터페이스부터, 데이터 처리, 결과 해석, 디버깅, 모니터링까지의 전체 ML 라이프 사이클을 지원하기 위한 Software System 은 어떻게 구성되어야 하는가?

• 어떻게 하면 학습 데이터 조작, 손쉬운 제약 조건 지정, Loss Function 의 정의를 통해 사용자가 ML 스택을 빠르게 프로그래밍 하도록 지원할 수 있는가?
• 어떻게 하면 개발자가 ML 모델, 아키텍처, 시스템을 상위 수준(high-level)에서 정의하고 측정할 수 있는가?
• 어떻게 하면 ML 어플리케이션에 대해 효율적으로 개발, 모니터링, 결과 해석, 디버깅, 적용, 튜닝, 유지 보수가 가능한가? ML 모델뿐 아니라, 데이터, feature, 레이블, 입력값 등 모두에 대해서.

Q2. Hardware Systems

ML 을 위한 하드웨어 시스템은 어떻게 디자인 되어야 하는가?

• 어떻게 하면 새롭게 등장하는 operation sets 와 data access pattern 에 맞추어 ML 모델을 학습 및 배포할 수 있는 특화된, 이기종의 하드웨어를 개발할 수 있는가?
• 어떻게 하면 ML 워크로드의 확률론적 특성을 활용하여 precision, stability, fidelity 등과 트레이드 오프(trade-off) 관게를 발견할 수 있는가?
• 어떻게 하면 ML 모델의 학습과 배포를 위한 분산 시스템을 디자인할 수 있는가?

Q3. Merics Beyond Predictive Accuracy

정확도(accuracy)외에 전력량(power), 메모리 효율성, 접근성(accessibility), 비용, 시간(latency), 프라이버시, 보안, 공정성, interpretability를 만족시키는 ML 시스템을 설계하는 방법은 무엇인가?

• 어떻게 하면 주어진 기기(hardware device)의 전력, 시간, 메모리 제약에 따라 ML 알고리즘과 시스템을 디자인할 수 있는가?
• 어떻게 하면 ML 시스템이 full-stack 으로 프라이버시와 보안을 지원할 수 있는가? 예를 들어, 연합 학습과 같은 방법으로.
• 어떻게 하면 ML분야나 시스템분야의 전문가가 아닌, 점차 늘어나는 광범위한 사용자들이 권한을 가지도록 접근성을 높일 수 있는가?

High Level vs Low Level Systems

Machine Learning for Systems

Full Stack Bottelnecks in ML

• Deployment concern
• Cost
• Accessibility

hard to understand..

imposing simple priors or constraints
adaptation in ML?
interpretability in ML?

결론

References
https://arxiv.org/abs/1904.03257
https://mlsys.org