앨런 튜링은 1960년에 발표한 논문에서 "기계가 생각할 수 있을까?"라는 질문을 던졌다. 논문에서 서술하고 있는 '이미지테이션 게임'에는 참가자가 3명 나오는데 심판 역할을 맡은 인간, 인간, 자신이 인간이라고 심판을 설득하려는 컴퓨터다. 심판은 터미널을 통해 두 참가자에게 말을 걸고 인간과 컴퓨터가 대답을 하면 심판은 어느 쪽이 컴퓨터의 응답인지 판단한다. 심판이 인간과 컴퓨터의 반응을 보며 일관되게 구별해내지 못한다면 컴퓨터가 이긴다. 이 실험은 매년 개최되는 인공 지능 대회 (뢰브너상)에서 이어지고 있다.
1959년 아서 사무엘은 머신 러닝을 "명시적으로 프로그래밍되지 않고도 컴퓨터에 학습 능력을 부여하는 학문"이라고 정의하였다. 사무엘은 IBM에서 스스로 학습하는 프로그램을 만들었으며, 그는 컴퓨터가 무언가를 배울 수 있는 방법으로 체커를 사용하였다. 스스로 학습하는 프로그램은 알파-베타 가지치기(의사결정에 필요없는 노드를 제거하는 방식)과 minmax(최악의 경우 손실을 최소화하는 방식) 전략을 사용하여 움직임을 줄이고 메모리 성능을 향상시켰다.
톰 미첼은 카네기멜론대학교 머신 러닝 학과의 학과장이다. 그리고 '머신러닝'의 저자로 그는 머신러닝에 대한 정의를 다음과 같이 내렸다.
작업 T에 대한 성능을 P로 측정할 수 있고, 성능 P가 경험 E로 개선된다면 프로그램은 E, T, P로 부터 배웠다고 할 수 있다.
즉, 컴퓨터 프로그램이 어떤 것을 학습한 후에 최초 학습에 들인 시간과 노력보다 더 빠르고 수월하게 배운 것을 해낼 수 있다면 머신 러닝이라고 할 수 있다.
머신 러닝은 인공 지능의 한 분야로 우리는 컴퓨팅을 사용해 데이터로부터 학습하는 시스템을 숙련된 방식으로 디자인할 수 있다. 이 시스템은 경험을 통해 배우고 발전하여 시간이 지나면 이전 학습을 바탕으로 결과를 예측할 수 있는 모델로 다듬어진다.