Intro

우리가 일상 속에서 접하는 도로나 건축물들은 대부분 콘크리트나 아스팔트로 이루어져 있으며, 이들 재료에는 다양한 종류의 자갈이 필수적으로 포함됩니다. 자갈의 암석 종류는 콘크리트와 아스팔트의 강도, 내구성, 품질에 직접적인 영향을 미치기 때문에, 이를 정확히 구분하는 작업은 매우 중요합니다.

현재는 대부분의 품질 검사가 수작업으로 이루어지고 있어 시간과 비용이 많이 소요되며, 검사자의 숙련도에 따라 정확도 차이가 발생할 수 있습니다.

이번 월간 데이콘에서는 건설용 자갈의 이미지를 기반으로 암석 종류를 분류하는 AI 알고리즘을 개발하는 것이 목표입니다. 데이커 여러분들은 자갈 이미지에서 시각적 특징을 효과적으로 추출하고, 이를 바탕으로 자갈의 암석 종류를 자동으로 판별할 수 있는 모델을 설계하게 됩니다.

AI를 활용한 품질검사 자동화와 건설 현장의 디지털 전환에 함께 기여해보세요!

Background Study

https://www.mdpi.com/1424-8220/22/16/6292

2020 논문이지만 돌 분류에 CNN 접근법을 사용했기에 레퍼런스

• 논문 주요 내용 복붙
  PR(Pattern Recognition)이란?
  The main phase of a PR process concerns the Feature Extraction and Classification. Its goal is to characterize the data to be recognized by metrics that will provide the same results for the data in the same category and different results for the data in different categories. This leads to finding distinctive features that are invariant to any data transformation (ideally).

Feature Extraction Phase에서 TL(이미만들어진 모델 가져다붙이기) 썼다~
we used a Two-Stage Hybrid Model solution that joins the use of a Deep Learning (DL) technique, a CNN model for the feature extraction phase, with a classical ML algorithm in order to perform image classification

classification에서 이런이런 머신러닝 알고리즘 써서 비교해봤다~ 성능 비교는 Confusion Matrix로 했다~
five types of ML algorithms for classification: the Softmax or Multinomial Logistic Regression (MLR) [2], the Support Vector Machine (SVM) [3], the k-Nearest Neighbors (kNN) [4], the Random Forest (RF) [5] and the Gaussian Naive Bayes (GNB) [6] We have obtained the confusion matrix of the performed object recognition for each type of used algorithm.
The network, both with Softmax and SVM classifier, is able to perform prediction with high accuracy. It is possible to observe that the classes that present some recognition problems in all Two-Stage Hybrid Models are those related to the family of granite stones, that is GRB, GRD, GRS1, GRS2 and GRS3 families.

결론은 Softmax + SVM는 좋은 성능(심지어 비슷한 패턴의 돌도 잘 분류), KNN+ RF는 granite stone classification에서 좋은 성능, GNB 최악(나이브베이스)

Data Augmentation technique이라 불리는 기술로 이미지 수 늘렸다~
In order to make our experiments with a sufficient number of images, we have increased our dataset by creating new images through a simple elaboration of our data samples by performing the so-called Data Augmentation technique [49].

• 결론
  TL 쓰면 빠르게 학습 가능
  two-stage hybrid approach DL CNN 모델(ML머신러닝 + CLFsClassification모델들) 쓰면 이미지 패턴 Recognition할 때 좋았다
  The most promising combination that emerged from tests is based on the ResNet50 CNN model together with a kNN classifier ( ResNet50 + KNN이 젤 Train dataset 잘 맞춤, high accuracy)
  this type of approach shows that there is a concrete possibility to build tools that are easy to use even for people who do not have geological knowledge (지리지식 없어도 잘 할 수 있다!)
  위를 기반으로...
  U-Net을 ResNet50과 비교해보기
  Classification Phase에서 어떤 모델 쓸 지 고민해야합니다
  Data Augmentation techniuqe 방법 탐색
  우리가 하는 것은 Pattern Recognition을 이용한 image Classification 입니다. (한 단계 더 나아가면 하나의 돌더미 이미지에서 분류하는 Image Segmentation)

Data Import

Data File

• File Structure
  Zipfile로 제공되며 총 7개의 Class가 있음.
  ETC는 여러가지 돌이 섞여 있음.
  Weathered Rock은 "풍화암"으로 다른 Class가 깎인 부분이 있다면 풍화함으로 분류

Data Processing

Resizing

Augmentation

Method

핵심

etc에서 아주 낮은 Accuracy를 보였음

Model

사용된 모델은 Transfomer 기반 모델임