2025/01/07 TIL

데이터 전처리

CSV 파일을 읽어 DataFrame 생성
df=pd.read_csv('manufacturing_data_400')
import padas as pd
import numpy as np
df의 상위 5개 행을 확인하고 출력
df.head():빈칸이면 상위5개임()안에 숫자넣으면 그만큼
df의 기본 정보출력
df,info
df의 기술 통계출력
df describe()
df의 컬럼별 결측값 개수 출력
df.innull().sum() #결측치가 체크됨
df의 중복 행이 몇 개인지 출력
df.duplicated().sum()

결측치 처리

Defects 열에서 9999 -> NaN으로 대체
df['Defects'].replace(9999.np.NAN)
Temperature 열 결측치를 해당 열의 평균값으로 대체
mean_temp=df['Temperature'].mean()
df['Temperature']=dfdf['Temperature'].fillna(mean_temp)

이상치 식별

q1 = df['Defects'].quantile(0.25)
q3 = df['Defects'].quantile(0.75)

lower_bound=q1-1.5(q3-q1)
upper_bound=q3-1.5(q3-q1)

df=df[df['Defects']>=lower_bound&(df['Defects'] < upper_bound)

#시각화를 위한 데이터 테이블 구성
line_production=df.groupby('Line').agg({Production':'sum','Defects':'sum'})
line_production.polt(kind='bar',figsize=(10,6))#figsize(표크기)
plt.title('Total Produvtion and Defects by Line')#타이틀(이름)
plt.legend{['Production', 'Defects'])#범례
plt.grid(axis='y')

Pie Chart: 라인별 Production 비중
line_production['Production'].plot[kind='pie',figsize=(8,8)# 파이차트 크기만들기
autopct=%1.1f%%.
startangle=90.
plt.title('Percentage of Production by Line)
plt.ylable('') #공백입력하면 y축 체리블 제거가능
plt.show

Line Chart: 일자별 Production & Defects
데이터 테이블 구성
daily_production=df.

차트만들기
plt.figure(figsize=(12,6))
plt.plot(daily_production.index,daily_daily_production['Production']),label='Production',marker='o')
아티클 스터디
링크텍스트

• 요약 : 제조 데이터는 ERP, 생산관리, 품질관리, 설비관리 등의 공장 내에서 수집되는 데이터들을 의미하는데.모든 데이터를 연결하여 하나의 데이터셋으로 완성하면, 어떠한 원료를 투입하였고 어떠한 공정 조건으로 운전했을 때 무슨 데이터가 쌓이는지 파악하여 원료, 공정, 품질, 출하 정보 등으로 연결된 데이터를 활용하여 품질 개선과 장애를 예측하는 문제를 해결할수 있습니다.

• 주요 포인트 :

  • 1.품질 원인 분석
    • 품질 원인 분석은 생산 제품의 이상 원인을 원료, 공정, 품질 관점에서 분석을 하는 것이고.특정 공정에서 가동되고 있는 센서(sensor) 값을 이용하여 물성 또는 불량에 영향을 주는 인자를 파악하고, 해당 인자를 이용하여 지속적인 물성 유지와 양품(=불량이 아닌 제품) 생산을 위한 관리 방안을 현업에게 제시하는 작업까지 진행됩니다.
  • 2. 최적 공정 조건 도출
    • 최적 공정 조건 도출 분석은 과거의 best practice 기반으로 앞으로의 양품 생산을 위한 생산 품종, 라인별 최적 공정 조건 도출 및 적용을 하는 것이다.[데이터 수집 → 표준 최적 공정 관리조건 도출 → 현장 적용 → 모니터링] 단계로 진행되며, 최적 조건을 찾아서 이를 실제 현장의 공정 운영 조건에 설정하여 운영 최적화까지 적용하는 것을 목표로 합니다.데이터 기반의 생산 공정의 기술축적 및 기술 표준화로 생산성 및 품질 향상을 위한 초석을 마련할 수 있고 그 때문에 실제로 공장별로 분석 과제를 진행할 때 최적 공정 조건 도출 분석이 기본적으로 진행된다
  • 3.설비 장애 예지
    • 설비 장애 예지 분석은 생산 설비나 공정의 안정성을 수치화하여 이상을 미리 예측하는 것이다.효율적인 설비 유지보수를 위해, 예측이 필요한 센서 뿐만 아니라 주변에 설치된 센서를 실시간으로 분석하여 설비 이상 발생을 사전에 파악할 수 있는 스마트한 모니터링 구축을 목표로 한다.
  • 4. 이미지 분석
    • 이미지 분석은 제품 생산 중 발생하는 각종 이미지를 목적별로 분류 및 예측하는 것이다.각 제품별 주요 결점들의 발생 정도와 특징(위치, 크기 등)을 시각화하여 제공하면 작업자가 결점 현황 파악을 보다 쉽게 할 수 있으므로 추가 부가효과를 얻을수 있다.

  요약:제조 공정의 디지털화를 통해 생산 공정 전반에 실시간 분석이 가능해졌다. 제조 데이터 분석의 의의는 경험적 의사결정이 아닌 데이터 기반 객관적 의사결정이 가능하다는 점이다. 제조 데이터 분석은 현업의 요구 및 필요성에 따라 분석 방향과 프로세스가 달라지게 된다. 저자의 경우에는 분석 과제를 크게 네가지(품질 원인 분석, 최적 공정 조건 도출, 설비 장애 예지, 이미지 분석)로 분류하여 진행한다.
  

1단계인 '품질 원인 분석'은 생산 제품의 이상 원인을 원료, 공정, 품질 관점에서 분석을 하는 것이다. 분석 결과가 경험적으로 알고 있는 부분과 상충될 수 있다. 이를 해소하기 위해 분석파트는 공정에 대한 이해도를 높여 분석을 진행하여 유의미한 결과를 산출할 수 있어야하며, 현업 파트는 분석 파트에게 공정 이슈 및 분석 결과에 대해 즉각적인 피드백을 줄 수 있어야한다.

2단계인 '최적 공정 조건 도출'은 과거의 best practice 기반으로 앞으로의 양품 생산을 위한 생산 품종, 라인별 최적 공정 조건 도출 및 적용을 하는 것이다.

3단계인 '설비 장애 예지'는 생산 설비나 공정의 안정성을 수치화하여 이상을 미리 예측하는 것이다. 이를 위해 스마트 모니터링 구축을 목표로 한다. 모니터링 구축 시 현업에서 필요로 하는 요소가 무엇인지 파악하는 것이 중요하다.

4단계 '이미지 분석'은 제품 생산 중 발생하는 각종 이미지를 목적별로 분류 및 예측하는 것이다. 특정 공정의 결점 검출기가 성능이 낮을 경우, 이를 작업자가 추가적으로 이미지 재분류 작업을 수반하는 비효율을 가지게 된다. 이러한 업무 비효율화를 줄이기 위해 이미지 분석이 진행된다. 이미지 분석은 품질 검사 시간과 비용을 획기적으로 줄일 수 있어서 많은 제조회사에서 사용한다.

주요 포인트:데이터 기반 객관적 의사결정을 하기 위해 제조 데이터 분석을 한다. 이는 4단계(품질 원인 분석, 최적 공정 조건 도출, 설비 장애 예지, 이미지 분석)로 구성되며, 현업의 요구 및 필요성에 따라 분석 방향과 프로세스가 달라진다.