251223_BootCamp Day 47_심화 프로젝트 (3)

1. 데이터 이상치 탐지

데이터에 있는 이상치가 어떤지 확인하기 위해 여러 가지 분포를 확인했고, 표준화(StandardScaler)를 이용해 이상치를 탐지하는 작업을 수행하였다.

큰 이상치가 있었던 컬럼은 High_Velocity, Biscuit_Thickness였는데, 팀원들과 이상치를 어떻게 처리해야 할지에 대한 이견이 있었다. 도메인 지식이 부족하다 보니 이상치가 실제로 공정의 이상을 나타내는 것인지 확신이 없어, 결국 최대한 보수적으로 속도나 비스킷 두께가 0인 경우에 대해서만 이상치라고 확실히 판단하고 제외하였다. 팀원들 간에 이상치를 처리하는 데 있어 기준의 이견이 있을 수 있고 이를 정립하기 위해 서로 의견을 충분히 공유해야 한다는 것을 알게 되었다.

2. ANOVA 검정 수행

다음으로는 불량 여부에 큰 상관관계가 있는 변수들을 확인하기 위해 전체 데이터와 타입 별 데이터를 바탕으로 ANOVA 검정을 수행하였다. 그 결과 여러 변수들이 불량 여부와 큰 상관관계가 있음을 확인하였고, 또한 제품 타입 별로 상관계수가 다르다는 것을 확인해 타입 별로 모델의 feature engineering이나 parameter 설정을 다르게 해줘야 하지 않을까라는 인사이트를 얻을 수 있었다.

3. 변수 간 상관관계 분석

제품 타입 1과 타입 2의 변수들 간 상관관계를 비교한 히트맵인데, 한 눈에 봐도 타입 별로 변수들 간의 상관관계 분포가 다르다는 것을 확인할 수 있었고, 특히나 높은 상관계수를 가지고 있는 관계들에 대해서는 추후 머신러닝을 적용할 때 feature engineering에서 관리를 해줘야 한다고 생각했다. 또한 타입 별로 모델의 변수나 파라미터 설정을 다르게 해줘야 한다고 더욱 확신이 들었다.

4. 분류 머신러닝 모델 만들어보기

마지막으로 다양한 지도학습 분류 모델들을 이용해 Defect (불량 여부) 를 예측하는 모델을 만들어봤다. 우리는 실제 제품의 불량을 정확히 판별하는 것이 중요하기 때문에 Recall 지수가 중요한데, Logistic Regression은 아예 값이 나오지 않았고, LightGBM이 가장 높게 나왔다. 다만 아직 제대로 된 feature engineering을 하지 않았고, 모델의 parameter 조정도 하지 않았기 때문에 어떤 모델을 선택해야 할지, Recall을 높이기 위해 어떤 조정을 해야 할 지 고민을 해보고 적용을 해야 할 것 같다. 다만 제조공정의 특성을 고려해 XGBoost나 LightGBM 모델을 선택할 것 같다.