1. 이상치(outliers), 결측치(NaN)이상치 : 전체 데이터 범위에서 벗어난 아주 작은 값이나 아주 큰 값 결측치 : 데이터 수집 과정에서 측정되지 않거나 누락된 데이터 이상치와 결측치는 데이터 분석 전, EDA 과정에서 반드시 처리되어야 한다. 이러한 과정을 EDA (explorative data analysis, 탐색적 데이터 분석) 과정 중 하나인 data cleaning(데이터 정제)라고 한다.결측치는 데이터가 수집/저장되는 과정에서 HW/SW적 문제로 인해 발생하게 된다. 이러한 결측치를 처리하지 않는 경우, 데이터 분석 과정에서 잘못된 결과를 도출할 수 있기 때문에 반드시 처리해줘야 한다. 결측치는 제거하거나 대체할 수 있다. 결측치를 대체하는 것은 위험하며, 대부분의 경우 수행하지 ..

1. EDA란?EDA(Exploratory Data Analysis, 탐색적 데이터 분석)는 초기 데이터 분석 단계에서 데이터를 다각도로 관찰하고 이해하는 모든 과정을 말하며, 벨 연구소의 수학자 존 튜키가 개발한 데이터 분석 방법론이다.EDA는 단순히 초기 단계에서 데이터에 대한 전반적인 특징을 보는 것 뿐만 아니라, 데이터 분석과 결론 도출 과정에서 지속적으로 데이터를 탐색하고 이해하는 모든 과정을 일컫는다.데이터를 수집하고 전처리(preprocessing)한 뒤, 본격적으로 데이터 분석을 시작하기 전 전체 데이터를 시각화하거나 기본적인 통계값(평균, 표준편차, 중앙값 등)을 만들어 자료를 전체적으로 바라보고 이 데이터가 어떤 데이터인지 살펴보는 것이다. 2. EDA가 필요한 이유1) 데이터의 문제점..