손은 머리보다 기억력이 좋다

1. EDA란?EDA(Exploratory Data Analysis, 탐색적 데이터 분석)는 초기 데이터 분석 단계에서 데이터를 다각도로 관찰하고 이해하는 모든 과정을 말하며, 벨 연구소의 수학자 존 튜키가 개발한 데이터 분석 방법론이다.EDA는 단순히 초기 단계에서 데이터에 대한 전반적인 특징을 보는 것 뿐만 아니라, 데이터 분석과 결론 도출 과정에서 지속적으로 데이터를 탐색하고 이해하는 모든 과정을 일컫는다.데이터를 수집하고 전처리(preprocessing)한 뒤, 본격적으로 데이터 분석을 시작하기 전 전체 데이터를 시각화하거나 기본적인 통계값(평균, 표준편차, 중앙값 등)을 만들어 자료를 전체적으로 바라보고 이 데이터가 어떤 데이터인지 살펴보는 것이다. 2. EDA가 필요한 이유1) 데이터의 문제점..

이제 SQL은 주니어 데이터 분석가에게 필요한 수준은 갖춘 것 같다. 짧은 시간 안에 엄청난 양의 내용을 공부했던 것 같은데, 캠프에서 튜터님이 하나하나 자세하게 잘 가르쳐주신 것도 있고, 나도 매일 코딩테스트를 풀며 복습했고 SQLD도 같이 공부하면서 실력이 많이 늘은 것 같다.3주 동안 열심히 프로그래머스 코팅테스트를 풀었더니 LV.4까지는 풀 수 있게 되었고, LV.5도 도전해서 성공했다. 덕분에 이제 프로그래머스 SQL은 2문제밖에 남지 않았다..남은 두 문제를 다 풀고 나면, 이전에 풀었던 내용들을 SQL 응용 내용을 바탕으로 보다 간단하게 작성하는 연습을 할 것이다.실제 코딩테스트가 얼마나 어렵게 나오는지는 잘 모르겠으나, 이 정도면 그래도 신입 입사시험을 보는데 문제는 없지 않을까..라고 스..

1. MatplotlibMatplotlib은 데이터 시각화 툴(Tableau, Power BI) 없이도 파이썬에서 데이터 시각화를 할 수 있게 도와주는 패키지이다.기본적인 선 형태의 plot부터 바그래프, 히스토그램, 산점도, box plot 등 다양한 데이터 시각화가 가능하다.파이썬의 데이터 시각화 패키지는 matplotlib 외에도 seaborn, plotly 등이 있고 각각 강점이 있다고는 하나, 제일 기본적으로는 matplotlib을 쓴다.오늘은 파이썬 데이터 시각화의 기본인 matplotlib에 대해 공부해 보았다.그럼 matplotlib을 불러오는 것으로 시작해보자.import matplotlib.pyplot as plt 2. 선형 그래프(line plot)중학교 때 배우는 1차함수 그래프를 ..

1. 오늘의 코드카타1) 연간 평가점수에 해당하는 평가 등급 및 성과금 조회하기https://school.programmers.co.kr/learn/courses/30/lessons/284528WITH grading AS( SELECT emp_no, CASE WHEN AVG(score) >= 96 THEN 'S' WHEN AVG(score) >= 90 THEN 'A' WHEN AVG(score) >= 80 THEN 'B' ELSE 'C' END AS grade FROM hr_grade GROUP BY emp_no ) SELECT h.emp_no, h.emp_name, g.grade, ..

1. 나의 역량 분석하기 (직업선호도검사 S형 + MBTI)오늘은 복습이 주된 일과였어서, 남는 시간에 자아성찰 및 포트폴리오 작성을 위해 나의 강점을 분석하는 시간을 가졌다.사실 나는 자신에 대해 생각하는 습관이 없어서(어릴 때부터 그런 생각을 거의 안 했던 것 같다) 이런 성격유형검사나 직업선호도검사를 할 때 내가 맞게 하고 있는 건가 싶을 때도 있고, 결과에서 '너는 이러이러한 사람이야'라고 말해주면 어색하기도 하고 "그래요?"라는 생각이 들 때도 있고 하다.1) 나의 직업선호도 검사(참고 : 직업선호도검사는 고용24 사이트에서 로그인 후 무료로 할 수 있다. 아래 사이트 참조)https://www.work24.go.kr/wk/r/c/1000/jobPsyExamList.do취업가이드>직업심리검사>직..

1. 데이터 전처리는 왜 해야 하는가??데이터 전처리는 내가 원하는 데이터를 보기 위해 하는 모든 행동을 뜻한다.단순히 엑셀 시트뿐 아니라, 수많은 주문 정보, 결제 정보, 심지어는 로그 데이터들까지 DB에 잘 정리되어 있을 수는 있어도 '내가 보고 싶은 데이터'만 볼 수는 없기 때문에 데이터 전처리를 해야 한다.그럼 '내가 보고 싶은 데이터'는 도대체 뭔가?이는 데이터를 통해서 무엇을 해결하고자 하는지, 사용 목적에 달려 있다.같은 데이터를 다루더라도 데이터를 통해 무엇을 보고 싶은지 아는 사람과, 그렇지 않은 사람이 내는 결과는 매우 다를 것이다. 물론 데이터 전처리의 skill을 아는 것도 매우 중요하지만, 더 중요한 것은 문제를 잘 정의하고 무엇을 볼지 판단하는 것이다. 2. PandasPanda..

스파르타클럽_데이터분석_부트캠프_10회차.txt어느덧 부트캠프 본캠프를 진행한 지 2주차가 되었다.오전 9시부터 오후 9시까지 월화수목금을 앉아서 공부한다는 게 쉬운 일이 아니라는 걸 실제로 해보면서 더 느끼고 있다.(도대체 고등학생 때는 어떻게 공부를 했던 것일까?)10일차를 맞아서 2주 동안 내가 얼마나 성장했는지 다시 돌아보는 시간을 가지려고 한다.1. SQL프로그래머스의 코딩테스트 Lv.3을 모두 풀었다.처음 Lv.1~Lv.2를 풀 때는 Gemini의 도움을 받을 때도 있었는데, Lv.3에 들어오고 나서는 거의 혼자서 모든 문제를 풀 수 있었던 것 같다.조인(INNER JOIN, LEFT JOIN, SELF JOIN)과 서브쿼리를 적절하게 잘 써먹을 수 있게 되었다.윈도우 함수를 이용해 서브쿼리와..

1. 오늘의 느낀점코딩이라는 것이 사실은 설치하는 것부터가 일이다.파이썬을 쓰려면 파이썬도 깔아야 되고, IDLE에서 작성하지 말고 VS Code 쓰라고 하고, VS Code도 그냥 쓰지 말고 Jupyter Notebook도 설치해야 하고.. 코딩을 시작하기도 전에 벽을 하나 만나는 느낌이다.Pycharm도 써보고, VS Code도 써보고, Colab도 써보고, 일반 Jupyter Notebook도 다 써봤는데 그냥 VS Code에 Jupyter Notebook 연결해서 쓰는 것이 제일 깔끔한 것 같다. 로컬 파일도 편하게 쓸 수 있고.SQL은 이제 프로그래머스 난이도 LV.3을 거의 다 풀어가고 있고, 부트캠프도 이제 파이썬으로 넘어가고 있어서 SQL은 추가적인 개념만 더 공부하고 매일 조금씩 복습하는..