Python 데이터 수집과 분석
주제
데이터 엔지니어링
강사명
백명숙
교육목표
- 웹 스크래핑과 크롤링 기법을 통해 웹상에 존재하는 다양한 데이터를 스크래핑 하는 방법을 학습합니다.
Requests를 사용하여 Http 통신을 하고, BeautifulSoup를 사용하여 통신한 데이터를 파싱하여 수집합니다.
Pandas를 사용하여 수집된 데이터를 행과 열로 이루어진 데이터 객체를 만들어 분석합니다. Pymysql과 SqlAlchemy(ORM)를 사용하여 DB에 저장하고, MatplotLib와 Seaborn을 사용하여 데이터 분석 결과를 시각화 해보는 과정입니다.
커리큘럼
1일차.
가. Python 소개 및 기본문법 이해하기
나. 웹 스크래핑 개념이해하기
다. Jupyter Lab 사용법 이해하기
라. 동적으로 생성된 HTML 분석하기
마. 웹 스크래핑 개념과 사용되는 다양한 라이브러리에 대하여 이해하기
바. Requests 라이브러리 사용하여 Http 통신하기
사. BeautifulSoup 라이브러리 사용하여 통신한 데이터 파싱하기
아. Binary Data (image, audio) 다운로드 하기
2일차.
가. Panda 라이브러리 이해하기
나. Pandas를 사용하여
Row와 Column으로 이루어진 데이터 객체를 생성하기
다. 수집한 데이터 분석하기
라. 분석한 데이터를 통계처리하기
마. Pymysql을 사용하여
MariaDB와 연동하기
바. ORM 기능을 제공하는 SqlAlchemy를 사용하여 데이터 객체를 DB에 저장하고 쿼리 실행하기
사. MatplotLib와 Seaborn 라이브러리 이해하기
아. 데이터 분석 결과를 시각화 하기
교육시간
2일 16시간
훈련대상
가. Python 프로그래밍 가능자
1 more property
