데이터 엔지니어링
Search
주제
과정명 및 교육내용
교육시간
커리큘럼
데이터 엔지니어링
2일 15시간
가. 파이썬 기본 문법 이해하기
- 파이썬 소개
- 파이썬 기본 문법
- 개발환경 설정
나. 웹 스크래핑 개념 이해하기
- 오픈 API 사용과 JSON
- 동적으로 생성된 HTML 분석
- 웹 스크래핑 개념과 사용 되는 오픈소스 이해하기
다. 데이터 수집과 저장하기
- Request와 Beautifulsoup 라이브러리 사용 CSV, 엑셀 파일 처리
- Binary Data(image,audio) 다운로드
라. 데이터 분석/저장/시각화 하기
- 데이터 분석을 위한 Pandas 라이브러리 사용
- 데이터 DB에 저장을 위한Pymysql, sqlAlchemy 사용
- 데이터 시각화를 위한Matplotlib, Seaborn 라이브러리 사용
데이터 엔지니어링
3일 24시간
1일차) Python 가상환경 설치, 기초 문법, 시각화, Streamlit
2일차) 구글 클라우드 빅쿼리 SQL 기초, 서브쿼리, 윈도우 함수 기본문법
3일차) Streamlit 대시보드 제작 실습 및 배포 / 개인 프로젝트 (3시간)
데이터 엔지니어링
2일 16시간
가. 데이터 구조 전처리
나. 수치형 데이터 전처리
다. 범주형 데이터 전처리
라. 텍스트 데이터 전처리
마. 시계열 데이터 전처리
바. 이미지 데이터 전처리
데이터 엔지니어링
2일 16시간
가. 데이터 수집
나. CSV , JSON, XML, 엑셀, 데이터 불러오기
다. 웹으로부터 데이터 수집 (웹 스크래이핑)
라. RDBMS, 빅데이터 저장소로부터 데이터 수집
마. 데이터 클리닝
바. numpy 라이브러리를 활용한 다차원 배열 데이터 처리
사. pandas 라이브러리를 활용한 데이터 처리
아. 데이터 모델링 라이브러리
데이터 엔지니어링
3일 24시간
가. Pandas를 이용한 데이터 분석
나. Matplotlib을 이용한 데이터 시각화
다. Feature Engineering을 이용한 머신 러닝 모델 성능 향상
COUNT6
