클라우드 API를 활용한 빅데이터 분석
도서명:클라우드 API를 활용한 빅데이터 분석
저자/출판사:공용준/에이콘출판
쪽수:348쪽
출판일:2017-12-21
ISBN:9788960776883
목차
1부 빅데이터와 클라우드
1장 클라우드 서비스 프로바이더의 종류와 특징
1.1 소개
1.2 퍼블릭 IaaS 서비스의 최강자 아마존 웹 서비스(AWS)
1.2.1 S3(Simple Storage Service)
1.2.2 EC2(Elastic Compute Cloud)
1.2.3 EMR(Elastic MapReduce)
1.3 퍼블릭 PAAS 서비스의 선두주자 구글
1.3.1 구글 앱엔진
1.3.2 구글 빅쿼리
1.3.3 구글 컴퓨트 엔진
1.4 윈도우 진영의 클라우드 서비스, 애저(Azure)
1.4.1 윈도우 애저 웹사이트
1.4.2 가상 머신 서비스
1.4.3 빅데이터 서비스
1.5 정리
2장 빅데이터 분석의 종류와 특징
2.1 소개
2.2 데이터 분석 프로세스
2.2.1 목적 정의
2.2.2 데이터 준비
2.2.3 탐색적 자료 분석
2.2.4 데이터 분석 목표 구체화 및 모델링
2.2.5 데이터 분석 검증
2.2.6 모델링 작업 현업 적용
2.3 기계 학습 패키지 소개
2.3.1 기계 학습이란?
2.4 상용 기계 학습 알고리즘 패키지
2.4.1 스카이트리
2.4.2 시스템엠엘
2.5 정리
2부 구글 클라우드를 사용한 빅데이터 분석
3장 구글 빅쿼리를 사용한 데이터 분석
3.1 소개
3.1.1 특징
3.1.2 드레멜과 빅쿼리
3.1.3 빅테이블 서비스 가격
3.2 구글 빅쿼리 서비스 시작하기
3.2.1 구글 API 사이트 접근
3.2.2 구글 빅쿼리 프로젝트 생성
3.3 구글 빅쿼리 브라우저 툴
3.3.1 쿼리 수행해보기
3.4 구글 빅쿼리 CLI 사용하기
3.4.1 커맨드라인 툴 설치
3.4.2 커맨드라인 툴 인증
3.4.3 커맨드라인 툴 테스트
3.5 구글 빅쿼리 API 사용
3.5.1 인증 코드 생성
3.5.2 메이븐 프로젝트 설정
3.5.3 계정 정보 파일 추가
3.5.4 빅쿼리 자바 클라이언트 사용법
3.5.5 데이터 셋 리스팅 샘플 전체
3.6 정리
4장 구글 빅쿼리 활용
4.1 소개
4.2 앱엔진 엑셀 커넥터를 사용한 데이터 분석
4.2.1 엑셀 커넥터 인증
4.2.2 엑셀 커넥터 다운로드
4.2.3 엑셀 커넥터 사용
4.2.4 엑셀 차트를 통한 데이터 표현
4.3 구글 앱엔진과 빅쿼리 연동
4.3.1 이클립스용 구글 플러그인 설치
4.3.2 배포용 구글 앱엔진 애플리케이션 생성
4.3.3 사용자 인증 코드 생성
4.3.4 앱엔진 샘플 코드 실행
4.3.5 샘플 코드 구조
4.3.6 코드 수정
4.3.7 구글 앱엔진으로 배포
4.4 정리
5장 구글 프레딕션 API
5.1 소개
5.2 구글 프레딕션 API 사용
5.2.1 구글 프레딕션 API 가격
5.2.2 구글 프레딕션 API 사용 준비
5.3 프레딕션 API 사용 샘플
5.3.1 데이터 업로드
5.3.2 시스템 훈련
5.4 커맨드라인 툴을 이용한 프레딕션 API 사용
5.4.1 oacurl 사용
5.4.2 모델 훈련
5.4.3 질문 수행
5.5 정리
6장 구글 프레딕션 API 활용
6.1 소개
6.2 프레딕션 API를 사용한 영화 추천 서비스 개발
6.2.1 추천용 데이터 모델
6.2.2 데이터 준비
6.2.3 영화 추천용 예측 모델 훈련
6.3 영화 추천 사이트 구축
6.3.1 사이트 시나리오
6.3.2 코드 개발
6.3.3 이클립스 프로젝트 구성
6.3.4 코드 수정
6.3.5 코드 실행
6.4 영화 추천 사이트 개선
6.4.1 사용자 인터페이스 개선
6.4.2 추천 알고리즘 개선
6.4.3 추천 알고리즘 2차 개선
6.5 정리
3부 아마존 웹 서비스를 활용한 빅데이터 분석
7장 빅데이터 분석 커널 하둡
7.1 소개
7.2 하둡이란 무엇인가?
7.2.1 하둡 파일 시스템
7.2.2 맵리듀스 컴퓨팅 플랫폼
7.3 맵리듀스 프로그래밍
7.4 맵리듀스 개발 패턴
7.4.1 맵리듀스 유닛 테스트
7.4.2 맵 유닛 테스트 작성과 테스트
7.4.3 리듀스 유닛 테스트 작성
7.4.4 맵리듀스 유닛 테스트 작성
7.4.5 대규모 데이터에서 돌리기
7.5 정리
8장 하둡 온디맨드 프레임워크
8.1 소개
8.2 1세대 하둡 온디맨드 플랫폼: 하둡 온디맨드(HOD)
8.2.1 하둡 온디맨드 구조
8.2.2 토크 설치
8.2.3 HOD 설치
8.2.4 HOD와 관련된 그 밖의 사항
8.3 2세대 하둡 온디맨드: 아마존 웹 서비스 EC2 사용
8.3.1 아마존 웹 서비스 환경 설정
8.3.2 hadoop-ec2 설정
8.3.3 하둡 클러스터 생성
8.3.4 하둡 EC2 디버깅
8.4 3세대 하둡 온디맨드: AWS의 EMR
8.5 정리
9장 AWS EMR 사용
9.1 소개
9.2 AWS EMR 소개
9.3 AWS EMR 웹 콘솔 사용
9.3.1 AWS EMR 콘솔 접근
9.3.2 신규 샘플 작업 흐름 생성
9.3.3 신규 작업 정의
9.3.4 변수 정의
9.3.5 EC2 인스턴스 종류 정의
9.3.6 추가 옵션 선택
9.3.7 부트스트랩 옵션 정의
9.3.8 리뷰
9.4 AWS EMR API 사용
9.4.1 루비 설치
9.4.2 EMR 클라이언트 설치
9.4.3 계정 정보 설정
9.4.4 S3 생성
9.4.5 EMR 설정 확인
9.5 EMR을 사용한 워드 카운트 샘플
9.5.1 워크 플로우 생성
9.5.2 EMR 로그인
9.5.3 웹 브라우저를 통한 EMR 원격 모니터링
9.5.4 워드 카운트 스텝 추가
9.5.5 워크 플로우 종료
9.6 정리
10장 머하웃과 하둡을 활용한 데이터 분석
10.1 소개
10.2 머하웃이란?
10.2.1 기계 학습이란?
10.2.2 머하웃과 기계 학습
10.3 머하웃의 추천 알고리즘
10.4 머하웃을 사용한 추천 알고리즘 예제
10.5 정리
11장 아마존 클라우드 서비스를 활용한 추천 서비스 개발
11.1 소개
11.2 EMR에서 사용할 추천 데이터 준비
11.3 EMR과 머하웃의 연동
11.4 작업 결과 확인
11.5 구글 클라우드 SQL과 연결
11.5.1 클라우드 SQL API 활성화
11.5.2 앱엔진 소스 수정
11.5.3 개발용 마이시퀄 서버 준비
11.5.4 클라우드 SQL 데이터 로드
11.6 정리
12장 클라우드 서비스와 BI 툴 연동
12.1 소개
12.2 비즈니스 인텔리전스 2.0 시대
12.3 엑셀과 하둡의 연동
12.3.1 하둡 플랫폼 설치
12.3.2 하둡 플랫폼을 이용한 맵리듀스 수행
12.3.3 하이브 작업 수행
12.3.4 엑셀과의 연동
12.4 키마스피어 BI와 EMR 연동
12.4.1 카마스피어 설치
12.4.2 데이터 준비
12.4.3 카마스피어와 EMR 연동 작업
12.4.4 카마스피어용 하이브 테이블 생성
12.4.5 테이블에 데이터 로드
12.4.6 데이터 분석
12.4.7 결과 확인과 차트 생성
12.5 정리
