아파치 Storm을 이용한 분산 실시간 빅데이터 처리
도서명:아파치 Storm을 이용한 분산 실시간 빅데이터 처리
저자/출판사:테일러,게츠,브라이언,오닐/에이콘출판
쪽수:380쪽
출판일:2015-02-17
ISBN:9788960776715
목차
1장 분산 단어 세기
스톰의 기본 구성 요소: 토폴로지, 스트림, 스파우트, 볼트
스트림
스파우트
볼트
단어 세기 토폴로지의 데이터 흐름
문장 생성 스파우트
문장 나누기 볼트
단어 세기 볼트
결과 출력 볼트
단어 세기 토폴로지 구현
개발 환경 구축
문장 생성 스파우트 구현
문장 나누기 볼트 구현
단어 세기 볼트 구현
결과 출력 볼트 구현
단어 세기 토폴로지 구현
스톰의 병렬성
WordCountTopology의 병렬성
토폴로지에 워커 추가
익스큐터와 태스크 수 설정
스트림 그룹핑
처리 보장
스파우트의 신뢰성
볼트의 신뢰성
신뢰성 있는 단어 세기
정리
2장 스톰 클러스터 설정
스톰의 구조
님버스 데몬
수퍼바이저 데몬
아파치 주키퍼
스톰의 DRPC 서버
스톰 UI
스톰의 기반 기술
자바와 클로저
파이썬
리눅스에 스톰 설치
운영체제 설치
자바 설치
주키퍼 설치
스톰 설치
스톰 데몬 실행
스톰 설정
필수 설정
선택 설정
스톰 실행 파일
워크스테이션에 스톰 실행 파일 설치
데몬 명령어
님버스
수퍼바이저
UI
DRPC
관리 명령어
Jar
Kill
Deactivate
Activate
Rebalance
Remoteconfvalue
로컬 디버그/개발 명령어
REPL
Classpath
Localconfvalue
스톰 클러스터에 토폴로지 제출
클러스터 설정 자동화
퍼펫 간략히 살펴보기
퍼펫 매니페스트
퍼펫 클래스와 모듈
퍼펫 템플릿
퍼펫 히에라를 이용한 환경 관리
히에라 소개
정리
3장 트라이덴트 토폴로지와 센서 데이터
예제 설명
트라이덴트 토폴로지
트라이덴트 스파우트
트라이덴트 연산: 필터와 함수
트라이덴트 필터
트라이덴트 함수
트라이덴트 집계 - 컴바이너와 리듀서
CombinerAggregator
ReducerAggregator
Aggregator
트라이덴트 상태
반복 트랜잭션 상태
오파큐 상태
토폴로지 실행
정리
4장 실시간 트렌드 분석
사용 예
아키텍처
로그 수집 대상 애플리케이션
logback 카프카 어펜더
아파치 카프카
카프카 스파우트
XMPP 서버
필수 소프트웨어 설치
카프카 설치
오픈파이어 설치
샘플 애플리케이션 소개
카프카로 메시지 보내기
로그 분석 토폴로지 소개
카프카 스파우트
JSON 프로젝트 함수
이동 평균 계산하기
슬라이딩 윈도우 추가
이동 평균 함수 구현
한계값 기준으로 필터링
XMPP를 이용해 알림 보내기
토폴로지 완성
로그 분석 토폴로지 실행
정리
5장 실시간 그래프 분석
사용 예
아키텍처
트위터 클라이언트
카프카 스파우트
타이탄 분산 그래프 데이터베이스
그래프 데이터베이스 간략 소개
그래프 접근: TinkerPop의 구성요소
블루프린트 API를 이용해 그래프 조작
그렘린 셸을 이용해 그래프 조작
소프트웨어 설치
타이탄 설치
타이탄의 백엔드 스토리지를 카산드라로 설정
카산드라 설치
백엔드 스토리지가 카산드라인 타이탄 실행하기
그래프 데이터 모델
트위터 스트림 연결하기
Twitter4J 클라이언트 설정
OAuth 설정
TwitterStreamConsumer 클래스
TwitterStatusListener 클래스
트위터 그래프 토폴로지
JSONProjectFunction 클래스
GraphState 구현
GraphFactory
GraphTupleProcessor
GraphStateFactory
GraphState
GraphUpdater
GraphFactory 구현
GraphTupleProcessor 구현
모두 합치기: TwitterGraphTopology 클래스
TwitterGraphTopology 클래스
그렘린으로 그래프 질의
정리
6장 인공지능
사용 예 설계
아키텍처
설계 도전 해결
재귀 구현
함수의 반환값에 접근
불변 튜플 필드 값
Upfront 필드 선언
재귀에서 튜플 확인 메시지 받기
다수의 스트림 출력
쓰기 전 읽기
문제점 해결
아키텍처 구현
데이터 모델
재귀 토폴로지 살펴보기
큐와의 연동
함수와 필터
점수 계산 토폴로지 살펴보기
쓰기 전 읽기 문제 해결
게임 트리 순환
분산 원격 프로시저 콜(DRPC)
원격 배포
정리
7장 드루이드와 스톰을 이용한 금융 분석
사용 예
비트랜잭션 시스템과 통합
토폴로지
스파우트
필터
상태 설계
아키텍처 구현
DruidState
StormFirehose 객체 구현
주키퍼에 파티션 상태 구현
구현체 실행
분석
정리
8장 자연어 처리
람다 아키텍처가 나온 배경
사용 예 설명
람다 아키텍처 실현
사용 예를 위한 토폴로지 설계
설계 구현
TwitterSpout/TweetEmitter
함수
TweetSplitterFunction
WordFrequencyFunction
PersistenceFunction
분석 살펴보기
배치 처리/과거 이력 분석
하둡
맵리듀스 개요
드루이드 설정
HadoopDruidIndexer
정리
9장 스톰 온 하둡으로 광고 분석
사용 예
아키텍처 구축
HDFS
얀
인프라 설치
하둡 인프라
HDFS 설치
네임 노드 설치
데이터 노드 설치
얀 설치
노드관리자 설치
분석 배포
피그 인프라로 배치 분석
스톰 얀 인프라로 실시간 분석
분석
배치 분석
실시간 분석
토폴로지 배포
토폴로지 실행
정리
10장 클라우드에서 스톰 실행
아마존 일래스틱 컴퓨팅 소개
AWS 계정 생성
AWS 관리 콘솔
SSH 키 쌍 생성
EC2 인스턴스 수동으로 띄우기
EC2 인스턴스에 로그인
아파치 훠 소개
훠 설치
훠를 이용해 스톰 클러스터 설치
클러스터 띄우기
훠 스톰 소개
훠 스톰 설치
클러스터 설정
스톰 설정 커스터마이징
방화벽 규칙 커스터마이징
베이그란트 소개
베이그란트 설치
첫 번째 가상 머신 띄우기
Vagrantfile과 공유 파일 시스템
베이그란트 프로비저닝
베이그란트로 복수 머신 클러스터 설정
스톰 프로비저닝 스크립트 제작
주키퍼
스톰
수퍼바이저디
스톰 vagrantfile
스톰 클러스터 띄우기
정리
