아파치 카프카로 데이터 스트리밍 애플리케이션 제작
도서명:아파치 카프카로 데이터 스트리밍 애플리케이션 제작
저자/출판사:매니시,쿠마,찬찰,싱/에이콘출판
쪽수:336쪽
출판일:2018-04-30
ISBN:9791161751320
목차
1장. 메시징 시스템 소개
__메시징 시스템의 기본원칙
__메시징 시스템의 이해
__지점 간 메시징 시스템
__게시-구독 메시징 시스템
__AMQP
__빅데이터 스트리밍 애플리케이션에 메시징 시스템 사용하기
__요약
2장. 카프카 소개, 분산 메시징 플랫폼
__카프카의 유래
__카프카의 구조
__메시지 토픽
__메시지 파티션
__복제와 복제 로그
__메시지 프로듀서
__메시지 컨슈머
__주키퍼의 역할
__요약
3장. 카프카 프로듀서
__카프카 프로듀서의 내부 구조
__카프카 프로듀서 API
____프로듀서 객체와 ProducerRecord 객체
____사용자 정의 파티션
____추가 프로듀서 설정
__자바 카프카 프로듀서 예제
__일반적인 메시지 게시 유형
__카프카 프로듀서 모범 사례
__요약
4장. 카프카 컨슈머
__카프카 컨슈머 내부 구조
____카프카 컨슈머의 역할 이해
__카프카 컨슈머 API
____컨슈머 설정
____구독과 폴링
____커밋 처리와 폴링
____추가 설정
__자바 카프카 컨슈머
__스칼라 카프카 컨슈머
____리밸런스 리스너
__일반적인 메시지 사용 유형
__모범 사례
____요약
5장. 카프카 스파크 스트리밍 애플리케이션 개발
__스파크 소개
____스파크의 구조
____스파크의 핵심요소
____스파크 운영 환경
__스파크 스트리밍
____수신자 기반 통합 방식
__직접 접근 방식
__로그 처리 활용 사례 - 사기 IP 감지
____메이븐
__프로듀서
____속성 리더
요약
6장. 카프카 스톰 애플리케이션 개발
__아파치 스톰 소개
____스톰 클러스터 구조
____스톰 애플리케이션의 개념
__아파치 헤론 소개
____헤론의 구조
__아파치 카프카와 아파치 스톰의 통합 - 자바
____예제
__아파치 카프카와 아파치 스톰의 통합 - 스칼라
__활용 사례 - 스톰, 카프카, 하이브를 사용한 로그 처리
____프로듀서
__스톰 애플리케이션
____프로젝트 실행
__요약
7장. 컨플루언트 플랫폼에서의 카프카 활용
__컨플루언트 플랫폼 소개
__컨플루언트 구조
__카프카 커넥트와 카프카 스트림의 이해
____카프카 스트림
__스키마 레지스트리를 사용한 에이브로 다루기
__카프카 데이터의 HDFS 이전
____캐머스
____고블린
____카프카 커넥트
____플룸
__요약
8장. 카프카를 사용한 ETL 파이프라인 제작
__ETL 파이프라인에서의 카프카 활용을 위한 고려사항
__카프카 커넥트 소개
__카프카 커넥트 심층 분석
__카프카 커넥트 소개 예제
__카프카 커넥트의 일반적인 활용 사례
__요약
9장. 카프카 스트림을 사용한 스트리밍 애플리케이션 개발
__카프카 스트림 소개
____스트림 처리에 카프카 사용하기
____카프카 스트림 - 가벼운 스트림 처리 라이브러리
__카프카 스트림 구조
__통합 프레임워크의 장점
__테이블과 스트림의 이해
____메이븐 의존성
____카프카 스트림 단어 수 세기 예제
____KTable
__카프카 스트림 활용 사례와 예제
____카프카 스트림의 메이븐 의존성
____Property Reader
____IP 레코드 프로듀서
____IP 룩업 서비스
____사기 감지 애플리케이션
__요약
10장. 카프카 클러스터 구축
__카프카 클러스터 내부구조
____주키퍼의 역할
____복제
____메타데이터 요청 처리
____프로듀서 요청 처리
____컨슈머 요청 처리
__용량 계획
____용량 계획의 목표
____복제 팩터
____메모리
____하드 드라이브
____네트워크
____CPU
__단일 클러스터 설치
__다중 클러스터 설치
__브로커 해제
__데이터 마이그레이션
__요약
11장. 빅 데이터 애플리케이션에 카프카 활용하기
__카프카의 대용량 데이터 관리
____적합한 하드웨어 선택
____프로듀서의 읽기와 컨슈머의 쓰기를 위한 선택
__카프카의 메시지 전송 체계
____최대 한 번 전송
____최대 한 번 전송
____정확히 한 번 전송
__빅 데이터와 일반적인 카프카 활용 형태
__카프카와 데이터 거버넌스
__알림과 모니터링
__유용한 카프카 측정 지표
____프로듀서 지표
____브로커 지표
____컨슈머 지표
__요약
12장. 카프카 보안
__카프카 보****개요
__SSL을 사용한 전송 암호화
____카프카에서 SSL을 활성화하는 과정
____카프카 브로커에 대한 SSL 설정
____카프카 클라이언트 SSL 설정
__인증을 위한 커베로스 SASL
____카프카에서 SASL/GSSAPI를 활성화하는 과정
__ACL과 권한 인증 이해
____일반적인 ACL 동작
__주키퍼 인증 이해
__권한 인증을 위한 아파치 레인저
____레인저에 카프카 서비스 추가
____정책 추가
__모범 사례
__요약
13장. 스트리밍 애플리케이션 설계의 고려 사항
__처리 시간과 처리량
__데이터와 상태 정보의 지속성
__데이터 소스
__외부 데이터 룩업
__데이터 형식
__데이터 직렬화
__병렬 처리 수준
__순서가 바뀐 이벤트
__메시지 처리 체계
__요약
