데이터 엔지니어를 위한 97가지 조언
도서명:데이터 엔지니어를 위한 97가지 조언
저자/출판사:토비아스 메이시/길벗
쪽수:344쪽
출판일:2023-10-30
ISBN:9791140706815
목차
01_서점 재고관리 시스템으로 알아보는 최종 일관성
02_A/B 테스트, 어떻게 해야 할까?
03_스토리지 계층에 대하여
04_분석: 마이크로서비스 아키텍처의 숨겨진 접착제
05_인프라스트럭처를 자동화하라
06_파이프라인 테스트를 자동화하라
07_데이터 파이프라인의 배치 모델을 신중히 검토하라
08_은탄환 신드롬을 경계하라
09_데이터 엔지니어 경력 쌓기
10_데이터 파이프라인을 보여주는 비즈니스 대시보드
11_주의: 데이터 과학 프로젝트가 벌거벗은 임금님 이야기가 되지 않으려면
12_변경 데이터 캡처
13_계약으로 기능하는 컬럼 이름
14_합의된 개인 정보 보호 데이터 수집
15_데이터 소비자와 원활한 업무 관계를 구축하라
16_데이터 엔지니어링은 스파크와 같지 않다
17_자율성 및 신속한 혁신을 돕는 데이터 엔지니어링
18_데이터 과학자 관점에서 보는 데이터 엔지니어링
19_재사용 및 확장 가능한 코드를 만드는 데이터 파이프라인 디자인 패턴
20_데이터 엔지니어를 위한 데이터 품질
21_데이터 엔지니어를 위한 데이터 보안
22_요약 통계 이상의 데이터 유효성 검증
23_과거에도 현재에도 미래에도 존재하는 데이터 웨어하우스
24_로그 중심 아키텍처에서의 메시지 정의 및 관리 방식
25_데이터 생성 과정 정보를 파악해서 파이프라인을 이해하기 쉽게 하라
26_코드뿐만 아니라 커뮤니티를 개발하라
27_클라우드 세상의 효율적인 데이터 엔지니어링
28_데이터 레이크 아키텍처를 받아들여라
29_데이터 사일로를 받아들여라
30_재현 가능한 데이터 과학 프로젝트 엔지니어링
31_안정적인 데이터 처리를 위한 5가지 모범 사례
32_유지 보수에 집중하고 ETL 작업을 분리하라
33_동료에게 이중 기록을 권하지 마라
34_기본 지식
35_구조화를 SQL로 되돌리기
36_데이터 프로덕트에 잠재적인 문서를 포함한 프런트엔드를 제공하라
37_데이터 파이프라인의 진화
38_제품처럼 데이터 플랫폼을 구축하는 방법
39_데이터 반란을 방지하는 방법
40_관리하는 데이터의 바이트당 가격을 파악하라
41_처리 지연 속도를 의식하라
42_RDBMS와는 다른 NoSQL 데이터베이스 사용법을 배워라
43_로봇을 이용해서 규칙을 강제하라
44_사용자 의견을 듣되 지나치게 따르지 마라
45_저가형 센서와 데이터 품질
46_기계 동작 방식에 대한 공감력을 유지하라
47_데이터 그 이상의 메타데이터
48_데이터 플랫폼의 핵심 요소인 메타데이터 서비스
49_데이터 레이크는 ACID를 제공하지 않으므로 조심하라
50_모던 데이터 스택을 위한 모던 메타데이터
51_상당수의 데이터 문제는 빅데이터 없이 풀 수 있다
52_소프트웨어 엔지니어링에서 데이터 엔지니어링으로 전환하기
53_데이터 엔지니어를 위한 관측 가능성
54_완벽함은 적절함의 적이다
55_파이프의 꿈
56_데이터 레이크가 지옥이 되지 않으려면
57_메시징 시스템에서 사용자 경험의 우선순위 높이기
58_개인 정보 보호 문제는 남의 일이 아니다
59_QA에 대한 흥미로운 사실
60_데이터 엔지니어가 머신 러닝 프로젝트에 관여할 때 주의할 7가지 사항
61_분석용 데이터 웨어하우스 선택을 보는 6가지 관점
62_빅데이터 세상의 작은 파일
63_스트리밍은 배치와 다르다
64_늦게 도달하는 데이터
65_데이터 프로젝트를 성공시키려면 기술이 뒤로 물러서야 한다
66_데이터 엔지니어링 프로젝트에서 필수적으로 확인해야 하는 10가지
67_데이터 파이프라인의 관건은 속도가 아니다
68_데이터 엔지니어링의 할 일과 하면 ****되는 일
69_모두가 아는 ETL의 종말
70_시조 작성 방식으로 소프트웨어 작성하기
71_데이터 입출력에 숨어 있는 비용
72_독점 소프트웨어와 오픈 소스가 전쟁 중이라는 거짓말
73_CAP 정리의 영향
74_데이터 계보의 중요성
75_데이터 누락이 갖는 여러 가지 의미
76_경력을 망치는 한 문장
77_데이터 품질 테스트에 오픈 소스를 사용하여 얻는 3가지 이점
78_데이터 엔지니어링에서 중요한 3R
79_두 부류의 데이터 엔지니어링과 데이터 엔지니어
80_빅데이터 확장성의 음양
81_데이터 프로세싱에서의 스레드 사용 및 동시성
82_분산 프로그래밍에서 중요한 개념 3가지
83_의미론적인 시간은 기다려주지 않는다
84_도구가 아니라 패턴과 관행이 중요하다
85_총 소유 기회비용
86_가지각색의 데이터 도메인에서 문제를 해결하는 방법
87_데이터 엔지니어란 어떤 직종인가? 힌트: 데이터 과학의 조력자
88_데이터 메시와 메시를 망치지 않을 방법
89_빅데이터란 무엇인가?
90_인정받지 못할 때 해야 할 일
91_데이터 과학 팀이 가치를 창출하지 못했다면
92_잘 모르면서 대충 접근하지 말아야 하는 경우
93_데이터 공유에 주의해야 하는 경우
94_발언할 때와 경청할 때
95_데이터 과학 팀에 전문가 대신 제너럴리스트가 필요한 이유
96_엄청난 데이터에 따르는 엄청난 책임
97_데이터 검증 실패! 그 다음은?
