01_서점 재고관리 시스템으로 알아보는 최종 일관성
02_A/B 테스트, 어떻게 해야 할까?
03_스토리지 계층에 대하여
04_분석: 마이크로서비스 아키텍처의 숨겨진 접착제
05_인프라스트럭처를 자동화하라
06_파이프라인 테스트를 자동화하라
07_데이터 파이프라인의 배치 모델을 신중히 검토하라
08_은탄환 신드롬을 경계하라
09_데이터 엔지니어 경력 쌓기
10_데이터 파이프라인을 보여주는 비즈니스 대시보드
11_주의: 데이터 과학 프로젝트가 벌거벗은 임금님 이야기가 되지 않으려면
12_변경 데이터 캡처
13_계약으로 기능하는 컬럼 이름
14_합의된 개인 정보 보호 데이터 수집
15_데이터 소비자와 원활한 업무 관계를 구축하라
16_데이터 엔지니어링은 스파크와 같지 않다
17_자율성 및 신속한 혁신을 돕는 데이터 엔지니어링
18_데이터 과학자 관점에서 보는 데이터 엔지니어링
19_재사용 및 확장 가능한 코드를 만드는 데이터 파이프라인 디자인 패턴
20_데이터 엔지니어를 위한 데이터 품질
21_데이터 엔지니어를 위한 데이터 보안
22_요약 통계 이상의 데이터 유효성 검증
23_과거에도 현재에도 미래에도 존재하는 데이터 웨어하우스
24_로그 중심 아키텍처에서의 메시지 정의 및 관리 방식
25_데이터 생성 과정 정보를 파악해서 파이프라인을 이해하기 쉽게 하라
26_코드뿐만 아니라 커뮤니티를 개발하라
27_클라우드 세상의 효율적인 데이터 엔지니어링
28_데이터 레이크 아키텍처를 받아들여라
29_데이터 사일로를 받아들여라
30_재현 가능한 데이터 과학 프로젝트 엔지니어링
31_안정적인 데이터 처리를 위한 5가지 모범 사례
32_유지 보수에 집중하고 ETL 작업을 분리하라
33_동료에게 이중 기록을 권하지 마라
34_기본 지식
35_구조화를 SQL로 되돌리기
36_데이터 프로덕트에 잠재적인 문서를 포함한 프런트엔드를 제공하라
37_데이터 파이프라인의 진화
38_제품처럼 데이터 플랫폼을 구축하는 방법
3
데이터 엔지니어로 한걸음 더 성장하기 위한
다양한 팁과 노하우를 배우자!
데이터 엔지니어는 넓게 보면 데이터를 분석하고, 머신 러닝, 비즈니스 인텔리전스에 사용할 수 있게 만들어 주는 사람이다. 빅데이터 기술과 데이터 과학, 분산 컴퓨팅, 클라우드가 도입되면서 데이터 엔지니어링은 없어서는 안 될 일이 되었고, 더 복잡해졌다. 역설적이게도 그래서 데이터 엔지니어가 할 수 있는 일도 더 늘어났다. 이 책은 데이터를 다루면서 교훈을 얻었던 다양한 엔지니어들의 조언이 담겨 있다. 데이터 팀에서 일하기 위한 노하우, 도구 선택 팁, 분산 시스템의 기본 원리 등을 설명하며, 97가지 조언만으로 모든 문제를 해결할 순 없겠지만 어떤 문제를 해결하기 위한 영감을 얻을 수 있다. 이 조언들을 초석으로 삼아 성공적인 데이터 엔지니어 커리어를 완성할 수 있기를 바란다.
책 속에서
데이터 엔지니어링을 별도의 역할로 보기 시작한 것은 오래되지 않았지만 역할 자체는 수십 년 전부터 존재해왔습니다. 넓게 보면 데이터 엔지니어는 데이터를 분석하고, 머신 러닝, 비즈니스 인텔리전스 등에 사용할 수 있도록 만들어주는 사람입니다. 빅데이터 기술과 데이터 과학, 분산 컴퓨팅, 클라우드가 도입된 덕에 데이터 엔지니어링은 없어서는 안 될 일이 되었고, 더 복잡해졌지만 (역설적으로 할 수 있는 일도 더 늘어났습니다. 유능한 데이터 엔지니어가 되기 위해 알아야 하는 모든 내용을 아우르는 단 한 권의 책을 쓰는 것은 불가능하겠지만, 그 여정에 도움이 될 몇 가지 핵심 원리는 제안하려 노력했습니다.이 책에는 데이터를 다루면서 힘겹게 교훈을 얻었던 다양한 사람들의 조언이 담겨 있습니다. 같은 실수를 막기 위한 이 조언들을 초석으로 삼아 성공적인 데이터 엔지니어링 커리어를 완성할 수 있기를 바랍니다.또한, 데이터 팀에서 일하기 위한 노하우, 도구를 선택할 때 필요한 팁, 분산 시스템에 대한 기본 원리를 알 수 있습니다. 데이터 엔지니어링에는 여러 길이 있고, 꼭 똑같은 도구를 사용하란 법은
