PART 01 빅데이터의 이해 2
CHAPTER 01 데이터의 생성 6
CHAPTER 02 데이터의 융합 19
CHAPTER 03 데이터의 진화 28
CHAPTER 04 데이터 기반 기술의 발전 37
PART 02 빅데이터 시스템의 기반 기술 42
CHAPTER 01 병렬 및 분산처리 기술 46
CHAPTER 02 빅데이터 기반 기술 51
PART 03 데이터 수집 기술 54
CHAPTER 01 정형 및 비정형 데이터의 수집 61
CHAPTER 02 실시간 및 배치 데이터의 수집 72
CHAPTER 03 데이터 카탈로그 기술 78
PART 04 데이터 저장 기술 82
CHAPTER 01 하둡(Hadoop 86
CHAPTER 02 NoSQL 기반 데이터베이스 102
CHAPTER 03 에코 소프트웨어의 저장 기술 115
PART 05 데이터 처리 기술 122
CHAPTER 01 빅데이터 처리 프레임워크 기술 126
CHAPTER 02 SQL On Hadoop 및 하이브(Hive 129
CHAPTER 03 거대 언어모델(LLM 기반 데이터 처리 기술 143
PART 06 데이터 분석 154
CHAPTER 01 데이터 분석의 이해 158
CHAPTER 02 빅데이터 기반의 탐색적 데이터 분석 171
CHAPTER 03 비즈니스 애널리틱스 기술 186
PART 07 빅데이터 시스템의 운영 및 관리 194
CHAPTER 01 운영 및 모니터링 기술 198
CHAPTER 02 보안 기술 204
CHAPTER 03 업그레이드 기술 207
PART 08 데이터 융합 기술 226
CHAPTER 01 OLTP와 OLAP 229
CHAPTER 02 SMP와 MPP 시스템 기술 241
CHAPTER 03 초융합 컴퓨팅 기술(HCI과 클라우드 247
CHAPTER 04 오케스트레이션 기술 253
머리말
빅데이터와 인공지능 기술의 비약적인 발전으로 우리가 꿈처럼 생각했던 일들 이 현실이 되고 있는 가운데 빅데이터를 기술적인 관점으로, 원점에서부터 다시 바 라보아야겠다는 생각이 들었다. 수많은 디지털 기기가 인터넷에 연결되어 데이터 가 생성되고 축적되어 이를 효과적으로 활용하는 기업만이 비즈니스의 세계에서 강자로 군림하고 있는 이때, 빅데이터를 공부할 수 있는 체계적인 교재가 없는 것이 매우 안타깝게 생각되었다.
디지털 기술을 떠나 인류학적 측면에서 인간과 문명을 바라보면 기록과 학습에 서부터가 이 모든 것의 시작이 되었다고 생각한다. 데이터는 인문, 예술, 과학, 기 술, 사회 등 다양한 부분을 포괄적으로 포함하고 있는 인류의 삶 그 자체라고 해도 과언이 아닐 것이다.
단언컨대 데이터는 과거에도 있었고, 현재도 있으며 미래에도 있을 것이다. 하 지만 우리는 데이터의 실체를 이해하고는 있지만 시간이 지나면서 어떻게 변화될 지는 현재로서는 아무도 모른다고 얘기하고 싶다. 데이터는 예술의 영역일 수도 있고 인문의 영역일 수도 있고 과학과 기술의 영역일 수도 있으며, 이 부분이 구체화 된 논리적, 물리적인 영역일 수도 있다. 이것이 의미하는 바를 이해한다는 것은 어 려운 부분이며 그 이유는 논리적, 물리적인 부분에서 예술과 인문 그리고 우리가 알고 있고 발전시켜 나간 그 모든 것이 미래의 데이터일 수도 있기 때문이다.
사실은 우리가 알고 있는 데이터는 극히 작은 부분만을 알고 있으며, 이 데이터 가 의미하는 속성은 무엇이고 무엇을 지향하고 있는지는 최종적으로 독자 여러분 께 맡기려고 한다. 결론적으로 본서를 읽는 동안 독자 여러분의 상상력을 넣어서 새로운 기술을 만들어 나가는 데 조금이나마 도움이 되었으면 한다.
본서는 총 8개의 PART로 구성되며 PART 01은 서론에 해당되고 데이터에 대한 이해에서부터 시작된다. PART 02~05는 데이터를 처리하는 기반 기술에서 하둡을 중심으로 한 에코 소프트웨어에 대한 기술을 심도 있게
