데이터 엔지니어는 최신 데이터 기반 환경에서 데이터 수집 및 처리부터 변환 및 서비스에 이르기까지 필수 작업을 관리하는 중요한 역할을 합니다. 데이터 엔지니어의 전문 지식은 방대한 데이터 세트의 가치를 활용하는 것이 가장 중요한 생성형 AI 시대에 특히 유용합니다.
경험이 풍부한 데이터 전문가를 지원하기 위해 DeepLearning.AI와 Amazon Web Services(AWS)는 파트너십을 맺고 Coursera에서 고급 전문가 자격증인 Data Engineering Specialization 과정을 시행합니다. 이 포괄적인 프로그램은 현대 조직과 관련된 광범위한 데이터 엔지니어링 개념, 도구 및 기술을 다룹니다. 데이터와 관련한 작업 경험이 있고 데이터 엔지니어링의 기초를 배우는 데 관심이 있는 학습자를 위해 설계되었습니다. Specialization 과정은 4개의 실습 과정으로 구성되며, 전 과정을 수료하면 Coursera 과정 수료증을 받게 됩니다.
과정 개요
이 Data Engineering Specialization은 유명한 기계 학습(ML)의 선구자인 Andrew Ng가 설립한 세계적 수준의 AI 교육 제공업체인 DeepLearning.AI와 AWS가 공동으로 시작했습니다.
데이터 엔지니어링 분야의 저명한 인물이자 베스트셀러 책인 Fundamentals of Data Engineering의 공동 저자인 Joe Reis가 담당 강사로서 이 프로그램을 이끌고 있습니다. 커리큘럼은 기본 프레임워크를 제공함으로써 학습자가 데이터 아키텍처, 오케스트레이션, DataOps 및 데이터 관리와 같은 주요 측면을 다루는 동시에 데이터 엔지니어링 수명 주기에 대한 전반적인 이해를 얻을 수 있도록 합니다.
이 프로그램은 개선된 학습 경험과 함께, AWS 클라우드에서 호스팅되는 실습 및 기술 평가를 제공합니다. 이러한 실용적인 클라우드 기반 연습은 Gal Heyne, Navnit Shukla, Morgan Willis를 비롯한 AWS 기술 전문가들과 협력하여 설계되었습니다. 학습자는 Amazon Kinesis, AWS Glue, Amazon Simple Storage Service(Amazon S3), Amazon Redshift와 같은 AWS 서비스 및 도구를 사용하여 이론적 개념을 적용하면서 실무 기술과 경험을 갖추게 됩니다.
본 과정의 주요 특징
참가자에게는 몇 가지 주요 학습 기회가 소개됩니다.
핵심 기술 및 전략 습득
데이터 엔지니어는 Specialization을 통해 다양한 사용 사례에 맞는 데이터 엔지니어링 솔루션을 설계하고, 데이터 아키텍처에 적합한 기술을 선택하고, 잠재적 위험을 피할 수 있습니다. 습득한 기술은 다양한 플랫폼과 기술에 보편적으로 적용되어 학습자에게 다양한 프로그램을 제공합니다.
데이터 엔지니어링 교육에 대한 독보적인 접근 방식
특정 기술에 초점을 맞춘 기존 과정과 달리, 이 Specialization 과정에서는 데이터 엔지니어링 기초에 대한 포괄적인 이해를 제공합니다. 데이터 엔지니어링 전략을 광범위한 비즈니스 목표에 맞춰 조정하고 데이터 솔루션을 구축하고 유지 관리하는 데 있어 보다 통합적이고 효과적인 접근 방식을 장려하는 것이 중요하다는 점을 강조합니다.
데이터 엔지니어링에 대한 전반적인 이해
커리큘럼은 Fundamentals of Data Engineering 책에서 얻은 인사이트를 활용하여 데이터 기반 중심 산업에서 성공할 수 있도록 전문가를 준비시키는 균형 잡힌 교육을 제공합니다.
AWS 클라우드 실습을 통한 실무 기술
AWS 파트너 Vocareum이 주최하는 실습을 통해 학습자는 교육 과정과 함께 제공된 AWS 환경에서 직접 기술을 적용할 수 있습니다. 이러한 실무 경험은 데이터 엔지니어링의 복잡성을 숙달하고 업계에서 두각을 나타내는 데 필요한 기술을 개발하는 데 매우 중요합니다.
본 과정을 선택해야 하는 이유는 무엇인가요?
구조화된 학습 경로 – 사양은 기본 개념부터 고급 애플리케이션까지 단계별 학습 여정을 제공하도록 세심하게 구성되어 있습니다.
전문가 인사이트 – Fundamentals of Data Engineering 저자와 기타 업계 전문가로부터 인사이트를 얻을 수 있습니다. 데이터 엔지니어링을 위한 클라우드 서비스를 통해 실용적인 지식을 적용하여 클라우드에서 최신 데이터 아키텍처를 구축하는 방법을 알아봅니다.
실무 경험 – AWS 클라우드에서 실습에 참여하여 학습뿐만 아니라 실제 시나리오에서 지식을 적용해 볼 수도 있습니다.
포괄적인 커리큘럼 – 이 프로그램은 소스 시스템의 데이터 생성, 수집, 변환, 저장 및 서비스를 포함하여 데이터 엔지니어링 수명 주기의 모든 측면을 포함합니다. 또한 이 과정은 보안, 데이터 관리 및 오케스트레이션과 같은 데이터 엔지니어링의 주요 하위 항목을 다룹니다.
이 Specialization 과정을 마친 학습자는 데이터를 사용하여 가치를 창출하려는 조직의 핵심적인 부서들에서 수요가 많은 직무인 데이터 엔지니어링 직무 경력을 쌓는 데 필요한 기술과 전문성을 갖추게 됩니다. 데이터 엔지니어링의 기초가 없다면 데이터 중심 ML 및 분석은 불가능했을 것입니다.
과정 모듈
Data Engineering Specialization은 4개 과정으로 구성됩니다.
과정 1 – Introduction to Data Engineering – 이 기본 모듈에서는 주요 이해 관계자를 식별하고 요구 사항을 이해하면서 데이터 엔지니어링의 협업적 특성을 살펴봅니다. 이 과정은 전체 생태계에 대한 이해, 데이터 품질, 확장성 등의 중요한 요소, 효과적인 요구 사항 수집에 대해 자세히 설명하면서 데이터 엔지니어링 솔루션을 구축하기 위한 내적 체계를 탐구합니다. 그런 다음 이 과정에서는 데이터 엔지니어링 수명 주기를 살펴보고 단계 간의 상호 연결을 설명합니다. 이 과정에서는 AWS 데이터 엔지니어링 스택을 소개함으로써 올바른 기술을 사용하는 방법을 가르칩니다. 이 과정을 마치면 학습자는 데이터 엔지니어링 문제를 해결하고 정보에 입각한 결정을 내릴 수 있는 기술과 사고방식을 갖추게 됩니다.
과정 2 – Source Systems, Data Ingestion, and Pipelines – 이 과정에서 데이터 엔지니어는 다양한 데이터 소스, 수집 패턴 및 파이프라인 구성을 다루는 실제 측면을 심층적으로 다룹니다. 학습자는 다양한 데이터 형식의 특성과 각 유형의 데이터를 생성하기 위한 적절한 소스 시스템을 탐색하고 효과적인 데이터 파이프라인을 설계할 수 있는 지식을 습득합니다. 이 과정에서는 엔지니어가 광범위한 데이터 소스 시스템과 상호 작용하는 방법을 배울 수 있도록 ACID 규정 준수 및 CRUD 작업을 비롯한 관계형 데이터베이스 및 NoSQL 데이터베이스의 기초를 다룹니다. 이 과정에서는 강력하고 확장 가능한 데이터 아키텍처를 구축하는 데 중요한 소양이라고 할 수 있는 클라우드 네트워킹의 중요성, 데이터베이스 연결 문제 해결, 메시지 대기열과 스트리밍 플랫폼의 사용 등을 다룹니다. 이 과정의 개념을 숙달하면 데이터 엔지니어는 데이터 수집 프로세스를 자동화하고, 연결을 최적화하고, 성공적인 데이터 엔지니어링 프로젝트를 위한 기반을 구축할 수 있습니다.
과정 3 – Data Storage and Queries – 이 과정은 데이터 엔지니어에게 강력하고 효율적인 데이터 스토리지 및 쿼리 솔루션을 설계하기 위한 원칙과 모범 사례를 제공합니다. 학습자는 메달리온과 유사한 아키텍처를 구현하고 오픈 테이블 형식을 사용하여 트랜잭션 데이터 레이크를 구축하면서 데이터 레이크 하우스 개념을 탐구합니다. 이 과정에서는 스트리밍 데이터에 대한 집계 및 조인과 같은 고급 쿼리를 가르치는 동시에 데이터 웨어하우스 및 데이터 레이크 기능을 살펴봄으로써 SQL 숙련도를 향상시킵니다. 학습자는 스토리지 성능을 비교하고 인덱싱과 같은 최적화 전략에 대해 알게 됩니다. 데이터 엔지니어는 쿼리 실행 및 처리를 이해하여 데이터 서비스의 성능과 확장성을 높일 수 있습니다.
과정 4 – Data Modeling, Transformation, and Serving 이 캡스톤 과정에서 데이터 엔지니어는 데이터 볼트 및 스타 스키마를 포함한 고급 데이터 모델링 기술을 탐구합니다. 학습자는 Inmon과 Kimball과 같은 모델링 접근 방식을 구별하여 최적의 분석 및 ML 사용 사례에 맞게 데이터를 변환하고 구조화할 수 있습니다. 이 과정은 데이터 엔지니어에게 텍스트, 이미지 및 테이블 형식 데이터에 대한 전처리 기술을 제공합니다. 학습자는 분류 및 회귀 작업뿐만 아니라 지도 학습과 비지도 학습의 차이점을 이해하여 다양한 예측 애플리케이션을 지원하는 데이터 솔루션을 설계할 수 있습니다. 데이터 엔지니어는 이러한 데이터 모델링, 변환 및 서비스 개념을 숙달함으로써 강력하고 확장 가능하며 비즈니스에 맞게 조정된 데이터 아키텍처를 구축하여 최대한의 가치를 제공할 수 있습니다.
등록하기
데이터 엔지니어링을 처음 접하는 사람이든, 기술 역량을 높이려는 사람이든, 이 Specialization 교육의 4개의 과정을 통해 이론과 실무 경험을 균형 있게 접할 수 있으며, 전 과정을 수료하면 Coursera 과정 수료증을 받게 됩니다.
여기에서 데이터 엔지니어링 여정을 시작하세요.
Introduction to Data Engineering
Source Systems, Data Ingestion, and Pipelines
Data Storage and Queries
Data Modeling, Transformation, and Serving
이 과정에 등록하고 4개 과정을 모두 완료하면 DeepLearning.AI 데이터 엔지니어링 전문가 자격증도 취득할 수 있습니다.
지금 등록하여 데이터 엔지니어링의 기초를 기반으로 구축되고 AWS에서 제공하는 이 포괄적이고 실용적인 프로그램을 통해 데이터 엔지니어링을 숙달하기 위한 첫 단계를 시작하세요.