패스트캠퍼스 환급챌린지 2일차 : 한 번에 끝내는 데이터 엔지니어링 초격차 패키지 강의 후기

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

 

안녕하세요!

오늘은 데엔 공부 환급챌린지 2일차입니다.

단지 내에서 운영되는 헬스장이 갑자기 휴관하는 바람에 오늘은 조금 일찍 컴퓨터 앞에 앉아 공부를 시작하게 되었네요. (덕분에 운동 대신 두뇌 근육을 키우게 생겼습니다.😅)

 

지난 강의에 이어 오늘은 강의 로드맵에 대한 파트를 모두 마쳤고, 본격적인 데이터 엔지니어링 공부에 앞서 환경 세팅 단계에 들어섰습니다. 환경 세팅 단계는 언제나 설렘 반, 걱정 반이죠!

특히 이번 강의 커리큘럼을 보니 Java와 Scala 환경 세팅이 포함되어 있는데요. 개인적으로 Java를 제대로 배워보는 게 너무 기대됩니다. 예전부터 Java는 꼭 한번 제대로 공부해보고 싶었거든요. 반면 Scala는... 음, 이걸 다 소화할 수 있을지 살짝 걱정이 되긴 합니다. (벌써부터 제 뇌 용량이 초과될 것 같은 느낌적인 느낌이...🤯)

그리고 강의 기술 스택을 찬찬히 살펴보니, 하둡(Hadoop)이 눈에 띄네요. 사실 요즘 데이터 엔지니어링 분야는 하둡에서 스파크(Spark)로 많이 넘어가는 추세라고 들었는데, 역시나 확인해보니 이 강의 패키지가 2022년에 제작된 것이었어요. 아니, 강의 제작 날짜는 왜 항상 숨겨놓는 걸까요? 마치 유통기한 없는 음식 같은 느낌입니다. (강의 제작자님들, 제작일자 표기 좀 부탁드려요!🙏)

 

그래도 생각해보면, 데이터 엔지니어링의 기본을 깊이 이해하려면 하둡에 대한 이론을 배우는 것도 충분히 의미 있겠다는 생각이 듭니다. 사실 스파크가 대세라고는 하지만, 결국 스파크도 하둡의 분산 처리 개념과 원리를 기반으로 발전한 기술이니까요. 오래된 기술이라고 무조건 무시하기보다는, 기본 원리를 익혀두는 게 장기적으로 더 큰 도움이 되겠지요?

 

또한, 이 강의가 실무 중심보다는 이론 중심으로 구성되어 있다는 점도 눈에 띄었습니다. 그렇게 해서 총 120시간 분량이라니...! (벌써부터 등골이 오싹해지네요😱)

 

물론 실무와 이론 둘 다 적당히 있는 것이 베스트겠지만, 굳이 하나만 고르라면 역시 이론이 되겠지요. 요즘처럼 AI가 빠르게 발전하는 시대에는 단순히 도구의 사용법을 학습하는 것보다 이론과 원리에 대한 깊은 이해가 훨씬 더 중요하다고 생각합니다.

실제로 데이터 엔지니어링 분야는 특히나 도구와 기술의 변화 속도가 매우 빠른 분야입니다. 어제까지 핫했던 기술이 오늘은 구식이 되어버리는 일이 흔하죠. 하지만 데이터 처리 원리, 분산 시스템의 기본 원칙, 데이터 모델링 기법 등 핵심 이론은 시간이 지나도 크게 바뀌지 않습니다. 오히려 이론적 기초가 튼튼한 엔지니어일수록 새로운 기술과 환경에 더 빠르게 적응하고, 더 나은 솔루션을 만들어갈 수 있다고 생각해요.

이런 말도 있잖아요? "도구는 변하지만, 원리는 변하지 않는다."

결국, 우리에게 필요한 건 새로운 기술을 빠르게 따라잡는 능력보다, 그 기술이 나오게 된 배경과 원리를 깊이 이해하는 능력일지도 모릅니다. AI가 아무리 똑똑해져도, 결국 그 AI를 제대로 활용하고 방향을 잡아주는 건 우리 엔지니어들의 몫이니까요. 😊

 

자, 오늘도 데이터 엔지니어링의 깊은 바다로 힘차게 뛰어들어 봅시다. 내일은 헬스장이 다시 열리길 바라며, 저는 이제 오늘의 환경 세팅을 마저 진행하러 가보겠습니다. 모두 화이팅입니다! 💪🔥

 

https://abit.ly/lisbva