헬로, 페이월드! 저는 카카오페이 PR팀 인턴 엘레나 입니다.
이곳에서는 카카오페이 개발자들을 직접 만나보고, 페이의 개발 이야기를 들려드려요.
이번에 만나볼 크루는 카카오페이 데이터 엔지니어 크루입니다!
비개발자가 본 카카오페이의 데이터 신세계
헬로, 옐로 & 이든!
오늘은 카카오페이 데이터팀의 데이터 엔지니어 크루 옐로와 이든을 만나보았어요. 옐로는 배치 데이터파이프라인, 그리고 이든은 실시간 데이터파이프라인을 담당하고 있답니다.
비개발자인 저는 실시간, 배치, 파이프라인 단어를 듣자마자 흠칫 놀랐어요.
무슨 말씀을 하시는 걸까…?
감사하게도, 인터뷰에 응해주신 크루분들은 저를 위해 정말 쉽게 풀어서 설명해 주셨어요. 개발 지식이 없어도 이해할 수 있는 새로운 세계, 데이터 엔지니어 이야기! 지금부터 함께 들어봐요.
누구나 쉽게 데이터를 볼 수 있도록, 데이터 엔지니어란?
카카오페이는 3500만 사용자를 보유한 만큼, 방대한 양의 데이터가 모여요. 이를 기반으로 카카오페이는 사용자에게 더 필요한 서비스가 무엇인지 찾고 있죠.
그렇다면, 데이터 홍수 속 어떻게 필요한 데이터를 쉽게 찾아볼 수 있는 것일까요? 카카오페이 데이터 엔지니어가 있기에 가능하다고 해요!
데이터 엔지니어는 카카오페이의 데이터를 사내 누구나 쉽게 볼 수 있는 환경을 만드는 일을 합니다. 데이터의 수집/집계/시각화를 통해 크루들이 의사 결정을 할 때 도움을 줄 수 있는 시스템을 구축하는 것 이래요. 마치, 데이터의 생산자와 사용자 간의 징검다리 역할을 하는 것 이랄까요?
그리고, 데이터를 가공할 수 있도록 데이터를 모으는 데이터파이프라인을 개발하고 있대요. 실시간으로 수집하는 실시간 데이터파이프라인과, 일정한 기간 동안 수집된 데이터를 일괄적으로 모으는 배치 데이터파이프라인이 있다고 합니다.
오늘 만난 이든은 실시간 데이터파이프라인, 옐로는 배치 데이터파이프라인을 개발하고 있다고 합니다.
오픈 마인드 그리고 오픈 소스! 페이의 혁신 동력
두 크루에게 어떻게 카카오페이에 오게 되었는지 물어보았어요. 모두 금융 데이터를 다루는 점이 가장 끌려 카카오페이를 선택했다고 답했죠. 그리고, 기존 금융권과 다른 수평적 커뮤니케이션 문화가 도전과 창의력을 펼칠 수 있는 토대가 될 것이라고 생각하기도 했대요.
이든 : 데이터 엔지니어가 하는 일은 일반적으로 고객 서비스와 직접 연결되어 있지는 않아요.
하지만, 금융 정보로 창출해 낼 수 있는 가치가 높기 때문에
카카오페이에서 일한다면 많은 것을 할 수 있을 것이라고 생각했어요.
민감한 정보를 안전하게 다루는 방법을 고민하고, 기술력을 바탕으로 도전할 수 있는 환경이라고 느꼈죠.
실제로, 옐로는 타 금융권과 다르게 카카오페이는 오픈 소스가 많이 사용된다고 말해주었어요. 크루들간 적합하다는 동의가 있다면, 원하는 오픈 소스 기술을 얼마든지 도입할 수 있다고 해요. 오픈 소스를 사용하면서 수많은 문제들을 마주하게 되는데, 이를 해결해 나가는 과정이 어렵지만 재미있다고 합니다.
옐로 : 오픈 소스를 적극적으로 활용하는 건 카카오페이의 혁신의 동력이라고 할 수 있어요.
저희는 혁신적 기술들을 선행적으로 연구하고 개발하고, 적용까지 하고 있거든요.
이런 도전과 모험에 오픈되어 있는 문화는 일반 금융권들과는 확연히 다른 것 같아요.
Q. 카카오페이의 일하는 방식이 여기에서도 드러나는 것 같아요.
오픈 소스 외에 데이터파이프라인에서 갖고 있는 차별점이나 특이점이 있을까요?”
이든 : 고객 행동 정보와 같은 로그(Log) 데이터뿐 아니라 사용자의 금융 정보를 다루기 때문에,
데이터의 민첩성과 정합성이 중요해요.
데이터가 변경되면 실시간으로 반영하는 구조로 프로그램을 설계하거나
정합성을 맞추기 위한 배치 프로그램으로 개발하고, 사용 목적에 따라 달리 설계하죠.
또, 이든은 잠깐의 데이터 유실이 대량 데이터 유실로 이어질 수 있다고 말했어요. 사용자의 데이터가 많이 모이는 만큼, 부하를 견딜 수 있는 구조여야 하고, 데이터 저장이 서비스 부하로 이어지지 않도록 항상 유의한다고 해요.
카카오페이 데이터 엔지니어는 무엇이 필요할까?
옐로는 가장 먼저 학습능력을 꼽았어요. 데이터팀은 많은 신기술들을 선행적으로 도입하는 만큼, 이를 빠르게 습득하고 응용할 수 있는 능력이 중요하다고 해요.
이든은 이렇게 신기술을 지속적으로 탐구하는 자세와 함께, 유행하는 기술에 구애받지 않고 근본 기술을 이해하는 것에 대한 중요성을 강조했죠.
또, 오픈 소스를 사용하기 때문에, 버전 호환성 문제나 버그 발생이 잦을 수 있대요. 여기에 다른 사람의 코드를 이해하고 변환할 수 있는 기본적 개발 역량도 필요하다고 합니다.
마지막으로, 옐로가 카카오페이 데이터 엔지니어가 되고 싶은 분들께 꼭 하고 싶은 말이 있다며 이것을 말해주었어요!
옐로 : 오픈 소스를 사용하다 보니, 하둡 에코시스템(Hadoop Ecosystem)을 많이 사용하게 되어요.
하둡(Hadoop)에 대한 경험이 없더라도, 기본기가 탄탄하고 새로운 기술을 주저하지 않고 적용할 수 있는 분이라면
카카오페이의 데이터 엔지니어로 즐겁게 일할 수 있답니다.
옐로와 이든을 만나고,
카카오페이의 데이터 엔지니어 세계는
사용자에게 더욱 필요하고 좋은 서비스를 제공해줄 수 있는 방법을 찾는
토대가 되는 곳임을 알았어요!
데이터 엔지니어에 대해 더 궁금하지 않으신가요? (번외편 하나.. 욕심내봅니다!)
다음 편에서 또 만나요, 페이월드!
카카오페이와 함께하고 싶다면?
