African Credit Scoring Challenge 2위 수상 인터뷰
간단히 자기소개 부탁드립니다. 밸런스히어로에서 어떤 일을 하고 계신가요?
안녕하세요, 저는 Bentley입니다. 밸런스히어로의 AI/Data 팀에서 데이터 사이언티스트로 근무하고 있으며, 8년 차 경력을 가지고 있습니다. 밸런스히어로에 합류한 지 4년이 되었는데, 이곳의 비전과 뛰어난 기술력, 빠른 실행력에 매료되어 이직하게 되었습니다. 입사 이후 주로 신용평가 모형 개발 업무를 담당해왔습니다. 최근에는 LLM 모델 기술이 중요해짐에 따라, 비정형 텍스트 데이터를 활용한 NLP 관련 기술 개발 업무를 진행하고 있으며, 새로운 LLM 모델 도입을 위한 프로젝트도 추진 중입니다.
이번에 ZINDI라는 대회에서 좋은 성과를 내셨다고 하는데, Competition에 참가하게 된 계기는 무엇인가요?
이번 컴피티션은 ZINDI에서 주최한 African Credit Scoring Challenge로, 아프리카의 다양한 금융 시장에서 대출 채무 불이행을 예측하는 머신러닝 모델을 개발하는 과제였습니다. 아프리카 시장에서 우리의 신용평가 모델이 얼마나 효과적인지 검증해보고 싶었습니다. 또한, 아프리카 시장 데이터를 다뤄보는 도전의식도 컸습니다.
💡
*ZINDI란? ZINDI는 아프리카 최대 규모의 데이터 사이언스 경진대회 플랫폼입니다. 주로 데이터 분석, 머신러닝, 인공지능 분야에서 다양한 챌린지를 개최하며, 참가자들은 챌린지를 통해 실제 문제를 해결하고 실력을 겨룹니다. 해당 플랫폼에서는 실질적인 비즈니스 문제 해결을 하는데, 특히나 아프리카 지역의 사회적·경제적 문제(금융 포용, 농업, 보건 등)를 해결하는 프로젝트가 많습니다. 문제를 데이터를 통해 현지의 문제를 해결하고, 보다 나은 사회적 영향을 창출하는데 목적을 둡니다.
밸런스히어로에서의 업무 경험이 AI Competition에서 어떻게 활용되었나요?
제가 꾸준히 맡아온 신용평가 모델 개발 업무가 큰 도움이 되었습니다. 대출 관련 도메인 지식을 통해 대회 데이터를 신속히 이해하고 문제 해결 접근 방식을 설계할 수 있었습니다. 밸런스히어로의 고품질 피처 파이프라인 기술도 큰 역할을 했습니다. 실시간으로 다양한 피처를 생성하는 이 기술을 활용해, 대회 데이터에 적합한 피처를 빠르게 생성할 수 있었습니다. 이 기술로 110개의 핵심 피처를 생성하여, 시간이 부족한 상황에서도 성공적인 성과를 낼 수 있었습니다.
대회를 준비하면서 가장 힘들었던 점은 무엇이었고, 어떻게 2위라는 좋은 성과를 낼 수 있었다고 생각하시나요?
Zindi 2위 수상 상장 대회에서 두 가지 어려운 점이 있었습니다.
첫째, 대회 기간이 6주인 상황에서, 시작 3주 후에 참여하게 되어 시간이 절대적으로 부족했습니다. 그러나 밸런스히어로의 피처 파이프라인을 활용해 신속하게 피처를 생성함으로써 이 문제를 극복할 수 있었습니다. 그리고 생성해낸 고품질 피처는 대회에서 좋은 성과를 내는데 가장 큰 역할을 하였습니다.
둘째, 학습용 데이터와 평가용 데이터의 분포 차이였습니다. 학습용 데이터는 케냐 대출 데이터로만 구성되어 있었으나, 평가용 데이터는 가나 대출 데이터도 포함되어 있었습니다. 가나 데이터와는 전혀 다른 분포를 보였기 때문에, 이를 해결하기 위해 케냐와 가나용 신용평가 모델을 각각 개발했습니다. 케냐의 경우 데이터 분포가 유사하여 모델을 복잡하게 설계해 성능을 최대화했습니다. 반면, 가나의 경우 데이터 분포 차이가 커서 피처를 선별하고, 국가 간 영향을 받지 않는 비율 기반 피처를 선택했습니다. 모델을 단순화하여 일반화하는 데 초점을 맞춰 최적화된 신용평가 모형을 만들 수 있었으며, 이를 통해 대회에서 좋은 성과를 거둘 수 있었습니다.
이번 경험이 밸런스히어로에서의 커리어에 어떤 의미가 있나요?
이 경험을 통해 밸런스히어로의 기술이 얼마나 뛰어난지 확신할 수 있었습니다. 시간적 제약이 많은 상황에서도 우리의 기술을 활용해 짧은 시간 내에 대회에서 우수한 성적을 거둘 수 있었던 것은 기술력의 우수성을 증명합니다. 현재 당사는 인도 시장을 대상으로 신용평가 모형을 개발하고 있지만, 이번 대회를 통해 우리의 기술이 특정 국가에 한정되지 않고 다양한 시장에서도 효과적이라는 것을 확인할 수 있었습니다.
AI 분야에서 앞으로 이루고 싶은 목표가 있나요?
단기적으로는 최근 AI분야에서 각광받고 있는 LLM 기술을 실제 비즈니스에 접목하여 상품화하는 것을 목표로 하고 있습니다. 해당 기술이 실제 서비스로 구현된 사례가 많지 않지만 이 기술을 서비스하여 비즈니스를 개선할 수 있다고 확신합니다. 현재 밸런스히어로에서는 고객으로부터 수집한 방대한 데이터를 활용하여 AI Agent를 개발하고 있으며, 이를 실제 서비스로 전환하여 회사 비즈니스의 개선을 목표로 하고 있습니다. 이러한 도전은 AI 기술의 실질적인 가치와 응용 가능성을 한층 더 높이는 계기가 될 것입니다.
자세한 수상 관련 정보는 해당 아티클에서 확인할 수 있습니다 🎉
