System Engineering 글로벌 자동차 메이커 금융사 데이터레이크 시스템 개선 및 성능 고도화

대용량 데이터 전송 병목 제거 및 Java 기반 GPG 암호화 아키텍처 혁신

"기존 데이터 수집 구조의 한계를 극복하고 배치 성능과 데이터 신뢰성을 완벽하게 보장"

글로벌 자동차 메이커 금융 시스템의 데이터레이크 개선 과정에서 발생하는 대규모 데이터 처리 지연 및 레거시 암호화 모듈의 오류 문제를 해결하기 위해, 다올앤컴퍼니 는 데이터 수집 쿼리 최적화, Java 기반의 안정적인 GPG(GnuPG) 암호화 이행 파이프라인, 그리고 효율적인 배치 스케줄링 시스템 을 독자적으로 설계 및 구축하였습니다. 이를 통해 데이터 정합성을 100% 확보하고 대량 데이터 전송 성능을 비약적으로 고도화한 기술 혁신 사례입니다.

>

1. Project Background (배경)

• 문제 상황: 기존 데이터 수집 및 암호화 모듈이 대용량 데이터 처리 시 빈번한 라이브러리 충돌 및 메모리 누수 오류를 일으키고, 특정 쿼리의 성능 저하로 인해 야간 배치 작업이 제한 시간을 초과하는 현상이 지속적으로 발생.
• 요구 사항: 비즈니스 요건 변경(신규 장표 추가, 공통 코드 개편 등)을 반영하면서도, 대용량 데이터를 안전하게 전송하고 정합성을 검증할 수 있는 무중단 고성능 데이터레이크 수집 파이프라인 구축 필요.

2. Key Solution (핵심 해결책)

① 대용량 데이터 수집을 위한 오라클 SQL 쿼리 최적화

• 기존의 복잡하고 비효율적이었던 조인 구조와 대량 데이터 조회 쿼리를 정밀 분석하여 실행 계획(Execution Plan) 개선 및 적절한 인덱스 설계 반영.
• 업무관련 23개 장표 및 기타 추가 매핑 10개 장표 등 총 33개 장표에 대한 SQL 튜닝을 통해 데이터 추출 속도를 비약적으로 향상시키고 DB 부하를 대폭 경감.

② Java 기반 GPG(GnuPG) 암호화 이행 파이프라인 도입

• 기존 Python 라이브러리의 노후화 및 운영 환경 불안정성 이슈를 해결하기 위해, 안정성이 검증된 GnuPG 엔진을 Java 배치 프로세스와 결합하는 구조로 재설계.
• 대량 데이터 압축(ZIP)과 암호화(PGP), SFTP 전송 단계를 안전한 트랜잭션 범위 내에서 원활하게 수행할 수 있는 파이프라인 완성.

③ 지능형 배치 스케줄러 설계 및 풀로딩 이행 체계 구축

• 일별 증분 데이터 수집을 위한 일별 배치(4개)와 대용량 과거 데이터 이전을 위한 풀로딩(Full Loading) 배치(4개) 등 총 8개의 배치 스케줄을 체계적으로 설계 및 등록.
• 초기 데이터 이행 시 대량의 과거 이력을 안전하게 분할 적재하고, 전송된 데이터의 무결성을 검증하기 위한 CHECKSUM 자동 대조 메커니즘을 반영하여 데이터 신뢰성 극대화.

3. Technical Highlights (기술적 강점)

| 항목 | 기존 레거시 시스템 | 다올앤컴퍼니 개선 솔루션 |
| --- | --- | --- |
| 암호화 안정성 | Python 라이브러리 노후화로 과부하 시 암호화 오류 발생 | Java 호출형 GnuPG 엔진 결합으로 100% 안정적 암호화 |
| 쿼리 처리 성능 | 대량 데이터 조회 시 인덱스 미흡 및 비효율적 조인 병목 | SQL 튜닝 및 성능 개선 인덱스 반영으로 추출 속도 혁신 |
| 데이터 정합성 | 단순 파일 전송으로 송수신 정합성 검증 부재 | CHECKSUM 파일 자동 생성 및 실시간 상호 대조 검증 |
| 배치 유연성 | 일별 배치와 전체 이행 배치의 구분이 모호하여 수동 작업 과다 | 일별/풀로딩 8개 배치 스케줄 세분화로 완전 자동화 및 제어력 확보 |

4. Business Impact (성과)

• 데이터 신뢰도 100% 달성: UAT(사용자 수용 테스트) 과정에서 도출된 오류 사항을 전건 완벽하게 조치하고 데이터 무결성을 검증함으로써 무결점 데이터 이행 달성.
• 배치 수행 시간 단축: 대용량 데이터 추출 및 암호화 파이프라인 최적화를 통해 전체 야간 배치 수행 시간을 단축하여 안정적인 마감 업무 지원.
• 유지보수 효율성 극대화: 배치 스케줄과 명세서를 체계적으로 표준화하고, 상세한 배치 프로그램 순서도 및 운영 배포 계획서를 구축함으로써 향후 시스템 확장 및 운영 관리 비용 최소화.