[System Engineering] 공공마이데이터 연계 고성능 필터링 서버 구축

Go(Golang) 기반 아키텍처로 대규모 데이터 병목 현상 완벽 해결

"기존 시스템 대비 월등한 처리 속도와 안정성 확보"

글로벌 자동차 메이커 금융 시스템의 공공마이데이터 연계 과정에서 발생하는 대규모 트래픽 부하 문제를 해결하기 위해, 다올앤컴퍼니는 고성능 Go(Golang) 기반의 필터링 서버를 독자적으로 구축하였습니다. 데이터 병목 현상을 제거하고 시스템 전체의 가용성을 극대화한 기술 혁신 사례입니다.

---

1. Project Background (배경)

• 문제 상황: 기존 Java 기반 연계 서버가 공공마이데이터의 방대한 유입 데이터를 감당하지 못해 서버 다운 및 업무 지연 현상 빈번 발생.
• 요구 사항: 메인 시스템에 부하를 주지 않으면서도, 실시간으로 유효 데이터를 검증하고 분류할 수 있는 고성능 게이트웨이(Gateway) 필요.

2. Key Solution (핵심 해결책)

① Go(Golang) 기반의 고성능 엔진 채택

• 기존 Java 기반 시스템의 무거운 리소스 점유 문제를 해결하기 위해 가볍고 빠른 Go언어를 사용하여 서버 재설계.
• Go의 핵심 강점인 고루틴(Goroutine)을 활용한 동시성 처리를 통해 대규모 데이터 유입 시에도 지연 없는 필터링 수행.

② 지능형 데이터 필터링 로직 구현

• 회원 정보 매칭: 공공마이데이터 수신 정보와 내부 사이트 회원 정보를 실시간 비교 분석.
• 트래픽 최적화: 실제 서비스 이용 대상자(회원)인 경우에만 기존 연계 서버로 데이터를 전송하고, 비회원 데이터는 사전 차단하여 메인 서버의 부하를 80% 이상 경감.

③ 시스템 아키텍처 고도화

• 기존 연계 시스템 전면에 위치하는 '필터링 레이어'를 추가하여 전체 시스템의 안정성(Stability)과 확장성(Scalability) 확보.

3. Technical Highlights (기술적 강점)

| 항목 | Java 기반 기존 시스템 | Go 기반 다올앤컴퍼니 솔루션 |
| :--- | :--- | :--- |
| 처리 성능 | 대용량 데이터 유입 시 병목 발생 | 고속 동시성 처리를 통한 병목 제로 |
| 리소스 효율 | 높은 메모리 및 CPU 점유 | 최적화된 컴파일 기반 저사양 고효율 |
| 안정성 | 과부하 시 시스템 셧다운 위험 | 서버 부하 분산 및 서비스 무중단 유지 |
| 응답 속도 | 처리량 증가 시 응답 지연 발생 | 일관된 고성능 저지연(Low Latency) 제공 |

4. Business Impact (성과)

• 시스템 가용성 극대화: 서버 다운 타임을 제거하여 공공마이데이터 연계 업무의 연속성 보장.
• 인프라 비용 절감: 효율적인 서버 자원 활용으로 성능 개선을 위해 필요했던 추가 하드웨어 도입 비용 절감.
• 기술력 입증: 금융권의 엄격한 데이터 처리 기준을 충족하는 고성능 커스텀 서버 구축 역량 확보.