공공 · 일자리 플랫폼
대규모 운영 관리 플랫폼
여러 출처에 흩어진 정보를 사람이 매일 수집·정제하던 비효율을, 수집부터 배포까지 무인 파이프라인으로 전환.
- 유형
- 데이터 파이프라인 · 운영
- 기간
- 약 7개월
- 역할
- 설계 · 개발 · 운영
여러 기관에 흩어진 정보를 매일 사람이 모으고 다듬어 배포하던 운영을, 수집·가공·배포가 자동으로 돌아가는 플랫폼으로 바꿨습니다.
과제
여러 기관·출처에 흩어진 채용·정책 정보를 사람이 매일 수집·정제하고, 안내 문서와 현황 자료를 그때그때 수작업으로 재생성하던 비효율이 있었습니다.
해결 과정
- 1
수집을 파이프라인으로
다중 출처에서 데이터를 자동 수집하고 형식을 통일했습니다.
- 2
정제·검증 자동화
중복·오류를 걸러내는 검증 단계를 두어, 사람이 일일이 손보지 않도록 했습니다.
- 3
야간 배치로 무인 운영
문서 생성과 갱신을 야간 배치로 돌려, 아침이면 최신 자료가 준비되도록 했습니다.
구현한 것
- 다중 출처 데이터 수집(크롤링)
- 정제 · 검증 파이프라인
- PDF 문서 자동 생성
- 야간 배치 자동 처리
결과
- 최신 데이터 상시 유지
- 운영 인력의 반복 부담 대폭 절감
- 사람은 검수·판단에만 개입
구성 요소
- 데이터 수집(크롤링)
- 검증 파이프라인
- 배치 처리
- PDF 자동 생성
* 고객사 보호를 위해 실명·식별 정보를 제외하고, 작업 유형을 대표하는 예시로 재구성한 내용입니다.