Daily pipeline
데이터 처리
Daily pipeline
서로 다른 공개 정보를 매일 한 번 정리합니다
브라우저가 여러 기관의 API를 직접 호출하지 않습니다. 자동 수집 작업이 먼저 데이터를 모으고 검사한 뒤, 정리된 스냅샷을 사이트에 게시합니다.
- 1수집공공 API와 공개 데이터에서 행사 후보를 가져옵니다.
- 2정규화날짜·지역·장소·요금처럼 출처마다 다른 형식을 맞춥니다.
- 3분류제목과 대상 문구를 바탕으로 분류·연령·참여 대상을 추정합니다.
- 4중복 병합동일한 행사로 판단되는 여러 출처를 한 항목으로 합칩니다.
- 5검증·게시스키마와 링크를 검사하고 이번달·다음달 데이터로 배포합니다.
Sources
공공기관과 운영자 제출 정보를 함께 봅니다
대표 출처는 다음과 같습니다. 수집 가능한 항목과 갱신 시점은 각 기관의 제공 범위에 따라 달라집니다.