모든 프로젝트

리마커블랩스

변경된 공연 데이터만 적재하기

수집 상태를 관찰하고 해시 비교로 변경 데이터만 반영하도록 적재 방식을 개선했습니다.

데이터 파이프라인해시 비교대시보드
수집·저장 대상 공연 데이터약 1,000만 건

데이터 누적 규모이며 일일 신규 데이터 수를 뜻하지 않습니다.

01 / CONTEXT

어떤 문제였나요?

약 1,000만 건의 공연 데이터를 수집·저장하는 작업에서 진행 상태와 오류를 확인하고, 일일 처리 시간을 줄여야 했습니다.

02 / APPROACH

이렇게 풀었습니다.

  1. 작업 진행 상태와 오류를 확인할 수 있는 대시보드를 만들었습니다.
  2. 요구사항과 다른 처리 결과를 추적하고 데이터 검증 기준을 문서화하며 오류를 수정했습니다.
  3. 매일 최근 1주일 데이터를 대상으로 해시를 비교해 변경된 데이터만 반영했습니다.
03 / RESULT

무엇이 달라졌나요?

해시를 비교해 변경 데이터만 반영하도록 적재 방식을 개선했습니다. 기존 기록의 3분과 6분은 대상·측정 범위가 확인되지 않아 처리 시간 수치를 보류합니다.

경험의 근거

이지훈이 제공한 경력 기술을 바탕으로 정리했습니다.

해시 기반 변경 감지와 증분 적재

약 1,000만 건의 공연 데이터를 수집·저장하는 작업에서 진행 상태와 오류를 확인하고, 일일 처리 시간을 줄여야 했습니다. 작업 진행 상태와 오류를 확인할 수 있는 대시보드를 만들었습니다. 요구사항과 다른 처리 결과를 추적하고 데이터 검증 기준을 문서화하며 오류를 수정했습니다. 매일 최근 1주일 데이터를 대상으로 해시를 비교해 변경된 데이터만 반영했습니다. 해시를 비교해 변경 데이터만 반영하도록 적재 방식을 개선했습니다. 처리 시간은 기록마다 대상과 측정 범위가 달라 수치 비교를 보류합니다.

데이터 추출·변환·적재 배치 처리로 메모리 점유 제한

경력 기록에는 데이터 추출·변환·적재 전체 데이터를 메모리에 올리는 대신 일정 건수씩 조회·변환·적재한 내용이 있다. 한 번에 처리하는 양을 제한해 데이터 증가에 따른 메모리 부담을 관리했다.

데이터 추출·변환·적재 진행 상태와 오류 대시보드

공연 데이터를 수집·저장하는 작업에서 진행 상태와 오류를 확인하는 대시보드를 만들고 요구사항과 다른 처리 결과를 추적했다. 데이터 검증 기준을 정리하며 오류를 수정했다.

이 프로젝트의 다음 이야기가 궁금하다면.

대화로 더 알아보기