저의 상황은 이와 같습니다.

• API를 받아와 DB에 적재를 하는 상황

• 실시간API는 아닙니다. 벌크로 데이터를 뿌려줍니다

• 데이터를 완벽히 긁어오지 않은 상황인데 Duplicate entry 발생 즉, 데이터들을 다 찾지도 못하고 겉도는 상황입니다.

만약 API를 받아와서 적재된 DB와 아직 적재가 안된 API 데이터를 비교해서 없을때만 insert를 하는 그런 패턴이나 참고할만한 방법이 있을까여?