여러 파이썬 프로세스가 경합하지 않고 결과를 올리면 모아두는 간단한 방법

조회수 107회

제법 큰 테이블 데이터를 대상으로 하는 작업이 있고, 10여개의 컬럼이 있는데, 이 중 5개씩 콤비네이션 해서 뽑아내고 거기에 대한 작업을 수행하고 있습니다.

이 결과물은

( 콤비네이션 조합 : 결과값(플로팅포인트 하나) )

(  ("A","B","C","D","E" ) : 0.123 )

의 간단한 형태입니다.

프로세스를 나눠서 돌리는 것은 좋은데, 이 나뉜 프로세스의 결과값들을 한 곳에 모으려면 어떤 방법이 간단할까요? 순서는 무관합니다.

DB 띄우면 되나? 싶었는데 이건 간단하지 않군요.

쉬운 방법 추천 좀 부탁 드립니다.

  • DB든 단순 file append든 트랜잭션(lock) 관리가 들어가야 하기 때문에 쉽게 할 수 있는 작업 같진 않습니다. 저라면 각 프로세스들은 각자의 파일/DB를 사용하게 하고, 프로세스들이 다 돌 때까지 기다린 다음, 결과값 합치는 작업을 나중에 따로 몰아서 하겠습니다. 엽토군 2022.8.2 21:41
  • sqlite 는 어떤가요. db 서버 실행시킬 필요없고... 간단하고. daewon 2022.8.3 12:38

1 답변

답변을 하려면 로그인이 필요합니다.

Hashcode는 개발자들을 위한 무료 QnA 사이트입니다. 계정을 생성하셔야만 답변을 작성하실 수 있습니다.

(ಠ_ಠ)
(ಠ‿ಠ)

ᕕ( ᐛ )ᕗ
로그인이 필요합니다

Hashcode는 개발자들을 위한 무료 QnA사이트 입니다. 계정을 생성하셔야만 글을 작성하실 수 있습니다.