Spark worker 리소스 분배 설정과 실제 사용 가능 메모리 양이 다른 이유가 뭘까요?
조회수 490회
위 사진처럼 standalone에 worker 인스턴스 3개 지정하고 각 worker는 1core / memory 2g를 할당하게 했습니다. 그리고 전체 코러를 다 할당하도록 shell을 열었는데
다음 사진처럼 Summary 부분의 active total에 잡혀있는 Storage Memory의 양이 3.3gb로 나옵니다. 그리고 driver를 제외하고는 각 worker의 Storage Memory는 956.6MB로 잡혔는데 나머지 1GB가 살짝 넘는 메모리는 어디에서 할당 되어 있는건가요????
그리고 두 번째 사진에서 왜 worker만 1core가 잡혀있고 driver 에는 core가 0일까요?
댓글 입력