Apache Spark 리소스 최적화: 하루 800만 건의 작업 실행에서 얻은 교훈

Salesforce Data 360은 하루 약 800만 건의 Spark 실행에서 할당량과 실제 작업량을 비교해 낭비를 찾음. 실행 성공만으로는 리소스 구성이 효율적인지 판단할 수 없음
공통 제출 관문인 DPC에 Spark 계측 플러그인을 주입해 애플리케이션 코드 변경 없이 실행 데이...