Associate-Developer-Apache-Spark-3.5 문제 56

다음 스키마가 주어지면:

event_ts 타임스탬프,
센서_id 문자열,
메트릭 값 LONG,
ingest_ts 타임스탬프,
소스_파일_경로 문자열
목표는 event_ts, sensor_id, metric_value를 기준으로 중복을 제거하는 것입니다.
옵션:

Associate-Developer-Apache-Spark-3.5 문제 57

주어진:
파이썬
복사편집
Spark.sparkContext.setLogLevel("<LOG_LEVEL>")
Spark 드라이버 LOG_LEVEL에 적합한 구성 설정을 포함하는 세트는 무엇입니까?

Associate-Developer-Apache-Spark-3.5 문제 58

DataFrame df에는 이름, 나이, 급여 열이 있습니다. 개발자는 DataFrame을 나이를 기준으로 오름차순, 급여를 기준으로 내림차순으로 정렬해야 합니다.
어떤 코드 조각이 개발자의 요구 사항을 충족합니까?

Associate-Developer-Apache-Spark-3.5 문제 59

Spark 개발자는 테스트를 위해 로컬 모드에서 Spark 작업을 실행할 때 최적의 리소스 활용을 어떻게 보장할 수 있나요?
옵션:

Associate-Developer-Apache-Spark-3.5 문제 60

한 데이터 엔지니어가 Spark 3.0에서 Spark 3.5로 업그레이드한 후 성능이 향상되었음을 확인했습니다. 이 엔지니어는 적응형 쿼리 실행(AQE)이 ​​활성화되었음을 확인했습니다.
AQE는 성과 개선을 위해 어떤 작업을 구현하고 있나요?