A. 언제 도착하든 모든 중복 항목을 제거합니다.

B. 몇 초 안에 워터마크를 받아들이고 코드에서 오류가 발생합니다.

C. 워터마크로 지정된 30분 창 내에 도착한 중복을 제거합니다.

D. 이 시나리오에서는 중복 제거를 처리할 수 없습니다.

A. spark.read.json()을 사용하여 데이터를 로드한 다음, DataFrame.printSchema()를 사용하여 추론된 스키마를 보고 마지막으로 DataFrame.cast()를 사용하여 열 유형을 수정합니다.

B. inferSchema 옵션을 true로 설정하여 spark.read.json()을 사용합니다.

C. spark.read.format("json").load()를 사용한 다음 DataFrame.withColumn()을 사용하여 각 열을 원하는 데이터 유형으로 캐스팅합니다.

D. StructType 스키마를 정의하고 spark.read.schema(predefinedSchema).json()을 사용하여 데이터를 로드합니다.

A. Spark DataFrames, 구조화된 스트리밍 및 GraphX

B. Spark SQL, Spark의 Pandas API 및 구조화된 스트리밍

C. Spark의 Spark Streaming, GraphX ​​및 Pandas API

D. Spark DataFrames, Spark SQL 및 MLlib

A. 각 실행기의 메모리가 브로드캐스트되는 DataFrame을 수용할 만큼 크지 않으면 작업이 실패할 수 있습니다.

B. 실행자가 브로드캐스트된 데이터 세트를 처리할 만큼 충분한 CPU 코어를 갖고 있지 않으면 작업이 실패할 수 있습니다.

C. Spark가 이렇게 큰 브로드캐스트 변수를 모든 실행자에게 배포하고 직렬화하는 데 어려움을 겪기 때문에 작업이 무기한 중단됩니다.

D. 드라이버에 대용량 DataFrame을 직렬화할 CPU 코어가 충분하지 않아 작업이 실패할 수 있습니다.

A. 완료

B. 추가

C. 바꾸기

D. 집계