A. spark.read.parquet(filePath, mergeSchema='y')

B. spark.read.option("mergeSchema", "true").parquet(filePath)

C. spark.read.parquet(파일 경로)

D. 1.nx = 0
2. dbutils.fs.ls(filePath)의 파일:
3. file.name.endswith(".parquet")가 아닌 경우:
4. 계속
5. df_temp = spark.read.parquet(파일.경로)
6. nx == 0인 경우:
7. df = df_temp
8. 그렇지 않으면:
9. df = df.union(df_temp)
10. nx = nx+1
11.df

E. 1.nx = 0
2. dbutils.fs.ls(filePath)의 파일:
3. file.name.endswith(".parquet")가 아닌 경우:
4. 계속
5. df_temp = spark.read.parquet(파일.경로)
6. nx == 0인 경우:
7. df = df_temp
8. 그렇지 않으면:
9. df = df.join(df_temp, 방법="외부")
10. nx = nx+1
11.df

A. Spark는 예약된 시스템 메모리의 하위 집합을 사용합니다.

B. 스토리지 메모리는 DataFrames에서 파생된 캐싱 파티션에 사용됩니다.

C. 일반적으로 가비지 수집에 대한 규칙으로 Spark는 소수의 큰 개체보다 많은 작은 개체에서 더 나은 성능을 발휘합니다.

D. 직렬화를 비활성화하면 잠재적으로 Spark 애플리케이션의 메모리 사용량이 크게 줄어듭니다.

E. Spark의 메모리 사용량은 실행, 트랜잭션 및 스토리지의 세 가지 범주로 나눌 수 있습니다.

A. 열을 추가하는 데 사용되는 연산자는 predErrorAdded 열을 DataFrame에 추가하지 않습니다.

B. col("predError") 대신 transactionDf.predError와 같이 열이 있는 실제 DataFrame을 전달해야 합니다.

C. udf() 메서드는 반환 유형을 선언하지 않습니다.

D. UDF는 SQL API를 통해서만 사용할 수 있지만 코드 블록에 표시된 Python API에서는 사용할 수 없습니다.

E. Python 함수는 null 값을 처리할 수 없으므로 실행 시 코드 블록 충돌이 발생합니다.

A. array_remove(transactionsDf, "*")

B. transactionDf.unpersist()
(옳은)

C. del transactionDf

D. transactionDf.clearCache()

E. transactionDf.persist()

A. 셔플과 관련된 작업은 결코 느리게 평가되지 않습니다.

B. 셔플에는 단일 파티션만 포함됩니다.

C. 셔플은 "전체 변환"으로 알려진 클래스에 속합니다.

D. 셔플은 Spark의 많은 작업 중 하나입니다.

E. 셔플에서 Spark는 디스크에 데이터를 씁니다.