A. def transform_data(input_df):
# transformation logic here
return output_df
test_input = spark.createDataFrame([(1, " a " )], [ " id " , " value " ]) assertDataFrameEqual(transform_data(test_input), expected)

B. def upper_value(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
def filter_positive(df):
return df.filter(df[ " id " ] > 0)
pipeline_df = df.transform(upper_value).transform(filter_positive)

C. class Pipeline:
def transform(self, df):
return df.withColumn( " value_upper " , upper(col( " value " )))
pipeline = Pipeline()
assertDataFrameEqual(pipeline.transform(test_input), expected)

D. def upper_transform(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
actual = test_input.transform(upper_transform)
assertDataFrameEqual(actual, expected)

A. 쓰기 작업이 완료된 후 비동기 작업이 실행되어 파일을 추가로 압축할 수 있는지 확인합니다. 압축할 수 있는 경우 기본값인 1GB를 목표로 최적화 작업이 실행됩니다.

B. 작업 클러스터가 종료되기 전에 가장 최근 작업 중에 수정된 모든 테이블에 대해 최적화가 실행됩니다.

C. 최적화된 쓰기는 디렉터리 파티션 대신 논리 파티션을 사용합니다. 파티션 경계는 메타데이터에만 표현되므로 더 적은 수의 작은 파일이 기록됩니다.

D. 데이터는 메모리에 직접 커밋하는 대신 메시징 버스에 대기열에 저장됩니다. 작업이 완료되면 메시징 버스에 있는 모든 데이터가 한 번에 커밋됩니다.

E. 쓰기 작업이 완료된 후 비동기 작업이 실행되어 파일을 추가로 압축할 수 있는지 확인합니다. 압축할 수 있는 경우 기본값인 128MB를 목표로 최적화 작업이 실행됩니다.

A. 확장된 dev.pii 테스트에 대해 설명하세요

B. dev.pii 테스트 상세 설명

C. dev.pii 테스트의 TBL 속성 표시

D. 개발 이력 설명 dev.pii 테스트

E. 개발 테이블 표시

A. 18세 이상인 기록의 경우 모든 열이 정상적으로 표시되며, 이 조건을 충족하지 않는 기록은 생략됩니다.

B. 나이가 17세 이상인 기록의 경우 모든 열이 정상적으로 표시되며, 이 조건을 충족하지 않는 기록은 생략됩니다.

C. 18세 미만의 모든 연령 값은 null 값으로 반환됩니다. 나머지 열은 user_ltv의 값으로 반환됩니다.

D. 모든 열의 모든 레코드가 user_ltv의 값과 함께 표시됩니다.

A. 모든 센서의 평균 온도가 쿼리를 3회 연속 실행했을 때 120도를 초과했습니다.

B. recent_sensor_recordings 테이블이 쿼리를 세 번 연속 실행하는 동안 응답하지 않았습니다.

C. 소스 쿼리가 3분 동안 제대로 업데이트되지 않은 후 다시 시작되었습니다.

D. 하나 이상의 센서에서 기록된 최고 온도가 쿼리를 3회 연속 실행했을 때 120도를 초과했습니다.

E. 적어도 하나의 센서에서 기록된 평균 온도가 쿼리를 3회 연속 실행했을 때 120도를 초과했습니다.