A. class Pipeline:
def transform(self, df):
return df.withColumn( " value_upper " , upper(col( " value " )))
pipeline = Pipeline()
assertDataFrameEqual(pipeline.transform(test_input), expected)

B. def upper_value(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
def filter_positive(df):
return df.filter(df[ " id " ] > 0)
pipeline_df = df.transform(upper_value).transform(filter_positive)

C. def upper_transform(df):
return df.withColumn( " value_upper " , upper(col( " value " )))
actual = test_input.transform(upper_transform)
assertDataFrameEqual(actual, expected)

D. def transform_data(input_df):
# transformation logic here
return output_df
test_input = spark.createDataFrame([(1, " a " )], [ " id " , " value " ]) assertDataFrameEqual(transform_data(test_input), expected)

A. 프로덕션 데이터에 대한 접근은 항상 패스스루 자격 증명을 사용하여 검증되므로 모든 Databricks 개발 환경에 데이터를 마운트하는 것이 안전합니다.

B. 모든 개발, 테스트 및 프로덕션 코드와 데이터는 단일 통합 작업 공간에 존재해야 합니다. 테스트와 개발을 위한 별도의 환경을 구축하면 위험을 더욱 줄일 수 있습니다.

C. 대화형 코드가 실행되는 환경에서는 프로덕션 데이터에 대해 읽기 권한만으로 접근할 수 있어야 하며, 각 환경별로 격리된 데이터베이스를 생성하면 위험을 더욱 줄일 수 있습니다.

D. Delta Lake는 모든 데이터를 버전 관리하고 타임 트래블을 지원하기 때문에 사용자 오류나 악의적인 공격자가 프로덕션 데이터를 영구적으로 삭제하는 것이 불가능합니다. 따라서 프로덕션 데이터를 어디에든 마운트해도 일반적으로 안전합니다.

A. orders 테이블에 기록되는 각 항목은 고유한 레코드만 포함하며, 대상 테이블에 중복되지 않는 레코드만 기록됩니다.

B. orders 테이블에 기록되는 각 항목에는 고유한 레코드만 포함되지만, 새로 기록되는 레코드에는 대상 테이블에 이미 존재하는 중복 레코드가 포함될 수 있습니다.

C. orders 테이블에 대한 각 쓰기 작업에는 고유한 레코드만 포함됩니다. 대상 테이블에 동일한 키를 가진 기존 레코드가 있는 경우 해당 레코드는 덮어쓰여집니다.

D. orders 테이블에 대한 각 쓰기 작업에는 고유한 레코드만 포함됩니다. 대상 테이블에 동일한 키를 가진 기존 레코드가 있는 경우 작업이 지연됩니다.

E. 주문 테이블에 데이터를 기록할 때마다 새 레코드와 기존 레코드의 합집합에 대해 중복 제거가 실행되어 중복 레코드가 발생하지 않도록 합니다.

A. 코어 대비 메모리 비율이 더 높은 컴퓨팅 인스턴스를 선택하십시오.

B. 디스크 공간이 더 많은 컴퓨팅 인스턴스를 선택하세요.

C. spark.sql.files.maxPartitionBytes 값을 늘립니다.

D. spark.sql.files.maxPartitionBytes 값을 줄입니다.

E. 네트워크 대역폭이 더 높은 컴퓨팅 인스턴스를 선택하세요.

A. 레이크하우스의 뷰는 소스 테이블의 최신 버전에 대한 유효한 캐시를 항상 유지합니다.

B. Delta Lake는 각 테이블의 처음 32개 열에 대한 통계를 자동으로 수집하며, 이는 쿼리 필터에 따라 데이터 건너뛰기에 활용됩니다.

C. Z-ORDER는 Delta Lake 테이블에 저장된 숫자 값에만 적용할 수 있습니다.

D. 기본 키 및 외래 키 제약 조건을 활용하여 차원 테이블에 중복 값이 ​​입력되지 않도록 할 수 있습니다.