A. 행은 메타데이터와 파일 모두에서 삭제된 것으로 표시됩니다.

B. 델타는 취소된 모든 주문을 자동으로 영구 삭제합니다.

C. 삭제된 행을 제외하고 파일이 물리적으로 다시 작성됩니다.

D. 행은 파일이 아닌 메타데이터에 삭제된 것으로 표시됩니다.

A. 날짜 = spark.conf.get("날짜")

B. input_dict = input()
날짜 = input_dict["날짜"]

C. 시스템 가져오기
날짜 = sys.argv[1]

D. 날짜 = dbutils.notebooks.getParam("날짜")

E. dbutils.widgets.text("날짜", "null")
날짜 = dbutils.widgets.get("날짜")

A. 모든 레코드가 운영 데이터베이스에 캐시된 후 필터가 적용됩니다.

B. Parquet 파일의 바닥글을 스캔하여 위도 열의 최소값과 최대값 통계를 확인합니다.

C. 모든 레코드는 연결된 저장소에 캐시된 후 필터가 적용됩니다.

D. 델타 로그에서 위도 열의 최소값과 최대값 통계를 확인합니다.

E. Hive 메타스토어에서 위도 열의 최소값과 최대값 통계를 검색합니다.

A. 배치 작업은 accountID를 기본 키로 사용하여 enriched_itemized_orders_by_account 테이블을 업데이트하고, 현재 테이블 버전과 값이 다른 행만 교체합니다.

B. enriched_itemized_orders_by_account 테이블은 조인 로직에서 참조되는 세 테이블 각각의 현재 유효한 데이터 버전을 사용하여 덮어쓰여집니다.

C. 증분 작업은 상태 저장소의 정보를 활용하여 소스 테이블에서 결합되지 않은 행을 식별하고 이러한 행을 enriched_iteinized_orders_by_account 테이블에 기록합니다.

D. 증분 작업은 소스 테이블에 새 행이 기록되었는지 감지합니다. 새 행이 감지되면 모든 결과가 다시 계산되어 enriched_itemized_orders_by_account 테이블을 덮어쓰는 데 사용됩니다.

E. enriched_itemized_orders_by_account 쿼리가 실행되기 전까지는 계산이 수행되지 않습니다. 쿼리가 실행되면 조인 로직에 참조된 세 테이블 각각의 현재 유효한 데이터 버전을 사용하여 결과가 계산됩니다.

A. display()를 호출하면 작업이 강제로 트리거되지만, 많은 변환은 논리적 쿼리 계획에만 추가됩니다. 캐싱으로 인해 동일한 로직이 반복적으로 실행되면 의미 있는 결과를 얻을 수 없습니다.

B. 개발 노트북에서 코드 실행 시간을 의미 있게 문제 해결하는 유일한 방법은 프로덕션 규모의 데이터와 프로덕션 규모의 클러스터를 사용하여 "모두 실행" 모드로 실행하는 것입니다.

C. Scala는 인터랙티브 노트북을 사용하여 정확하게 테스트할 수 있는 유일한 언어입니다. Scala 코드를 JAR 파일로 컴파일하여 사용할 때 최상의 성능을 얻을 수 있기 때문입니다. 모든 PySpark 및 Spark SQL 로직은 리팩토링해야 합니다.

D. Photon은 예약된 작업을 위해 시작된 클러스터에서만 활성화할 수 있으므로, 증분 코드 개발 중에 노트북을 작업으로 실행하고 실행 시간을 추적하려면 Jobs UI를 활용해야 합니다.

E. 실제 운영 환경에서의 코드 개발은 반드시 IDE를 사용하여 수행해야 합니다. 오픈 소스 Spark 및 Delta Lake의 로컬 빌드 환경에서 코드를 실행하면 실제 운영 환경에서의 코드 성능을 가장 정확하게 예측할 수 있습니다.