A. model.predict(df, columns)

B. df.map(lambda x:model(x[columns])).select("customer_id, predictions")

C. df.select("customer_id", model(*columns).alias("predictions"))

D. df.apply(model, columns).select("customer_id, predictions")

E. df.select("customer_id", pandas_udf(model, columns).alias("predictions"))

A. 표준 Spark readStream을 사용하여 ("csv") 및 ("json") 형식으로 클라우드 스토리지에서 스트리밍

B. 처리된 파일을 추적하기 위한 매개변수가 포함된 COPY INTO SQL 명령

C. 예약된 Databricks 작업을 사용한 기존 배치 처리

D. 스키마 추론 및 진화 기능이 활성화된 자동 로더

A. MERGE INTO를 사용하여 각 pk_id에 대한 가장 최근 항목을 테이블에 삽입, 업데이트 또는 삭제한 다음 모든 변경 사항을 시스템 전체에 전파합니다.

B. Delta Lake의 변경 데이터 피드를 사용하여 외부 시스템의 CDC 데이터를 자동으로 처리하고 모든 변경 사항을 Lakehouse의 모든 종속 테이블에 전파합니다.

C. 테이블에 대한 일련의 변경 사항을 순서대로 반복하면서 각 변경 사항을 차례로 적용하여 테이블의 현재 상태(삽입, 업데이트, 삭제), 변경 타임스탬프 및 값을 생성합니다.

D. 각 배치에서 pk_id를 기준으로 중복 레코드를 제거하고 대상 테이블을 덮어씁니다.

A. reviews_raw 테이블에 대한 일괄 읽기를 수행하고, user_id, review_id, product_id, review_timestamp와 같은 자연 합성 키를 사용하여 삽입 전용 병합을 수행합니다.

B. reviews_raw 테이블에 대해 트리거 1회 실행 모드를 사용하여 구조화된 스트리밍 읽기를 구성하여 새 레코드를 배치 작업으로 처리합니다.

C. Delta Lake 버전 기록을 사용하여 reviews_raw의 최신 버전과 이전 버전 간의 차이점을 가져온 다음, 이러한 기록을 다음 테이블에 기록합니다.

D. reviews_raw 테이블의 모든 레코드를 review_timestamp를 기준으로 필터링하고, 지난 48시간 동안 생성된 레코드를 일괄적으로 추가합니다.

E. reviews_raw의 모든 레코드를 다시 처리하고 파이프라인의 다음 테이블을 덮어씁니다.

A. 작업 생성 및 실행 트리거에 REST API가 사용되었으므로 이러한 이벤트를 식별하기 위해 서비스 주체가 자동으로 사용됩니다.

B. 사용자 B가 마지막으로 작업을 구성했으므로, 작업 생성 이벤트와 작업 실행 이벤트 모두에 사용자 B의 ID가 연결됩니다.

C. 이러한 이벤트는 별도로 관리되므로 사용자 A는 작업 생성 이벤트와 관련된 ID를 갖게 되고, 사용자 B는 작업 실행 이벤트와 관련된 ID를 갖게 됩니다.

D. 작업 생성 및 실행 트리거에 REST API가 사용되었으므로 사용자 ID는 감사 로그에 기록되지 않습니다.

E. 사용자 A가 작업을 생성했으므로, 해당 사용자의 신원이 작업 생성 이벤트와 작업 실행 이벤트 모두와 연결됩니다.