A. 

B. 

C. 
{<디>}:

A. 검사 결과에 대한 자세한 로그를 외부 모니터링 도구로 전송하기 위한 사용자 정의 로직을 구현합니다.

B. Airflow XCom을 활용하여 검사 결과(성공/실패)를 다운스트림 작업과 공유하여 추가 처리를 수행합니다.

C. Airflow 웹 UI와 같은 Airflow의 기본 제공 메트릭 및 모니터링 기능을 활용하여 검사 실행 및 결과를 추적합니다.

D. 위의 모든 것

A. UDF는 엔진이 스키마를 자동으로 추론하는 능력을 제한합니다.

B. 주로 스키마 메타데이터에 대한 저장 요구 사항을 증가시킵니다.

C. UDF는 데이터 해석을 위한 사용자 정의 논리를 제공하여 스키마 추론을 향상시킬 수 있습니다.

D. 데이터 스키마를 미리 정의하여 스키마 추론의 필요성을 제거합니다.

A. Spark SQL을 사용하여 임시 테이블에 중간 결과 저장

B. rdd.cache()를 사용하여 Spark의 메모리 내 캐싱 기능 활용

C. 중간 데이터 관리를 위한 사용자 정의 데이터 구조 구현

D. 반복 작업에서 자주 액세스되는 데이터에 Spark의 브로드캐스트 변수 사용

A. SQL 쿼리에서 execution_date를 활용하여 최신 파티션을 타겟으로 지정합니다.

B. 품질 검사 작업에 depends_on_past=True 매개변수를 적용합니다.

C. 최신 파티션에 대한 데이터베이스를 쿼리하는 사용자 지정 PythonOperator를 구현합니다.