설명
웹에서 찾은 정보에 따르면, 분할되지 않은 테이블에서 쿼리 및 조인을 수행하는 데 걸리는 시간을 최소화하기 위해 솔루션에 포함해야 하는 두 가지 옵션은 다음과 같습니다.
* Z-Ordering: 동일한 파일 집합에 관련 정보를 같은 위치에 배치하는 기술입니다. 이 공동 지역성은 데이터 건너뛰기 알고리즘에서 Delta Lake에 의해 자동으로 사용됩니다. 이 동작은 획기적으로 감소합니다.
* Azure Databricks의 Delta Lake가 읽어야 하는 데이터 양123.
* Apache Spark 캐싱: 더 빠른 액세스를 위해 메모리나 디스크에 데이터를 캐시할 수 있는 기능입니다. 캐싱은 동일한 데이터에 대한 반복 쿼리 및 조인의 성능을 향상시킬 수 있습니다. CACHE TABLE 또는 CACHE LAZY 명령을 사용하여 Delta 테이블을 캐시할 수 있습니다.
분할되지 않은 테이블에 대해 쿼리를 수행하고 Azure Databricks의 Delta Lake에 있는 분할되지 않은 열에 대한 조인을 수행하는 데 걸리는 시간을 최소화하려면 솔루션에 다음 옵션을 포함해야 합니다.
A: Z-Ordering: Z-Ordering은 동일한 물리적 파티션에서 동일한 열 값을 공유하는 데이터를 같은 위치에 배치하여 쿼리 성능을 향상시킵니다. 이렇게 하면 쿼리 실행 중에 노드 간에 데이터를 섞을 필요성이 줄어듭니다. Z-Ordering을 사용하면 전체 테이블 스캔을 방지하고 처리되는 데이터 양을 줄일 수 있습니다.
B: Apache Spark 캐싱: 메모리에 데이터를 캐싱하면 디스크에서 읽는 데이터 양이 줄어들어 쿼리 성능이 향상될 수 있습니다. 이는 동일한 데이터에 액세스해야 하는 후속 쿼리의 속도를 높이는 데 도움이 됩니다. 테이블을 캐시하면 데이터 소스에서 데이터를 읽어 메모리에 저장합니다. 후속 쿼리는 메모리에서 데이터를 읽을 수 있으며 이는 디스크에서 읽는 것보다 훨씬 빠릅니다.
참고자료:
* Databricks의 Delta Lake: https://docs.databricks.com/delta/index.html
* Delta Lake에 대한 모범 사례
데이터브릭스: https://databricks.com/blog/2020/05/14/best-practices-for-delta-lake-on-databricks.html

설명

상자 1: 판매 날짜
시나리오: 데이터 통합을 위한 Contoso 요구 사항은 다음과 같습니다.
판매 거래 기록이 포함된 데이터를 파티션합니다. 파티션은 월별로 효율적인 로드를 제공하도록 설계되어야 합니다. 경계 값은 오른쪽 파티션에 속해야 합니다.
상자 2: Azure Synapse Analytics 전용 SQL 풀
시나리오: 데이터 통합을 위한 Contoso 요구 사항은 다음과 같습니다.
데이터 스토리지 비용과 성능을 예측할 수 있는지 확인하십시오.
전용 SQL 풀(이전의 SQL DW)의 크기는 DWU(데이터 웨어하우징 단위)에 따라 결정됩니다.
전용 SQL 풀(이전의 SQL DW)은 열 형식 스토리지가 있는 관계형 테이블에 데이터를 저장합니다. 이 형식은 데이터 저장 비용을 크게 줄이고 쿼리 성능을 향상시킵니다.
Synapse 분석 전용 SQL 풀
참조:
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-overview-wha

참조:
https://docs.microsoft.com/en-us/sql/t-sql/statements/create-partition-function-transact-sql?view=sql-server-ver15

전용 클러스터의 이벤트 허브를 제외하고 생성 후에는 이벤트 허브의 파티션 수를 변경할 수 없습니다.
참조:
https://docs.microsoft.com/en-us/azure/event-hubs/event-hubs-features

참조:
https://docs.microsoft.com/en-us/sql/t-sql/statements/create-table-azure-sql-data-warehouse
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/best-practices-dedicated-sql-pool