주제 1, Contoso
거래일
Contoso는 여러 온-프레미스 Microsoft SQL Server 서버에 저장된 100억 개의 레코드로 구성된 3년간의 고객, 트랜잭션, 운영, 소싱 및 공급업체 데이터를 보유하고 있습니다. SQL Server 인스턴스에는 다양한 운영 체제의 데이터가 포함되어 있습니다. 데이터는 SSIS(SQL Server Integration Services) 패키지를 사용하여 인스턴스에 로드됩니다.
모든 제품 판매 트랜잭션을 회사 전체의 판매 트랜잭션 데이터 세트로 결합하면 트랜잭션당 하나의 행이 있는 50억 개의 행이 포함된 단일 테이블이 생성될 것으로 예상합니다.
판매 거래 데이터를 대상으로 하는 대부분의 쿼리는 소매점에서 판매된 제품과 다른 기간 동안 온라인에서 판매된 제품을 식별하는 데 사용됩니다. 3년이 지난 판매 거래 데이터는 매월 제거됩니다.
각 소매점의 주소를 포함할 소매점 테이블을 생성할 계획입니다. 테이블은 약 2MB입니다. 소매점 판매 쿼리에는 소매점 주소가 포함됩니다.
판촉 ID를 포함할 판촉 테이블을 작성할 계획입니다. 프로모션 ID는 특정 제품에 연결됩니다. 제품은 제품 ID로 식별됩니다. 테이블은 약 5GB입니다.
트위터 데이터 스트리밍
Contoso의 전자 상거래 부서는 회사 제품을 참조하는 트렌드 Twitter 피드를 캡처하고 제품을 Azure Event Hubs로 푸시하는 Azure 논리 앱을 개발합니다.
계획된 변경
Contoso는 다음 변경 사항을 구현할 계획입니다.
* Azure Synapse Analytics에 판매 거래 데이터 세트를 로드합니다.
* SSIS 패키지를 사용하여 온-프레미스 데이터 저장소를 Azure Synapse Analytics와 통합합니다.
* Azure Synapse Analytics를 사용하여 Twitter 피드를 분석하여 제품에 대한 고객 감정을 평가합니다.
판매 거래 데이터 세트 요구 사항
Contoso는 판매 거래 데이터 세트에 대해 다음 요구 사항을 식별합니다.
* 판매 거래 기록이 포함된 파티션 데이터. 파티션은 월별로 효율적인 로드를 제공하도록 설계되어야 합니다. 경계 값은 오른쪽 파티션에 속해야 합니다.
* 제품 ID를 기반으로 판매 거래 기록을 결합하고 필터링하는 쿼리가 최대한 빨리 완료되도록 합니다.
* 소매점 주소 변경 사항을 설명하기 위해 대리 키를 구현합니다.
* 데이터 저장 비용과 성능이 예측 가능한지 확인합니다.
* 오래된 레코드를 제거하는 데 걸리는 시간을 최소화합니다.
고객 감정 분석 요구 사항
Contoso는 고객 감정 분석에 대한 다음 요구 사항을 식별합니다.
* Contoso 사용자가 A/ure Synapse Analytics 전용 SQL 풀에서 PolyBase를 사용하여 Twitter 피드를 호스팅하는 데이터 레코드의 콘텐츠를 쿼리하도록 허용합니다. RLS(행 수준 보안)를 사용하여 데이터를 보호해야 합니다. 사용자는 자신의 A/ureAD 자격 증명을 사용하여 인증되어야 합니다.
* 추가 처리량 또는 용량 단위를 구매하지 않고도 Event Hubs에서 Azure Storage로 Twitter 피드 수집 처리량을 최대화합니다.
* Event Hubs 캡처를 사용하여 Azure Storage에 Twitter 피드를 저장합니다. 피드는 Parquet 파일로 변환됩니다.
* 데이터 저장소가 개체 수준까지 Azure AD 기반 액세스 제어를 지원하는지 확인합니다.
* Twitter 피드 데이터 기록을 유지하기 위한 관리 노력을 최소화합니다.
* Purge Twitter 피드 데이터 기록, itftaitJ는 2년 이상 경과했습니다.
데이터 통합 요구 사항
Contoso는 데이터 통합에 대한 다음 요구 사항을 식별합니다.
기존 SSIS 패키지를 활용하는 Azure 서비스를 사용하여 온-프레미스 데이터를 Azure Synaps Analytics의 전용 SQL 풀에 저장된 데이터 세트로 수집하고 데이터를 변환합니다.
수집 및 변환 활동에 대한 변경 사항을 여러 데이터 엔지니어가 독립적으로 버전 제어하고 개발할 수 있도록 하는 프로세스를 식별합니다.

Azure SQL Database는 현재 Microsoft 관리 서비스 쪽 및 클라이언트 쪽 암호화 시나리오에 대해 저장 데이터 암호화를 지원합니다.
서버 암호화 지원은 현재 투명 데이터 암호화라는 SQL 기능을 통해 제공됩니다.
Azure SQL Database 데이터의 클라이언트 쪽 암호화는 상시 암호화 기능을 통해 지원됩니다.
참조:
https://docs.microsoft.com/en-us/azure/security/fundamentals/encryption-atrest

참조:
https://docs.microsoft.com/en-us/sql/t-sql/statements/create-table-azure-sql-data-warehouse?

설명
모든 파일 형식은 성능 특성이 다릅니다. 가장 빠른 로드를 위해 구분된 압축 텍스트 파일을 사용하십시오.
참조:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/guidance-for-loading-data

참조:
https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-introduction
https://docs.microsoft.com/en-us/azure/data-factory/format-parquet