설명

상자 1: 팀
LAG 분석 연산자를 사용하면 특정 제약 조건 내에서 이벤트 스트림에서 "이전" 이벤트를 조회할 수 있습니다. 변수의 성장률을 계산하고, 변수가 임계값을 넘을 때를 감지하거나, 조건이 참이 되기 시작하거나 참이 되지 않을 때를 감지하는 데 매우 유용합니다.
상자 2: 제한 기간
예: 센서당 성장률 계산:
센서 ID 선택,
성장 = 독서 -
LAG(판독) OVER(센서 ID 제한 기간(시간, 1)에 의한 파티션)
입력으로부터
참조:
https://docs.microsoft.com/en-us/stream-analytics-query/lag-azure-stream-analytics

설명
전용 SQL 풀
아파치 파켓

참조:
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-overview-what-is
주제 2, Litware, inc.
요구 사항
사업 목표
Litware는 다음 요구 사항을 충족하기 위해 Azure에서 새로운 분석 환경을 만들려고 합니다.
매장 전체의 재고 수준을 확인하세요. 데이터는 가능한 한 실시간에 가깝게 업데이트되어야 합니다.
과거 데이터에 대한 임시 분석 쿼리를 실행하여 로열티 클럽 할인이 할인된 제품 판매를 증가시키는지 확인합니다.
4시간마다 판매 데이터를 통해 과거 수요를 파악하여 얼마나 많은 조리식품을 생산해야 하는지 매장 직원에게 알립니다.
기술적 요구 사항
Litware는 다음과 같은 기술적 요구 사항을 식별합니다.
비즈니스 목표를 달성하는 데 필요한 다양한 Azure 서비스의 수를 최소화합니다.
가능하면 PaaS(Platform as a Service)를 사용하고 Litware에서 관리해야 하는 가상 머신을 프로비저닝하지 않도록 하세요.
분석 데이터 저장소에는 회사의 온프레미스 네트워크와 Azure 서비스에서만 액세스할 수 있는지 확인하세요.
가능하면 Azure Active Directory(Azure AD) 인증을 사용하세요.
보안을 설계할 때 최소 권한의 원칙을 사용하세요.
분석 데이터 저장소에 데이터를 로드하기 전에 Azure Data Lake Storage Gen2에서 Stage Inventory 데이터를 준비합니다. Litware는 데이터가 더 이상 사용되지 않으면 Data Lake Storage에서 일시적인 데이터를 제거하려고 합니다. 수정된 날짜가 14일보다 오래된 파일은 제거해야 합니다.
전화번호 등의 고객 연락처 정보에 대한 비즈니스 분석가의 접근을 제한합니다. 이러한 유형의 데이터는 분석적으로 관련성이 없습니다.
손상이나 실수로 삭제된 경우 분석 데이터 저장소의 사본을 1시간 내에 신속하게 복원할 수 있는지 확인하세요.
계획된 환경
Litware는 다음 환경을 구현할 계획입니다.
애플리케이션 개발팀은 매장 번호, 날짜, 시간, 제품 ID, 고객 충성도 번호, 가격, 할인 금액 등의 실시간 판매 데이터를 POS(판매 시점) 시스템에서 수신하고 해당 데이터를 Azure의 데이터 저장소에 출력하는 Azure 이벤트 허브를 만듭니다.
이름, 연락처 정보, 로열티 번호를 포함한 고객 데이터는 SaaS 애플리케이션인 Salesforce에서 제공되며 8시간마다 Azure로 가져올 수 있습니다. 행 수정 날짜는 소스 테이블에서 신뢰할 수 없습니다.
제품 ID, 이름, 카테고리를 포함한 제품 데이터는 Salesforce에서 제공되며 8시간마다 Azure로 가져올 수 있습니다. 행 수정 날짜는 소스 테이블에서 신뢰할 수 없습니다.
일일 재고 데이터는 개인 네트워크에 위치한 Microsoft SQL 서버에서 제공됩니다.
Litware는 현재 5TB의 과거 판매 데이터와 100GB의 고객 데이터를 보유하고 있습니다. 이 회사는 내년에 매달 약 100GB의 새로운 데이터를 기대합니다.
Litware는 FoodPrep이라는 맞춤형 애플리케이션을 구축하여 매장 직원에게 4시간마다 얼마나 많은 조리 식품을 생산해야 하는지에 대한 계산 결과를 제공할 것입니다.
Litware는 온프레미스 네트워크와 Azure 간에 Azure ExpressRoute나 VPN을 구현할 계획이 없습니다.

설명

박스 1: 보존자 계층
Blob 저장소의 플랫 네임스페이스와 비교할 때 계층적 네임스페이스는 디렉터리 관리 작업의 성능을 크게 향상시켜 전반적인 작업 성능을 개선합니다.
박스 2: 마루
Azure Data Factory Parquet 형식은 Azure Data Lake Storage Gen2에서 지원됩니다.
Parquet는 스키마 속성을 지원합니다.
참조:
https://docs.microsoft.com/en-us/azure/storage/blobs/data-lake-storage-introduction
https://docs.microsoft.com/en-us/azure/data-factory/format-parquet

참조:
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-tables-distribute
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-tables-index