데이터를 ORC 파일 형식으로 내보낼 때 큰 텍스트 열이 있으면 Java 메모리 부족 오류가 발생할 수 있습니다. 이 제한 사항을 해결하려면 열의 하위 집합만 내보냅니다.
참조:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/guidance-for-loading-data

참조:
https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-tumbling-window-trigger

Data Factory에서 지원하지 않는 방식으로 데이터를 변환해야 하는 경우 고유한 데이터 처리 논리를 사용하여 매핑 흐름5이 아닌 사용자 지정 활동을 만들고 파이프라인에서 활동을 사용할 수 있습니다. R이 설치된 HDInsight 클러스터에서 R 스크립트를 실행하는 사용자 지정 활동을 만들 수 있습니다.
참조:
https://docs.microsoft.com/en-US/azure/data-factory/transform-data

참조:
https://docs.microsoft.com/en-us/azure/storage/blobs/storage-blob-storage-tiers
https://azure.microsoft.com/en-us/updates/reduce-data-movement-and-make-your-queries-more-efficient-with-the-general-availability-of-replicated-tables/
https://azure.microsoft.com/en-us/blog/replicated-tables-now-generally-available-in-azure-sql-data-warehouse/

참조:
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/sql-data-warehouse-overview-what-is
주제 2, Litware, Inc.
요구 사항
사업 목표
Litware는 다음 요구 사항을 충족하기 위해 Azure에서 새로운 분석 환경을 만들려고 합니다.
매장 전체의 재고 수준을 확인하세요. 데이터는 가능한 한 실시간에 가깝게 업데이트되어야 합니다.
과거 데이터에 대한 임시 분석 쿼리를 실행하여 로열티 클럽 할인이 할인된 제품의 판매를 증가시키는지 여부를 식별합니다.
매 4시간마다 매장 직원에게 판매 데이터의 과거 수요를 기반으로 얼마나 많은 준비된 식품 품목을 생산해야 하는지 알립니다.
기술 요구 사항
Litware는 다음과 같은 기술 요구 사항을 식별합니다.
비즈니스 목표를 달성하는 데 필요한 다양한 Azure 서비스의 수를 최소화합니다.
가능하면 PaaS(Platform as a Service) 제품을 사용하고 Litware에서 관리해야 하는 가상 머신을 프로비저닝하지 않아도 됩니다.
회사의 온-프레미스 네트워크 및 Azure 서비스에서만 분석 데이터 저장소에 액세스할 수 있는지 확인합니다.
가능하면 Azure AD(Azure Active Directory) 인증을 사용합니다.
보안을 설계할 때 최소 권한 원칙을 사용하십시오.
데이터를 분석 데이터 저장소에 로드하기 전에 Azure Data Lake Storage Gen2에서 인벤토리 데이터를 준비합니다. Litware는 데이터가 더 이상 사용되지 않으면 Data Lake Storage에서 임시 데이터를 제거하려고 합니다. 수정 날짜가 14일보다 오래된 파일은 제거해야 합니다.
전화번호와 같은 고객 연락처 정보에 대한 비즈니스 분석가의 액세스를 제한하십시오. 이러한 유형의 데이터는 분석적으로 관련이 없기 때문입니다.
손상되거나 실수로 삭제된 경우 1시간 이내에 분석 데이터 저장소의 복사본을 신속하게 복원할 수 있는지 확인하십시오.
계획된 환경
Litware는 다음 환경을 구현할 계획입니다.
애플리케이션 개발 팀은 POS(Point of Sale) 시스템 및 출력에서 ​​매장 번호, 날짜, 시간, 제품 ID, 고객 충성도 번호, 가격 및 할인 금액을 포함한 실시간 판매 데이터를 수신하기 위해 Azure 이벤트 허브를 생성합니다. 데이터를 Azure의 데이터 스토리지로.
이름, 연락처 정보 및 로열티 번호를 포함한 고객 데이터는 SaaS 애플리케이션인 Salesforce에서 가져오며 8시간마다 한 번씩 Azure로 가져올 수 있습니다. 행 수정 날짜는 원본 테이블에서 신뢰할 수 없습니다.
제품 ID, 이름 및 범주를 포함한 제품 데이터는 Salesforce에서 가져오며 8시간마다 한 번씩 Azure로 가져올 수 있습니다. 행 수정 날짜는 원본 테이블에서 신뢰할 수 없습니다.
일별 인벤토리 데이터는 개인 네트워크에 있는 Microsoft SQL 서버에서 가져옵니다.
Litware는 현재 5TB의 과거 판매 데이터와 100GB의 고객 데이터를 보유하고 있습니다. 회사는 내년에 매월 약 100GB의 새로운 데이터를 예상합니다.
Litware는 FoodPrep이라는 사용자 지정 응용 프로그램을 구축하여 매장 직원에게 4시간마다 생산할 준비된 식품 항목 수의 계산 결과를 제공합니다.
Litware는 온-프레미스 네트워크와 Azure 간에 Azure ExpressRoute 또는 VPN을 구현할 계획이 없습니다.