참조:
https://docs.microsoft.com/en-us/azure/stream-analytics/stream-analytics-stream-analytics-query-patterns

설명
그래픽 사용자 인터페이스, 애플리케이션 설명이 자동으로 생성됨

시나리오: 여러 데이터 엔지니어가 수집 및 변환 활동에 대한 변경 사항을 버전 관리하고 독립적으로 개발할 수 있도록 하는 프로세스를 식별합니다.
1단계: 리포지토리 및 기본 분기 만들기
앱과 함께 Azure Pipelines, TFS 또는 GitHub에 Git 리포지토리가 필요합니다.
2단계: 기능 분기 생성
3단계: 풀 요청 생성
4단계: 변경사항 병합
풀 요청을 사용하여 기능 분기를 기본 분기에 병합합니다.
5단계: 변경사항 게시
참조:
https://docs.microsoft.com/en-us/azure/devops/pipelines/repos/pipeline-options-for-git

참조:
https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-partition

설명
Azure Data Factory에서 CI/CD(지속적인 통합 및 제공)는 Data Factory 파이프라인을 한 환경(개발, 테스트, 프로덕션)에서 다른 환경으로 이동하는 것을 의미합니다.
메모:
다음은 데이터 팩터리를 여러 환경에 자동으로 배포하는 Azure Pipelines 릴리스를 설정하기 위한 가이드입니다.
Azure DevOps에서 데이터 팩터리로 구성된 프로젝트를 엽니다.
페이지 왼쪽에서 파이프라인을 선택한 다음, 릴리스를 선택합니다.
새 파이프라인을 선택하거나, 기존 파이프라인이 있는 경우 새로 만들기를 선택한 다음 새 릴리스 파이프라인을 선택합니다.
단계 이름 상자에 환경 이름을 입력합니다.
아티팩트 추가를 선택한 다음, 개발 데이터 팩터리로 구성된 git 리포지토리를 선택합니다.
기본 분기에 대한 리포지토리의 게시 분기를 선택합니다. 기본적으로 이 게시 분기는 adf_publish입니다.
빈 작업 템플릿을 선택합니다.
참조:
https://docs.microsoft.com/en-us/azure/data-factory/continuous-integration-deployment
주제 1, Litware, Inc.
사례 연구
이것은 사례 연구입니다. 사례 연구는 별도로 시간이 정해지지 않습니다. 각 사례를 완료하고 싶은 만큼 시험 시간을 사용할 수 있습니다. 그러나 이 시험에는 추가적인 사례 연구와 섹션이 있을 수 있습니다. 주어진 시간 내에 이 시험에 포함된 모든 문제를 완료할 수 있도록 시간을 관리해야 합니다.
사례 연구에 포함된 질문에 답하려면 사례 연구에 제공된 정보를 참조해야 합니다. 사례 연구에는 사례 연구에 설명된 시나리오에 대한 자세한 정보를 제공하는 전시물과 기타 리소스가 포함될 수 있습니다. 각 질문은 이 사례 연구의 다른 질문과 독립적입니다.
이 사례 연구가 끝나면 검토 화면이 나타납니다. 이 화면에서는 시험의 다음 섹션으로 이동하기 전에 답변을 검토하고 변경할 수 있습니다. 새 섹션을 시작한 후에는 이 섹션으로 돌아갈 수 없습니다.
사례 연구를 시작하려면
이 사례 연구의 첫 번째 질문을 표시하려면 버튼을 클릭하세요. 질문에 답하기 전에 왼쪽 창에 있는 버튼을 사용하여 사례 연구의 내용을 살펴보세요. 이러한 버튼을 클릭하면 비즈니스 요구 사항, 기존 환경, 문제 설명 등의 정보가 표시됩니다. 사례 연구에 모든 정보 탭이 있는 경우 표시되는 정보는 후속 탭에 표시되는 정보와 동일합니다. 질문에 답할 준비가 되면 버튼을 클릭하여 질문으로 돌아가세요.
개요
Litware, Inc.는 미국 전역에 300개의 편의점을 소유 및 운영하고 있습니다. 이 회사는 다양한 포장 식품과 음료뿐만 아니라 샌드위치, 피자와 같은 다양한 조리 식품도 판매합니다.
Litware에는 회원이 결제 시 회원 번호를 제공하여 특정 품목에 대해 매일 할인을 받을 수 있는 로열티 클럽이 있습니다.
Litware는 Microsoft Power BI를 사용하여 데이터를 분석하는 것을 선호하는 비즈니스 분석가와 Azure Databricks 노트북에서 데이터를 분석하는 것을 선호하는 데이터 과학자를 고용합니다.
요구사항
사업 목표
Litware는 다음 요구 사항을 충족하기 위해 Azure에서 새로운 분석 환경을 만들고 싶어합니다.
매장 전체의 재고 수준을 확인하세요. 데이터는 최대한 실시간에 가깝게 업데이트되어야 합니다.
과거 데이터에 대한 임시 분석 쿼리를 실행하여 충성도 클럽 할인이 할인된 제품의 판매를 증가시키는지 여부를 확인합니다.
4시간마다 판매 데이터의 과거 수요를 기반으로 얼마나 많은 준비된 식품을 생산할지 매장 직원에게 알립니다.
기술 요구 사항
Litware는 다음과 같은 기술 요구 사항을 식별합니다.
비즈니스 목표를 달성하는 데 필요한 다양한 Azure 서비스 수를 최소화합니다.
가능하면 PaaS(Platform as a Service) 제품을 사용하고 Litware에서 관리해야 하는 가상 머신을 프로비저닝할 필요가 없도록 하세요.
분석 데이터 저장소는 회사의 온-프레미스 네트워크 및 Azure 서비스에서만 액세스할 수 있는지 확인하세요.
가능하면 Azure AD(Azure Active Directory) 인증을 사용하세요.
보안을 설계할 때 최소 권한 원칙을 사용하십시오.
분석 데이터 저장소에 데이터를 로드하기 전에 Azure Data Lake Storage Gen2에서 인벤토리 데이터를 준비합니다. Litware는 데이터가 더 이상 사용되지 않으면 Data Lake Storage에서 임시 데이터를 제거하려고 합니다.
수정된 날짜가 14일보다 오래된 파일은 제거해야 합니다.
전화번호와 같은 고객 연락처 정보에 대한 비즈니스 분석가의 접근을 제한하십시오. 이러한 유형의 데이터는 분석적으로 관련이 없기 때문입니다.
손상되거나 실수로 삭제된 경우 분석 데이터 저장소의 복사본을 1시간 이내에 신속하게 복원할 수 있는지 확인하십시오.
계획된 환경
Litware는 다음 환경을 구현할 계획입니다.
애플리케이션 개발 팀은 POS(Point of Sale) 시스템 및 출력에서 ​​매장 번호, 날짜, 시간, 제품 ID, 고객 충성도 번호, 가격 및 할인 금액을 포함한 실시간 판매 데이터를 수신하기 위해 Azure 이벤트 허브를 만듭니다. Azure의 데이터 저장소에 데이터를 저장합니다.
이름, 연락처 정보, 고객 번호를 포함한 고객 데이터는 SaaS 애플리케이션인 Salesforce에서 제공되며 8시간마다 한 번씩 Azure로 가져올 수 있습니다. 행 수정 날짜는 원본 테이블에서 신뢰할 수 없습니다.
제품 ID, 이름, 카테고리를 포함한 제품 데이터는 Salesforce에서 제공되며 8시간마다 한 번씩 Azure로 가져올 수 있습니다. 행 수정 날짜는 원본 테이블에서 신뢰할 수 없습니다.
일일 인벤토리 데이터는 개인 네트워크에 있는 Microsoft SQL 서버에서 가져옵니다.
Litware는 현재 5TB의 과거 판매 데이터와 100GB의 고객 데이터를 보유하고 있습니다. 회사는 내년에 매월 약 100GB의 새로운 데이터를 예상하고 있습니다.
Litware는 FoodPrep이라는 맞춤형 애플리케이션을 구축하여 매장 직원에게 4시간마다 생산할 준비된 식품 수에 대한 계산 결과를 제공합니다.
Litware는 Azure ExpressRoute 또는 온-프레미스 네트워크와 Azure 간의 VPN을 구현할 계획이 없습니다.

설명

상자 1: 복사 방법을 PolyBase로 설정합니다.
SQL 풀은 BCP 및 SQL BulkCopy API와 같은 비Polybase 옵션을 포함하여 다양한 로드 방법을 지원하지만 데이터를 로드하는 가장 빠르고 확장 가능한 방법은 PolyBase를 사용하는 것입니다. PolyBase는 T-SQL 언어를 통해 Azure Blob Storage 또는 Azure Data Lake Store에 저장된 외부 데이터에 액세스하는 기술입니다.
상자 2: 복사 방법을 대량 삽입으로 설정
텍스트 파일에는 Polybase를 사용할 수 없습니다. 대량 삽입을 사용해야 합니다.
참조:
https://docs.microsoft.com/en-us/azure/synapse-analytics/sql/load-data-overview