설명:

대용량 데이터 파일(각 500GB)을 높은 처리량으로 Lakehouse1에 효율적으로 수집하고 새 파일이 추가될 때 프로세스를 트리거하려면 데이터 파이프라인이 가장 적합한 솔루션입니다. Fabric의 데이터 파이프라인은 데이터 이동을 조율하는 데 이상적이며, 파일 도착 또는 기타 이벤트에 따라 자동으로 트리거되도록 구성할 수 있습니다. 이 솔루션은 데이터 복사만 하면 되므로 변환 없이 데이터를 수집하고 새 파일이 추가될 때 프로세스를 트리거하는 두 가지 요구 사항을 모두 충족합니다.
주제 1, Litware, Inc
개요
이 시험은 사례 연구입니다. 사례 연구는 별도의 시간 제한이 없습니다. 각 사례를 완료하는 데 필요한 시험 시간은 원하는 만큼 사용할 수 있습니다. 단, 이 시험에는 추가 사례 연구와 섹션이 포함될 수 있습니다. 정해진 시간 내에 시험에 포함된 모든 문제를 완료할 수 있도록 시간을 효율적으로 관리해야 합니다.
사례 연구에 포함된 질문에 답하려면 사례 연구에 제공된 정보를 참조해야 합니다. 사례 연구에는 사례 연구에 설명된 시나리오에 대한 추가 정보를 제공하는 전시 및 기타 자료가 포함될 수 있습니다. 각 질문은 이 사례 연구의 다른 질문과 독립적입니다.
이 사례 연구가 끝나면 복습 화면이 나타납니다. 이 화면에서 답을 검토하고 다음 섹션으로 넘어가기 전에 수정할 수 있습니다. 새 섹션을 시작한 후에는 이 섹션으로 돌아갈 수 없습니다.
사례 연구를 시작하려면
이 사례 연구의 첫 번째 질문을 표시하려면 '다음' 버튼을 클릭하세요. 왼쪽 창의 버튼을 사용하여 질문에 답하기 전에 사례 연구 내용을 살펴보세요. 이 버튼을 클릭하면 비즈니스 요구 사항, 기존 환경, 문제 설명 등의 정보가 표시됩니다. 사례 연구에 '모든 정보' 탭이 있는 경우, 표시되는 정보는 이후 탭에 표시되는 정보와 동일합니다. 질문에 답할 준비가 되면 '질문' 버튼을 클릭하여 해당 질문으로 돌아가세요.
개요
Litware, Inc.는 전 세계에 온라인 서점과 여러 개의 오프라인 서점을 운영하는 출판사입니다. Litware는 또한 소속 작가들을 위한 온라인 광고 사업도 운영하고 있습니다.
기존 환경. 패브릭 환경
Litware에는 Workspace1이라는 Fabric 작업 공간이 있습니다. Workspace1에는 높은 동시성이 활성화되어 있습니다.
해당 회사에는 Python을 사용하여 데이터를 처리하는 데이터 엔지니어링 팀이 있습니다.
기존 환경. 데이터 처리
소매 서점은 각 영업일이 끝날 때마다 판매 데이터를 보내는 반면, 온라인 서점은 지속적으로 중앙의 기업 자원 계획(ERP) 시스템에 로그와 판매 데이터를 제공합니다.
Litware는 브론즈, 실버, 골드의 세 가지 레이어를 사용하여 메달리온 아키텍처를 구현합니다. 판매 데이터는 ERP 시스템에서 Parquet 파일로 수집되어 레이크하우스의 파일 폴더에 저장됩니다. 노트북을 사용하여 브론즈 및 실버 레이어의 파일을 델타 테이블로 변환합니다. 골드 레이어는 V-Order가 비활성화된 창고에 있습니다.
Litware는 Azure Blob Storage에 책 표지 이미지 파일을 보관합니다. 파일은 Files 폴더에 로드됩니다.
기존 환경. 판매 데이터
월말 판매 데이터는 매월 1일에 처리됩니다. 한 달 이상 지난 데이터는 변경되지 않습니다.
소스 시스템에서 판매 데이터는 매일 자정부터 6시간마다 새로 고쳐집니다.
판매 데이터는 Dataflow Gen1 데이터 흐름에서 캡처됩니다. 데이터 흐름이 실행되면 새 데이터와 이전 데이터가 캡처됩니다. 데이터 흐름은 소스의 다음 필드를 캡처합니다.
AuthorSales라는 테이블에는 각 저자와 관련된 판매 데이터가 저장됩니다. 이 테이블에는 AuthorEmail이라는 열이 있습니다. 저자는 이메일 주소를 사용하여 게스트 Fabric 테넌트에 인증합니다.
기존 환경. 보안 그룹
Litware에는 다음과 같은 보안 그룹이 있습니다.
기존 환경. 성능 문제
비즈니스 사용자가 웨어하우스에 대해 임시 쿼리를 수행합니다. 비즈니스 사용자는 웨어하우스에 대한 보고서가 두 시간 동안 실행되다가 예상대로 로드되지 않는 경우가 있다고 지적합니다. 추가 조사 결과, 데이터 엔지니어링 팀은 보고서 로드에 실패할 때 다음과 같은 오류 메시지를 받았습니다. "SQL 쿼리가 실행 중 실패했습니다." 데이터 엔지니어링 팀은 문제를 디버깅하고 두 개 이상의 실패를 유발하는 쿼리를 찾고자 합니다.
저자들이 신간을 출간하면 판매 활동이 증가하는 경우가 많습니다. 이러한 증가는 데이터 수집 프로세스의 속도를 저하시킵니다.
이 회사의 영업팀은 지난달 아침 출근 시 판매 데이터가 최신이 아니었다고 보고했습니다.
요구 사항. 계획된 변경 사항
Litware는 최근 서평 수신 계약을 체결했습니다. 서평 제공자는 Amazon Simple Storage Service(Amazon S3) 버킷에 데이터를 공개합니다.
Litware는 작성자를 위한 검색 엔진 최적화(SEO)를 관리할 계획입니다. SEO 데이터는 REST API를 통해 스트리밍됩니다.
요구사항. 버전 관리
Litware는 GitHub 통합을 활용하고 최소 권한 원칙을 따르는 Fabric에서 버전 제어 솔루션을 구현할 계획입니다.
요구 사항. 거버넌스 요구 사항
데이터 플랫폼 비용을 관리하려면 데이터 플랫폼에서 Fabric 서비스 및 항목만 사용해야 합니다. 추가 Azure 리소스는 프로비저닝해서는 안 됩니다.
요구 사항. 데이터 요구 사항
Litware는 다음과 같은 데이터 요구 사항을 식별합니다.

판매 데이터 문제는 데이터 흐름에 대해 증분식 새로 고침을 구성하여 해결할 수 있습니다. 증분식 새로 고침을 사용하면 새 데이터나 변경된 데이터만 처리되므로 전송되는 데이터 양이 최소화되고 성능이 향상됩니다.
이 솔루션은 한 달 이상 지난 데이터는 변경되지 않도록 명시하고 있으므로, 새로 고침 주기를 1개월로 설정하는 것이 적합합니다. 이렇게 하면 가장 최근 한 달의 데이터만 새로 고쳐지므로 불필요한 데이터 전송이 줄어듭니다.
주제 2, Contoso, Ltd 사례 연구
이 시험은 사례 연구입니다. 사례 연구는 별도의 시간 제한이 없습니다. 각 사례를 완료하는 데 필요한 시험 시간은 원하는 만큼 사용할 수 있습니다. 단, 이 시험에는 추가 사례 연구와 섹션이 포함될 수 있습니다. 정해진 시간 내에 시험에 포함된 모든 문제를 완료할 수 있도록 시간을 효율적으로 관리해야 합니다.
사례 연구에 포함된 질문에 답하려면 사례 연구에 제공된 정보를 참조해야 합니다. 사례 연구에는 사례 연구에 설명된 시나리오에 대한 추가 정보를 제공하는 전시 및 기타 자료가 포함될 수 있습니다. 각 질문은 이 사례 연구의 다른 질문과 독립적입니다.
이 사례 연구가 끝나면 복습 화면이 나타납니다. 이 화면에서 답을 검토하고 다음 섹션으로 넘어가기 전에 수정할 수 있습니다. 새 섹션을 시작한 후에는 이 섹션으로 돌아갈 수 없습니다.
사례 연구를 시작하려면
이 사례 연구의 첫 번째 질문을 표시하려면 '다음' 버튼을 클릭하세요. 왼쪽 창의 버튼을 사용하여 질문에 답하기 전에 사례 연구 내용을 살펴보세요. 이 버튼을 클릭하면 비즈니스 요구 사항, 기존 환경, 문제 설명 등의 정보가 표시됩니다. 사례 연구에 '모든 정보' 탭이 있는 경우, 표시되는 정보는 이후 탭에 표시되는 정보와 동일합니다. 질문에 답할 준비가 되면 '질문' 버튼을 클릭하여 해당 질문으로 돌아가세요.
개요. 회사 개요
Contoso, Ltd.는 Fabric으로 전환하여 분석 플랫폼을 현대화하고자 하는 온라인 소매 회사입니다.
이 회사는 마케팅 분석에 Fabric을 사용할 계획이다.
개요. IT 구조
이 회사의 IT 부서에는 분석 시스템을 사용하는 데이터 분석가 팀과 데이터 엔지니어 팀이 있습니다.
데이터 엔지니어는 데이터 수집, 변환, 로딩을 담당합니다. 데이터 변환에는 Python이나 SQL을 사용하는 것을 선호합니다.
데이터 분석가는 데이터를 쿼리하고 시맨틱 모델과 보고서를 작성합니다. 또한 Power Query와 T-SQL을 사용하여 쿼리를 작성할 수 있는 자격을 갖추고 있습니다.
기존 환경. 패브릭
Contoso에는 Cap1이라는 F64 용량이 있습니다. 모든 Fabric 사용자는 항목을 생성할 수 있습니다.
Contoso에는 WorkspaceA와 WorkspaceB라는 두 개의 작업 공간이 있으며 현재 Pro 라이선스 모드를 사용하고 있습니다.
기존 환경. 소스 시스템
Contoso는 Fabric과 동일한 Microsoft Entra 테넌트에 있는 Azure Virtual Machines에서 SQL Server 인스턴스를 사용하는 POS1이라는 POS 시스템을 보유하고 있습니다. 호스트 가상 머신은 공개 액세스가 차단된 사설 가상 네트워크에 있습니다. POS1에는 회사 웹사이트에서 처리된 모든 판매 거래가 저장됩니다.
이 회사는 MAR1이라는 SaaS(Software as a Service) 온라인 마케팅 앱을 운영하고 있습니다. MAR1에는 7개의 엔터티가 있습니다. 각 엔터티에는 이메일 오픈율, 상호작용율, 웹사이트 상호작용 관련 데이터가 포함되어 있습니다. REST API를 호출하여 MAR1에서 데이터를 내보낼 수 있습니다. 각 엔터티는 서로 다른 엔드포인트를 갖습니다.
Contoso는 1년 동안 MAR1을 사용해 왔습니다. 이전 연도의 데이터는 Amazon Simple Storage Service(Amazon S3) 버킷의 Parquet 파일에 저장됩니다. 300MB에서 900MB 크기의 12개 파일로 구성되어 있으며, 이메일 상호작용과 관련이 있습니다.
기존 환경. 제품 데이터
POS1에는 제품 목록과 관련 데이터가 포함되어 있습니다. 데이터는 다음 세 테이블에서 제공됩니다.
제품
제품 카테고리
제품 하위 카테고리
데이터에서 제품은 제품 하위 범주와 관련이 있으며, 하위 범주는 제품 범주와 관련이 있습니다.
기존 환경. Azure
Contoso에는 다음과 같은 메일 사용 가능 보안 그룹이 있는 Microsoft Entra 테넌트가 있습니다.
DataAnalysts: 데이터 분석가를 포함합니다
DataEngineers: 데이터 엔지니어를 포함합니다
Contoso에는 Azure 구독이 있습니다.
이 회사는 기존 Azure DevOps 조직을 보유하고 있으며 Fabric과 관련된 저장소에 대한 새 프로젝트를 만듭니다.
기존 환경. 사용자 문제
Contoso의 마케팅 부사장은 다양한 유형의 이메일 콘텐츠 효과에 대한 분석을 요구합니다. 일반적으로 데이터를 수동으로 수집하고 분석하는 데 일주일이 걸립니다. Contoso는 Fabric을 사용하여 이 시간을 하루 이내로 단축하고자 합니다.
데이터 엔지니어링 팀이 MAR1에서 데이터를 성공적으로 내보냈습니다. 하지만 팀에서 일시적인 연결 오류가 발생하여 데이터 내보내기가 실패했습니다.
요구 사항. 계획된 변경 사항
Contoso는 다음 두 개의 호숫가 주택을 건설할 계획입니다.
Lakehouse1: 소스의 원시 데이터와 정리된 데이터를 모두 저장합니다.
Lakehouse2: 분석 쿼리를 위해 차원 모델로 데이터를 사용자에게 제공합니다. 데이터 수집 및 변환을 용이하게 하기 위해 추가 항목이 추가됩니다.
Contoso는 Fabric의 소스 제어에 Azure Repos를 사용할 계획입니다.
요구사항. 기술 요구사항
새로운 레이크하우스는 청동, 은, 금의 세 가지 레이어를 사용하는 메달리온 아키텍처를 따라야 합니다. 은 레이어에 MAR1 데이터를 입력하려면 중복 제거, 결측값 처리, 대문자 표준화를 포함한 광범위한 데이터 정리 작업이 필요합니다.
각 레이어는 다음 레이어로 이동하기 전에 완전히 채워져야 합니다. 레이크하우스 채우기 단계 중 어느 하나라도 실패하면 데이터 엔지니어에게 이메일을 보내야 합니다.
가능하면 데이터 가져오기를 동시에 실행해야 합니다.
Amazon S3 버킷의 이메일 데이터를 사용하려면 다음 요구 사항을 충족해야 합니다.
클라우드 간 데이터 액세스와 관련된 유출 비용을 최소화합니다.
원시 데이터 사본을 레이크하우스에 저장하는 것을 방지합니다.
데이터 수집과 관련된 항목은 다음 요구 사항을 충족해야 합니다.
해당 항목은 다른 작업 공간 항목과 함께 소스 제어되어야 합니다.
수집된 데이터는 Delta 형식으로 Lakehouse1의 청동 레이어에 저장되어야 합니다.
데이터가 청동 레이어에 저장되기 전에 파일 형식을 변경하는 것 외에는 다른 변경 사항을 구현해서는 안 됩니다.
개발에 드는 노력을 최소화해야 하며, 소스 데이터를 가져오기 위해 내장된 연결을 사용해야 합니다.
연결 오류가 발생하는 경우 수집 프로세스는 다시 연결을 시도해야 합니다.
레이크하우스, 데이터 파이프라인 및 노트북은 WorkspaceA에 저장해야 합니다. 시맨틱 모델, 보고서 및 데이터 흐름은 WorkspaceB에 저장해야 합니다.
일주일에 한 번, Delta 테이블 로그에서 더 이상 참조되지 않는 오래된 파일을 제거해야 합니다.
요구 사항. 데이터 변환
POS1 제품 데이터에서 ProductID 값은 고유합니다. 골드 레이어의 제품 차원에는 제품 목록에서 활성 제품만 포함되어야 합니다. 활성 제품은 IsActive 값 1로 식별됩니다.
일부 제품 범주 및 하위 범주는 어떤 제품에도 할당되지 않습니다. 이러한 범주는 분석적으로 관련성이 없으므로 골드 레이어의 제품 차원에서 제외해야 합니다.
요구 사항. 데이터 보안
Fabric의 보안은 다음 요구 사항을 충족해야 합니다.
데이터 엔지니어는 기본 파일을 포함하여 모든 레이크하우스에 대한 읽기 및 쓰기 액세스 권한이 있어야 합니다.
데이터 분석가는 골드 레이어의 델타 테이블에 대한 읽기 액세스 권한만 가져야 합니다.
데이터 분석가는 청동 및 실버 레이어의 데이터에 액세스할 수 없습니다.
데이터 엔지니어는 WorkspaceA에서 소스 제어에 대한 변경 사항을 커밋할 수 있어야 합니다.

Azure DevOps를 Fabric(Workspace1)과 통합할 때 권장되는 인증 방법은 서비스 주체를 사용하는 것입니다. 서비스 주체는 애플리케이션(예: Azure DevOps 파이프라인)이 리소스를 안전하게 인증하고 상호 작용할 수 있는 방법을 제공합니다. Azure DevOps는 이를 통해 사용자 자격 증명을 직접 요구하지 않고도 Fabric에 대한 API 호출을 인증할 수 있습니다. 이 방법은 Fabric 배포 파이프라인을 통해 항목을 배포하는 등의 작업을 자동화하는 데 이상적입니다.