B: regenerate_outputs가 True로 설정된 경우, 새로운 제출은 항상 모든 단계 출력의 생성을 강제하고, 이 실행의 모든 ​​단계에 대한 데이터 재사용을 허용하지 않습니다. 그러나 이 실행이 완료되면 후속 실행은 이 실행의 결과를 재사용할 수 있습니다.
C: 파이프라인 단계, 입/출력 데이터 및 단계 재사용을 사용할 때 다음 사항에 유의하세요.
* 단계에서 사용된 데이터가 데이터 저장소에 있고 allow_reuse가 True인 경우 데이터 변경에 대한 변경 사항은 감지되지 않습니다. 데이터가 스냅샷의 일부로 업로드된 경우(단계의 source_directory 아래)(권장되지는 않지만) 해시가 변경되고 재실행이 트리거됩니다.
참조:
https://docs.microsoft.com/en-us/python/api/azureml-pipeline-core/azureml.pipeline.core.pipelinestep
https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-getting-started.ipynb 모델링을 위한 데이터 준비 Testlet 1 사례 연구 개요 귀하는 프로 스포츠 이벤트에 대한 데이터 과학을 제공하는 회사의 데이터 과학자입니다. 모델은 글로벌 및 로컬 시장 데이터를 사용하여 다음과 같은 비즈니스 목표를 충족합니다.
* 군중 반응 오디오를 기반으로 스포츠 행사에서 모바일 기기 사용자의 감정을 이해합니다.
* 사용자가 광고에 반응하는 경향을 평가합니다.
* 모바일 기기에 게재되는 광고의 스타일을 사용자 지정합니다.
* 비디오를 사용하여 페널티 이벤트 감지
현재 환경
* 페널티 이벤트 감지에 사용되는 미디어는 소비자 기기에서 제공합니다. 미디어에는 스포츠 이벤트 중에 캡처하여 소셜 미디어를 통해 공유한 이미지와 비디오가 포함될 수 있습니다. 이미지와 비디오는 크기와 형식이 다양합니다.
* 모델 구축에 사용할 수 있는 데이터는 7년간의 스포츠 이벤트 미디어로 구성되어 있습니다. 스포츠 이벤트 미디어에는 녹화된 비디오 대본 또는 라디오 해설, 스포츠 이벤트 중에 캡처한 관련 소셜 미디어 피드의 로그가 포함됩니다.
* 군중의 감정에는 이벤트 참석자가 제출한 모노 및 스테레오 포맷의 오디오 녹음이 포함됩니다.
페널티 감지 및 감정
* 데이터 과학자는 페널티 이벤트 감지를 위해 여러 머신 러닝 모델을 사용하여 지능형 솔루션을 구축해야 합니다.
* 데이터 과학자는 머신 러닝 파이프라인에서 자동 기능 엔지니어링과 모델 구축을 사용하여 로컬 환경에서 노트북을 구축해야 합니다.
* 동적 작업자 할당을 사용하여 Spark 인스턴스를 사용하여 재교육하려면 노트북을 배포해야 합니다.
* 노트북은 데이터 소스만 다시 코딩하기 위해 새로운 Spark 인스턴스에서 동일한 코드로 실행되어야 합니다.
* 글로벌 페널티 감지 모델은 훈련 중에 동적 런타임 그래프 계산을 사용하여 훈련되어야 합니다.
* 로컬 페널티 감지 모델은 BrainScript를 사용하여 작성해야 합니다.
* 지역 군중 감정 모델에 대한 실험은 지역 페널티 감지 데이터를 결합해야 합니다.
* 군중 감정 모델은 환호와 알려진 캐치프레이즈와 같은 알려진 소리를 식별해야 합니다. 개별 군중 감정 모델은 유사한 소리를 감지합니다.
* 로컬 모델의 모든 공유 특성은 연속 변수입니다.
* 공유 기능은 이중 정밀도를 사용해야 합니다. 후속 레이어에는 집계 실행 평균 및 표준 편차 메트릭이 있어야 합니다.
광고
생산을 시작한 후 몇 주 동안 다음과 같은 사항이 관찰되었습니다.
* 광고 응답 평가가 거부되었습니다.
* 광고 스타일에 따라 드롭이 일관되지 않았습니다.
* 훈련 및 프로덕션 데이터에서 기능의 분포가 일관되지 않음 분석 결과, 사용자 위치 및 행동에 대한 100개 숫자 기능 중 위치 소스에서 나온 47개 기능이 원시 기능으로 사용되고 있습니다. 편향 및 분산 문제를 해결하기 위해 제안된 실험은 선형적으로 상관되지 않은 10개 기능을 엔지니어링하는 것입니다.
* 초기 데이터 발견 결과, 군중 감정 모델에 사용된 훈련 데이터에서 대상 상태의 밀도 범위가 매우 넓은 것으로 나타났습니다.
* 모든 페널티 감지 모델은 확률적 경사 하강법(SGD)을 사용하는 추론 단계가 너무 느리게 실행됨을 보여줍니다.
* 오디오 샘플에 따르면 캐치프레이즈의 길이는 지역에 따라 25%-47%까지 차이가 ​​나는 것으로 나타났습니다.
* 글로벌 페널티 감지 모델의 성능은 훈련 및 검증 세트를 비교할 때 분산은 낮지만 편향은 높습니다. 기능 변경을 구현하기 전에 모든 훈련 및 검증 사례를 사용하여 편향과 분산을 확인해야 합니다.
* 광고 응답 모델은 각 이벤트 시작 전에 교육을 받아야 하며, 스포츠 이벤트 기간 동안 적용되어야 합니다.
* 시장 세분화 모델은 유사한 광고 반응 기록을 최적화해야 합니다.
* 샘플링은 동일한 특징을 공유하는 로컬 및 글로벌 세분화 모델 간에만 상호적이고 집합적으로 보장되어야 합니다.
* 사용자가 광고에 반응할 가능성을 파악하기 전에 지역 시장 세분화 모델이 적용됩니다.
* 광고 응답 모델은 기능의 비선형 경계를 지원해야 합니다.
* 광고 성향 모델은 절단 임계값을 0.45로 사용하고 가중 카파가 벗어나면 재학습이 발생합니다.
0.1 +/- 5%.
* 광고 성향 모델은 다음 다이어그램에 표시된 비용 요소를 사용합니다.

* 광고 성향 모델은 다음 다이어그램에 표시된 제안된 비용 요소를 사용합니다.

* 현재 및 제안된 비용 요인 시나리오의 성능 곡선은 다음 다이어그램에 표시됩니다.

설명
대신 logging.info(message)를 사용한 솔루션을 사용하세요.
참고: Python 인쇄/로깅 예:
로깅.info(메시지)
대상: 드라이버 로그, Azure Machine Learning 디자이너
참조:
https://docs.microsoft.com/en-us/azure/machine-learning/how-to-debug-pipelines

참조:
https://docs.databricks.com/clusters/configure.html

설명
Estimator에서 inputs 매개변수를 통해 데이터 세트를 전달하는 것 외에도 script_params를 통해 데이터 세트를 전달하고 인수를 통해 교육 스크립트에서 데이터 경로(마운팅 지점)를 가져올 수도 있습니다. 이렇게 하면 교육 스크립트를 azureml-sdk와 독립적으로 유지할 수 있습니다. 즉, 모든 클라우드 플랫폼에서 로컬 디버깅과 원격 교육에 동일한 교육 스크립트를 사용할 수 있습니다.
예:
azureml.train.sklearn에서 SKLearn 가져오기
스크립트 매개변수 = {
# 원격 컴퓨팅에 데이터 세트를 마운트하고 마운트된 경로를 교육 스크립트에 인수로 전달합니다.
'--데이터-폴더': mnist_ds.as_named_input('mnist').as_mount(),
'--정규화': 0.5
}
est = SKLearn(소스 디렉토리=스크립트 폴더,
스크립트 매개변수=스크립트 매개변수,
계산 대상 = 계산 대상,
환경 정의 = 환경,
항목 스크립트='train_mnist.py')
# 실험을 실행해보세요
실행 = 실험.제출(추정)
실행.완료를 기다림(출력 표시=참)
참조:
https://docs.microsoft.com/es-es/azure/machine-learning/how-to-train-with-datasets