무료 온라인 액세스 Databricks.Associate-Developer-Apache-Spark.v2023-08-28.q61 모의 시험 (Page 11)

Associate-Developer-Apache-Spark 문제 46

DAG에 대한 다음 설명 중 올바른 것은 무엇입니까?

A. DAG는 Spark 실행자가 작업을 처리하는 방법을 지시하는 데 도움이 되지만 실행기가 실패할 때 쿼리를 적절하게 실행하는 데 제한이 됩니다.

B. DAG는 "Directing Acyclic Graph"를 나타냅니다.

C. Spark는 개발자에게 DAG를 전략적으로 숨깁니다. Spark의 높은 수준의 자동화는 개발자가 DAG 레이아웃을 고려할 필요가 없음을 의미하기 때문입니다.

D. 변환과 달리 DAG는 느리게 실행되지 않습니다.

E. DAG는 병렬로 실행되는 작업으로 분해될 수 있습니다.

Associate-Developer-Apache-Spark 문제 47

다음 코드 블록 중 DataFrame itemsDf의 열 공급자에 있는 단어 수를 보여주는 단일 열 DataFrame을 반환하는 것은 무엇입니까?
DataFrame 항목Df의 샘플:
1.+------+--------------+---------- ---------+
2.|itemId|속성 |공급자 |
3.+------+--------------+---------- ---------+
4.|1 |[블루, 겨울, 포근] |스포츠 컴퍼니|
5.|2 |[빨강, 여름, 상큼함, 시원함]|YetiX |
6.|3 |[녹색, 여름, 여행] |스포츠 컴퍼니(주)|
7.+------+--------------+---------- ---------+

A. itemsDf.split("공급자", " ").count()

B. itemsDf.split("공급자", " ").size()

C. itemsDf.select(word_count("공급자"))

D. spark.select(size(split(col(공급자), " ")))

E. itemsDf.select(size(split("공급자", " ")))

Associate-Developer-Apache-Spark 문제 48

실행기로 작동하는 각 JVM을 작업 실행 슬롯의 풀로 간주할 수 있다고 가정할 때 실행기에 대한 다음 설명 중 올바른 것은 무엇입니까?

A. 슬롯은 실행기의 다른 이름입니다.

B. There must be less executors than tasks.

C. An executor runs on a single core.

D. There must be more slots than tasks.

E. Tasks run in parallel via slots.

Associate-Developer-Apache-Spark 문제 49

다음 코드 블록 중 타임스탬프 유형의 열 날짜가 있는 새로운 1열, 2행 DataFrame dfDates를 생성하는 것은 무엇입니까?

A. 1.dfDates = spark.createDataFrame(["23/01/2022 11:28:12","24/01/2022 10:58:34"], ["날짜"])
2.dfDates = dfDates.withColumn("날짜", to_timestamp("dd/MM/yyyy HH:mm:ss", "날짜"))

B. 1.dfDates = spark.createDataFrame([("23/01/2022 11:28:12",),("24/01/2022 10:58:34",)], ["날짜" ])
2.dfDates = dfDates.withColumnRenamed("날짜", to_timestamp("날짜", "yyyy-MM-dd HH:mm:ss"))

C. 1.dfDates = spark.createDataFrame([("23/01/2022 11:28:12",),("24/01/2022 10:58:34",)], ["날짜" ])
2.dfDates = dfDates.withColumn("날짜", to_timestamp("날짜", "dd/MM/yyyy HH:mm:ss"))

D. 1.dfDates = spark.createDataFrame(["23/01/2022 11:28:12","24/01/2022 10:58:34"], ["날짜"])
2.dfDates = dfDates.withColumnRenamed("날짜", to_datetime("날짜", "yyyy-MM-dd HH:mm:ss"))

E. 1.dfDates = spark.createDataFrame([("23/01/2022 11:28:12",),("24/01/2022 10:58:34",)], ["날짜" ])

정답: C

설명
이 질문은 까다롭습니다. 여기에서 알아야 할 두 가지 사항이 중요합니다.
먼저 createDataFrame의 구문: [(1,), (2,)]와 같은 튜플 목록이 필요합니다. 파이썬에서 튜플을 정의하려면 그 안에 단일 항목만 있는 경우 항목 뒤에 쉼표를 넣어 파이썬이 튜플을 일반 괄호가 아닌 튜플로 해석하도록 하는 것이 중요합니다.
둘째, to_timestamp 구문을 이해해야 합니다. 아래 링크된 설명서에서 자세한 내용을 확인할 수 있습니다.
올바른 측정을 위해 잘못된 옵션이 잘못된 이유를 자세히 살펴보겠습니다.
dfDates = spark.createDataFrame([("23/01/2022 11:28:12",),("24/01/2022 10:58:34",)], ["날짜"]) 이 코드 조각은 다음을 수행합니다. 질문에서 요구하는 모든 것 - 날짜 열의 데이터 유형이 타임스탬프가 아닌 문자열이라는 점을 제외하고. 스키마가 지정되지 않은 경우 Spark는 문자열 데이터 유형을 기본값으로 설정합니다.
dfDates = spark.createDataFrame(["23/01/2022 11:28:12","24/01/2022 10:58:34"], ["날짜"]) dfDates = dfDates.withColumn("날짜", to_timestamp("dd/MM/yyyy HH:mm:ss", "date")) 이 명령의 첫 번째 행에서 Spark는 다음 오류를 발생시킵니다. TypeError: Can not infer schema for type:
<클래스 'str'>. 이는 Spark가 행 정보를 찾을 것으로 예상하지만 대신 문자열을 찾기 때문입니다. 이것이 데이터를 튜플로 지정해야 하는 이유입니다. 다행스럽게도 Spark 설명서(아래 링크)에는 여기에서 올바른 방향으로 나아가는 데 도움이 되는 DataFrame 생성에 대한 여러 가지 예가 나와 있습니다.
dfDates = spark.createDataFrame([("2022년 1월 23일 11:28:12",),("2022년 1월 24일 10:58:34",)], ["날짜"]) dfDates = dfDates. withColumnRenamed("date", to_timestamp("date", "yyyy-MM-dd HH:mm:ss")) 이 답변의 문제는 withColumnRenamed 연산자가 사용된다는 것입니다. 이 연산자는 단순히 열의 이름을 바꾸지만 실제 내용을 수정할 권한은 없습니다. 이것이 withColumn을 대신 사용해야 하는 이유입니다. 또한 날짜 형식 yyyy-MM-dd HH:mm:ss는 실제 타임스탬프의 형식인 "23/01/2022 11:28:12"를 반영하지 않습니다.
dfDates = spark.createDataFrame(["23/01/2022 11:28:12","24/01/2022 10:58:34"], ["날짜"]) dfDates = dfDates.withColumnRenamed("날짜", to_datetime("date", "yyyy-MM-dd HH:mm:ss")) 여기서 withColumnRenamed는 withColumn 대신 사용됩니다(위 참조). 또한 행이 올바르게 표현되지 않습니다. 괄호를 사용하여 튜플로 작성해야 합니다. 마지막으로 여기에서는 날짜 형식도 해제됩니다(위 참조).
추가 정보: pyspark.sql.functions.to_timestamp - PySpark 3.1.2 문서 및 pyspark.sql.SparkSession.createDataFrame - PySpark 3.1.1 문서 정적 노트북 | 동적 노트북: 테스트 2 참조

Associate-Developer-Apache-Spark 문제 50

다음 중 파티셔닝에 대한 올바른 우려 사항을 설명하는 것은 무엇입니까?

A. 셔플 작업은 명시적으로 설정되지 않은 경우 200개의 파티션을 반환합니다.

B. 파티션보다 사용 가능한 실행기가 더 많은 경우 파티션 수를 줄이면 좁은 변환의 전체 런타임이 줄어듭니다.

C. coalesce()가 실행될 때 실행기 간에 데이터가 교환되지 않습니다.

D. 짧은 파티션 처리 시간은 낮은 스큐를 나타냅니다.

E. 파티션 수를 늘리려면 coalesce() 메서드를 사용해야 합니다.

정답: A

설명
셔플 작업은 명시적으로 설정되지 않은 경우 200개의 파티션을 반환합니다.
옳은. 200은 Spark 속성 spark.sql.shuffle.partitions의 기본값입니다. 이 속성은 조인 또는 집계를 위해 데이터를 섞을 때 Spark가 사용하는 파티션 수를 결정합니다.
파티션 수를 늘리려면 coalesce() 메서드를 사용해야 합니다.
잘못된. coalesce() 메서드는 파티션 수를 줄이는 데만 사용할 수 있습니다.
파티션 수를 줄이면 파티션보다 사용 가능한 실행기가 더 많은 경우 좁은 변환의 전체 런타임이 줄어듭니다.
아니요. 좁은 변환의 경우 파티션보다 더 많은 실행기를 사용할 수 있는 경우 일반적으로 파티션 수가 적을수록 전체 런타임이 길어집니다.
좁은 변환에는 셔플이 포함되지 않으므로 실행기 간에 데이터를 교환할 필요가 없습니다.
셔플은 비용이 많이 들고 Spark 워크로드를 실행하는 데 병목 현상이 될 수 있습니다.
그러나 Narrow 변환은 파티션별로 실행되어 파티션당 하나의 실행기를 차단합니다.
따라서 파티션 수에 비해 작업을 병렬로 수행할 수 있는 실행기 수는 중요합니다. 실행기 수가 파티션 수보다 큰 경우 일부 실행기는 유휴 상태이고 다른 실행기는 파티션을 처리합니다. 반대로 실행기 수가 파티션 수보다 적으면 일부 실행기가 차례로 여러 파티션을 처리한 후에만 전체 작업을 완료할 수 있습니다. 전체 런타임을 최소화하기 위해 실행기 수와 동일한 파티션 수를 원할 것입니다(그러나 그 이상은 아님).
따라서 당면한 시나리오의 경우 파티션보다 사용 가능한 실행기가 더 많은 경우 파티션 수를 늘리면 좁은 변환의 전체 런타임이 줄어듭니다.
coalesce()가 실행될 때 실행기 간에 데이터가 교환되지 않습니다.
아니요. coalesce()는 전체 셔플을 방지하지만 여전히 부분 셔플을 유발하여 실행기 간에 데이터 교환이 발생할 수 있습니다.
짧은 파티션 처리 시간은 낮은 스큐를 나타냅니다.
잘못된. 데이터 편향은 데이터가 데이터 세트의 파티션에 고르지 않게 분산되어 있음을 의미합니다. 따라서 왜곡이 적다는 것은 데이터가 고르게 분산된다는 의미입니다.
실행자가 파티션을 처리하는 데 걸리는 시간인 파티션 처리 시간은 일부 실행자가 파티션을 처리하는 데 시간이 오래 걸리고 다른 실행자는 그렇지 않은 경우 왜곡을 나타낼 수 있습니다. 그러나 짧은 처리 시간이 그 자체로 낮은 스큐를 나타내는 것은 아닙니다. 파티션이 작기 때문에 단순히 짧을 수 있습니다.
낮은 왜곡을 나타내는 상황은 모든 실행자가 동일한 시간 프레임에서 파티션 처리를 완료하는 경우일 수 있습니다. 높은 왜곡은 일부 실행기가 다른 실행기보다 파티션을 완료하는 데 훨씬 더 오래 걸리는 것으로 표시될 수 있습니다. 그러나 대답은 비교를 하지 않습니다. 따라서 그 자체로는 왜곡에 대한 평가를 내리기에 충분한 정보를 제공하지 않습니다.
추가 정보: Spark Repartition & Coalesce - 설명 및 성능 튜닝 - Spark 3.1.2 문서

프리미엄 번들

DumpTop 에서 공유하는 최신 Associate-Developer-Apache-Spark 시험 덤프는 Associate-Developer-Apache-Spark 시험패스를 도와드릴수 있습니다! DumpTop 은 최근 업데이트된 Associate-Developer-Apache-Spark 시험자료를 제공해드립니다. DumpTop Associate-Developer-Apache-Spark 덤프도 시험문제 변경에 따라 업데이트되었으며 오답도 수정되었습니다. DumpTop Associate-Developer-Apache-Spark 덤프 최신버전을 공유받아보세요.

Associate-Developer-Apache-Spark 덤프 프리미엄 버전 액세스

(179 Q&As 덤프, 30%OFF할인코드: KrDump)

다른 버전: 444Databricks.Associate-Developer-Apache-Spark.v2025-12-04.q64; 963Databricks.Associate-Developer-Apache-Spark.v2022-10-20.q61; 1392Databricks.Associate-Developer-Apache-Spark.v2022-07-14.q65; 1220Databricks.Associate-Developer-Apache-Spark.v2022-01-27.q63

최근 업로드: 249ACAMS.CAMS.v2026-01-15.q822; 153Microsoft.GH-300.v2026-01-15.q65; 132NACE.NACE-CIP1-001.v2026-01-15.q34; 156Salesforce.MCE-Admn-201.v2026-01-14.q54; 155Salesforce.MC-101.v2026-01-14.q41; 162Google.Professional-Cloud-Architect.v2026-01-14.q101; 145RUCKUS.RCWA.v2026-01-14.q48; 140SOCRA.CCRP.v2026-01-14.q43; 130CompTIA.FC0-U71.v2026-01-13.q88; 192APICS.CPIM.v2026-01-13.q161