무료 온라인 액세스 Databricks.Associate-Developer-Apache-Spark.v2022-07-14.q65 모의 시험 (Page 3)

Associate-Developer-Apache-Spark 문제 6

다음 중 parquet 파일의 모든 열이 정수만 포함하고 이러한 종류의 데이터에 가장 적합한 형식으로 저장되어 있는 경우 filePath 위치에 저장된 parquet 파일에서 읽는 코드 블록은 무엇입니까?

A. 1.spark.read.schema(
2. 구조체 유형(
3. StructField("transactionId", IntegerType(), True),
4. StructField("predError", IntegerType(), True)
5. )).load(파일 경로)

B. 1.spark.read.schema([
2. StructField("transactionId", NumberType(), True),
3. StructField("predError", IntegerType(), True)
4. ]).load(파일 경로)

C. 1.spark.read.schema(
2. 구조체 유형([
3. StructField("transactionId", StringType(), True),
4. StructField("predError", IntegerType(), True)]
5. )).parquet(파일 경로)

D. 1.spark.read.schema(
2. 구조체 유형([
3. StructField("transactionId", IntegerType(), True),
4. StructField("predError", IntegerType(), True)]
5. )).format("마루").load(파일 경로)

E. 1.spark.read.schema([
2. StructField("transactionId", IntegerType(), True),
3. StructField("predError", IntegerType(), True)
4. ]).load(파일경로, 형식="마루")

Associate-Developer-Apache-Spark 문제 7

다음 코드 블록 중 filePath에 저장된 두 개의 파티션으로 구성된 쪽모이 세공 파일을 읽고 각 파티션의 스키마가 다른 경우에도 모든 열이 정확히 한 번 포함되도록 하는 것은 무엇입니까?
첫 번째 파티션의 스키마:
1.루트
2. |-- transactionId: 정수(nullable = true)
3. |-- predError: 정수(nullable = true)
4. |-- 값: 정수(nullable = true)
5. |-- storeId: 정수(nullable = true)
6. |-- productId: 정수(nullable = true)
7. |-- f: 정수(nullable = true)
두 번째 파티션의 스키마:
1.루트
2. |-- transactionId: 정수(nullable = true)
3. |-- predError: 정수(nullable = true)
4. |-- 값: 정수(nullable = true)
5. |-- storeId: 정수(nullable = true)
6. |-- rollId: 정수(nullable = true)
7. |-- f: 정수(nullable = true)
8. |-- tax_id: 정수(nullable = false)

A. spark.read.parquet(filePath, mergeSchema='y')

B. spark.read.option("mergeSchema", "true").parquet(filePath)

C. spark.read.parquet(filePath)

D. 1.nx = 0
2. dbutils.fs.ls(filePath)의 파일:
3. file.name.endswith(".parquet")가 아닌 경우:
4. 계속
5. df_temp = spark.read.parquet(file.path)
6. nx == 0인 경우:
7. df = df_temp
8. 기타:
9. df = df.union(df_temp)
10. nx = nx+1
11.df

E. 1.nx = 0
2. dbutils.fs.ls(filePath)의 파일:
3. file.name.endswith(".parquet")가 아닌 경우:
4. 계속
5. df_temp = spark.read.parquet(file.path)
6. nx == 0인 경우:
7. df = df_temp
8. 기타:
9. df = df.join(df_temp, how="outer")
10. nx = nx+1
11.df

정답: B

설명
이것은 매우 까다로운 질문이며 쪽모이 세공 마루 파일을 읽을 때 스키마와 병합에 대한 지식을 모두 포함합니다.
spark.read.option("mergeSchema", "true").parquet(filePath)
옳은. Spark의 DataFrameReader의 mergeSchema 옵션은 두 파티션에 나타나는 열이 일치하는 데이터 유형을 가지므로 여기에서 잘 작동합니다. 두 파티션에 나타나는 동일한 이름을 가진 하나 이상의 열에 다른 데이터 유형이 있는 경우 mergeSchema가 실패합니다.
spark.read.parquet(파일 경로)
잘못된. 이렇게 하면 두 파티션에서 데이터를 읽을 수 있지만 먼저 읽은 parquet 파일의 스키마만 고려되므로 두 번째 파티션(예: tax_id)에만 나타나는 일부 열은 손실됩니다.
nx = 0
dbutils.fs.ls(filePath)의 파일:
file.name.endswith(".parquet")가 아닌 경우:
계속하다
df_temp = spark.read.parquet(파일 경로)
nx == 0인 경우:
df = df_temp
또 다른:
df = df.union(df_temp)
nx = nx+1
DF
잘못된. 이 솔루션의 핵심 아이디어는 DataFrame.union() 명령입니다. 이 명령은 모든 데이터를 병합하지만 두 파티션에 동일한 데이터 유형이 있는 정확히 동일한 수의 열이 있어야 합니다.
spark.read.parquet(filePath, mergeSchema="y")
거짓. mergeSchema 옵션을 사용하는 것이 이 문제를 해결하는 올바른 방법이며 코드 블록에서와 같이 DataFrameReader.parquet()를 사용하여 호출할 수도 있지만 True 값을 부울 또는 문자열 변수로 받아들입니다. 그러나 'y'는 유효한 옵션이 아닙니다.
nx = 0
dbutils.fs.ls(filePath)의 파일:
file.name.endswith(".parquet")가 아닌 경우:
계속하다
df_temp = spark.read.parquet(파일 경로)
nx == 0인 경우:
df = df_temp
또 다른:
df = df.join(df_temp, 방법="외부")
nx = nx+1
DF
아니오. 이것은 완전한 외부 조인을 유발합니다. 결과 DataFrame에는 두 파티션의 모든 열이 있지만 두 파티션에 나타나는 열은 복제됩니다. 질문에 따르면 파티션에 포함된 모든 열은 정확히 한 번 나타나야 합니다.
추가 정보: Apache Spark에서 다른 스키마 병합 | 티아고 코르동 | 데이터 아레나 | 중간 정적 노트북 | 동적 노트북: 테스트 3 참조

Associate-Developer-Apache-Spark 문제 8

다음 코드 블록 중 DataFrame itemsDf의 문자열 유형 열 공급자에 Inc. 표현식이 몇 행으로 표시되는지 출력하는 것은 무엇입니까?

A. 1. 카운터 = 0
2.
3. 인덱스의 경우 itemsDf.iterrows()의 행:
4. '주식회사'인 경우 ['공급업체'] 행:
5. 카운터 = 카운터 + 1
6.
7.프린트(카운터)

B. 1. 카운터 = 0
2.
3. def count(x):
4. '주식회사'인 경우 x['공급업체']:
5. 카운터 = 카운터 + 1
6.
7.itemsDf.foreach(개수)
8.프린트(카운터)

C. print(itemsDf.foreach(lambda x: x의 'Inc.'))

D. print(itemsDf.foreach(lambda x: x의 'Inc.').sum())

E. 1.accum=sc.accumulator(0)
2.
3.def check_if_inc_in_supplier(행):
4. '주식회사'인 경우 ['공급업체'] 행:
5. accum.add(1)
6.
7.itemsDf.foreach(check_if_inc_in_supplier)
8.인쇄(accum.value)

Associate-Developer-Apache-Spark 문제 9

아래에 표시된 코드 블록에는 여러 오류가 있습니다. 코드 블록은 DataFrame transactionDf에서 transactionDate 열을 제거하고 DataFrame transactionDf의 transactionDate 열에서 문자열로 표현된 날짜가 유닉스 타임스탬프로 변환되는 transactionTimestamp 열을 추가해야 합니다. 오류를 찾으십시오.
DataFrame 트랜잭션의 샘플Df:
1.+-------------+---------+-----+------+--------- +----+----------------+
2.|transactionId|predError|value|storeId|productId| f| 거래날짜|
3.+-------------+---------+-----+------+--------- +----+----------------+
4.| 1| 3| 4| 25| 1|null|2020-04-26 15:35|
5.| 2| 6| 7| 2| 2|null|2020-04-13 22:01|
6.| 3| 3| 널| 25| 3|null|2020-04-02 10:53|
7.+-------------+---------+-----+------+--------- +----+----------------+ 코드 블록:
1.transactionsDf = transactionDf.drop("transactionDate")
2.transactionsDf["transactionTimestamp"] = unix_timestamp("transactionDate", "yyyy-MM-dd")

A. transactionTimestamp가 작성된 후 transactionDate 열을 삭제해야 합니다. 날짜 형식을 나타내는 문자열을 조정해야 합니다. 기존 열 할당 대신 withColumn 연산자를 사용해야 합니다. 연산자 to_unixtime()은 unix_timestamp() 대신 사용해야 합니다.

B. transactionTimestamp가 작성된 후 transactionDate 열을 삭제해야 합니다. 기존 열 할당 대신 withColumn 연산자를 사용해야 합니다. transactionDate 열은 col() 연산자로 래핑되어야 합니다.

C. transactionDate 열은 col() 연산자로 래핑되어야 합니다.

D. 날짜 형식을 조정해야 함을 나타내는 문자열입니다. withColumnReplaced 연산자는 transactionDate 열을 새 열 transactionTimestamp로 바꾸려면 코드 블록에서 패턴을 삭제하고 할당하는 대신 사용해야 합니다.

E. transactionTimestamp가 작성된 후 transactionDate 열을 삭제해야 합니다. 날짜 형식을 나타내는 문자열을 조정해야 합니다. 기존 열 할당 대신 withColumn 연산자를 사용해야 합니다.

정답: E

설명
이 질문이 맞기 위해서는 많은 생각이 필요합니다. 문제를 해결하기 위해 테스트 중에 제공되는 디지털 메모장을 활용할 수 있습니다. 코드 블록에 여러 오류가 포함된 것을 본 적이 있을 것입니다. 테스트에서 일반적으로 하나의 오류만 포함하는 코드 블록에 직면하게 됩니다. 그러나 여기에서 연습하고 있기 때문에 이 도전적인 다중 오류 문제는 실제 시험에서 단일 오류 문제를 더 쉽게 처리할 수 있도록 합니다.
transactionTimestamp가 작성된 후에만 transactionDate 열을 삭제해야 함을 분명히 알 수 있습니다. 이는 transactionTimestamp 열을 생성하기 위해 Spark가 transactionDate 열에서 값을 읽어야 하기 때문입니다.
원래 transactionDf DataFrame의 transactionDate 열 값은 2020-04-26 15:35와 같습니다. 따라서 올바르게 변환하려면 yyyy-MM-dd HH:mm를 전달해야 합니다. 다시 말해:
날짜 형식을 나타내는 문자열을 조정해야 합니다.
(from_unixtime() 연산자에 따라) unix_timestamp()를 to_unixtime()으로 변경하고 싶을 수도 있지만 이 함수는 Spark에 존재하지 않습니다. unix_timestamp()는 여기에서 사용할 올바른 연산자입니다.
또한 DataFrame.withColumnReplaced() 연산자가 없습니다. 존재하는 유사한 연산자는 DataFrame.withColumnRenamed()입니다.
col()을 사용하는지 여부는 unix_timestamp()와 관련이 없습니다. 명령은 둘 다 괜찮습니다.
마지막으로 Spark에서는 transactionDf["columnName"] = ...와 같은 열을 할당할 수 없습니다. 이것은 Pandas 구문(Pandas는 데이터 분석을 위한 인기 있는 Python 패키지임)이지만 Spark에서는 지원되지 않습니다.
따라서 Spark의 DataFrame.withColumn() 구문을 대신 사용해야 합니다.
추가 정보: pyspark.sql.functions.unix_timestamp - PySpark 3.1.2 문서 정적 노트북 | 동적 노트북: 테스트 3 참조

Associate-Developer-Apache-Spark 문제 10

아래에 표시된 코드 블록에는 하나 이상의 오류가 있습니다. 코드 블록은 filePath 위치에 있는 쪽모이 세공 파일을 DataFrame으로 로드해야 하며 이전에 수정된 파일만 로드해야 합니다.
2029-03-20 05:44:46. Spark는 아래 표시된 스키마에 따라 스키마를 적용해야 합니다. 오류를 찾으십시오.
개요:
1.루트
2. |-- itemId: 정수(nullable = true)
3. |-- 속성: 배열(nullable = true)
4. | |-- 요소: 문자열(containsNull = true)
5. |-- 공급자: 문자열(nullable = true)
코드 블록:
1.스키마 = StructType([
2. StructType("itemId", IntegerType(), True),
3. StructType("속성", ArrayType(StringType(), True), True),
4. StructType("공급자", StringType(), True)
5.])
6.
7.spark.read.options("modifiedBefore", "2029-03-20T05:44:46").schema(스키마).load(filePath)

A. 속성 배열이 잘못 지정되었고, Spark가 파일 형식을 식별할 수 없으며, Spark의 DataFrameReader에 대한 호출 구문이 올바르지 않습니다.

B. 스키마 정의의 열이 잘못된 개체 유형을 사용하고 Spark의 DataFrameReader에 대한 호출 구문이 올바르지 않습니다.

C. 스키마의 데이터 유형이 schema() 연산자와 호환되지 않고 수정 날짜 임계값이 잘못 지정되었습니다.

D. 스키마 정의의 열이 잘못된 개체 유형을 사용하고 수정 날짜 임계값이 잘못 지정되어 Spark가 파일 형식을 식별할 수 없습니다.

E. 스키마의 열이 빈 값을 처리할 수 없으며 수정 날짜 임계값이 잘못 지정되었습니다.

정답: D

설명
올바른 코드 블록:
스키마 = StructType([
StructField("itemId", IntegerType(), True),
StructField("속성", ArrayType(StringType(), True), True),
StructField("공급자", StringType(), True)
])
spark.read.options(modifiedBefore="2029-03-20T05:44:46").schema(schema).parquet(filePath) 이 문제는 시험에서 볼 수 있는 것보다 더 어렵습니다. 시험에서 이 문제 유형의 경우 문제에서와 같이 "하나 또는 여러 개"가 아닌 하나의 오류만 식별하면 됩니다.
스키마 정의의 열이 잘못된 개체 유형을 사용하고 수정 날짜 임계값이 잘못 지정되어 Spark가 파일 형식을 식별할 수 없습니다.
옳은! 스키마 정의의 열은 StructField 유형을 사용해야 합니다. 여기에서 StructType 및 StructField와 같은 클래스를 사용하여 pyspark.sql.types에서 스키마를 빌드하는 것은 Spark에서 스키마를 표현하는 여러 방법 중 하나입니다. StructType에는 항상 StructFields 목록이 포함됩니다(아래 링크된 문서 참조). 따라서 질문에서와 같이 StructType과 StructType을 중첩하는 것은 잘못된 것입니다.
수정 날짜 임계값은 원본 코드 블록에서와 같이 두 개의 연속적인 비 키워드 인수가 아니라 options(modifiedBefore="2029-03-20T05:44:46")과 같은 키워드 인수로 지정해야 합니다(아래 링크된 문서 참조).
Spark는 파일 형식을 올바르게 식별할 수 없습니다. DataFrameReader.format()을 사용하여 DataFrameReader.load()에 대한 인수로 지정하거나 DataFrameReader.parquet()와 같이 직접 호출하여 지정해야 하기 때문입니다.
스키마의 열은 빈 값을 처리할 수 없으며 수정 날짜 임계값이 잘못 지정되었습니다.
아니요. StructType 대신 열에 StructField가 사용되는 경우(위 참조) 세 번째 인수는 열이 null 허용 여부를 지정합니다. 원래 스키마는 열이 null을 입력할 수 있어야 하며 이는 코드 블록의 스키마에서 True인 세 번째 인수에 의해 올바르게 지정되었음을 보여줍니다.
그러나 수정 날짜 임계값이 잘못 지정된 것은 맞습니다(위 참조).
속성 배열이 잘못 지정되고 Spark가 파일 형식을 식별할 수 없으며 Spark의 DataFrameReader 호출 구문이 올바르지 않습니다.
잘못된. 속성 배열은 ArrayType 구문에 따라 올바르게 지정됩니다(아래 링크된 문서 참조). Spark는 파일 형식이 올바른지 식별할 수 없습니다. 위의 정답을 참조하세요. 또한 DataFrameReader는 SparkSession 스파크를 통해 올바르게 호출됩니다.
스키마 정의의 열이 잘못된 개체 유형을 사용하고 Spark의 DataFrameReader에 대한 호출 구문이 올바르지 않습니다.
틀림, 스키마 정의의 개체 유형이 정확하고 Spark의 DataFrameReader에 대한 호출 구문이 정확합니다.
스키마의 데이터 유형이 schema() 연산자와 호환되지 않으며 수정 날짜 임계값이 잘못 지정되었습니다.
거짓. 스키마의 데이터 형식은 StructType이며 DataFrameReader.schema() 메서드에 대해 허용되는 데이터 형식입니다. 그러나 수정 날짜 임계값이 잘못 지정된 것은 맞습니다(위의 정답 참조).