Associate-Developer-Apache-Spark 문제 11
아래 표시된 코드 블록에 오류가 있습니다. 코드 블록은 DataFrames transactionDfMonday 및 transactionDfTuesday의 행을 새 DataFrame으로 병합하여 열 이름을 일치시키고 열 이름이 두 DataFrames에 나타나지 않는 곳에 null 값을 삽입해야 합니다. 오류를 찾으십시오.
DataFrame 거래 샘플DfMonday:
1.+-------------+---------+-----+-------+--------- +----+
2.|transactionId|predError|value|storeId|productId| 에프|
3.+-------------+---------+-----+-------+--------- +----+
4.| 5| null| null| null| 2|널|
5.| 6| 3| 2| 25| 2|널|
6.+-------------+---------+-----+-------+--------- +----+
DataFrame 거래 샘플DfTuesday:
1.+-------+-------------+---------+-----+
2.|스토어 ID|트랜잭션 ID|제품 ID|값|
3.+-------+-------------+---------+-----+
4.| 25| 1| 1| 4|
5.| 2| 2| 2| 7|
6.| 3| 4| 2| null|
7.| null| 5| 2| null|
8.+-------+-------------+---------+-----+
코드 블록:
sc.union([transactionsDfMonday, transactionDfTuesday])
DataFrame 거래 샘플DfMonday:
1.+-------------+---------+-----+-------+--------- +----+
2.|transactionId|predError|value|storeId|productId| 에프|
3.+-------------+---------+-----+-------+--------- +----+
4.| 5| null| null| null| 2|널|
5.| 6| 3| 2| 25| 2|널|
6.+-------------+---------+-----+-------+--------- +----+
DataFrame 거래 샘플DfTuesday:
1.+-------+-------------+---------+-----+
2.|스토어 ID|트랜잭션 ID|제품 ID|값|
3.+-------+-------------+---------+-----+
4.| 25| 1| 1| 4|
5.| 2| 2| 2| 7|
6.| 3| 4| 2| null|
7.| null| 5| 2| null|
8.+-------+-------------+---------+-----+
코드 블록:
sc.union([transactionsDfMonday, transactionDfTuesday])
Associate-Developer-Apache-Spark 문제 12
parquet 파일의 모든 열이 정수만 포함하고 이러한 종류의 데이터에 가장 적합한 형식으로 저장되어 있는 경우 다음 중 filePath 위치에 저장된 parquet 파일에서 읽는 코드 블록은 무엇입니까?
Associate-Developer-Apache-Spark 문제 13
다음 중 셔플을 설명하는 것은 무엇입니까?
Associate-Developer-Apache-Spark 문제 14
아래 표시된 코드 블록에 오류가 있습니다. 코드 블록은 predError, productId 및 value 열을 제외하고 DataFrame transactionDf의 모든 열을 반환하기 위한 것입니다. 오류를 찾으십시오.
DataFrame transactionDf 발췌:
transactionDf.select(~col("predError"), ~col("productId"), ~col("value"))
DataFrame transactionDf 발췌:
transactionDf.select(~col("predError"), ~col("productId"), ~col("value"))
Associate-Developer-Apache-Spark 문제 15
아래 표시된 코드 블록은 이름에 Sports가 포함된 공급업체 열의 모든 공급업체에 대해 관련 itemName 옆에 있는 행당 열 속성에서 하나의 속성을 표시하는 새로운 2열 DataFrame을 반환해야 합니다. 이 작업을 수행하려면 코드 블록의 빈칸을 올바르게 채우는 답을 선택하십시오.
DataFrame 항목Df의 샘플:
1.+------+-------------------+----- ---------+-------------------+
2.|itemId|itemName |속성 |공급자 |
3.+------+-----------------------------------+----- ---------+-------------------+
4.|1 |눈 속을 걸을 수 있는 두꺼운 코트|[블루, 겨울, 포근] |스포츠 컴퍼니|
5.|2 |우아한 아웃도어 여름 드레스 |[빨강, 여름, 산뜻, 시원함]|YetiX |
6.|3 |아웃도어 백팩 |[녹색, 여름, 여행] |스포츠컴퍼니|
7.+------+-----------------------------------+----- ---------+----------------------------------+ 코드 블록:
itemsDf.__1__(__2__).select(__3__, __4__)
DataFrame 항목Df의 샘플:
1.+------+-------------------+----- ---------+-------------------+
2.|itemId|itemName |속성 |공급자 |
3.+------+-----------------------------------+----- ---------+-------------------+
4.|1 |눈 속을 걸을 수 있는 두꺼운 코트|[블루, 겨울, 포근] |스포츠 컴퍼니|
5.|2 |우아한 아웃도어 여름 드레스 |[빨강, 여름, 산뜻, 시원함]|YetiX |
6.|3 |아웃도어 백팩 |[녹색, 여름, 여행] |스포츠컴퍼니|
7.+------+-----------------------------------+----- ---------+----------------------------------+ 코드 블록:
itemsDf.__1__(__2__).select(__3__, __4__)