편집 기록

편집 기록
  • 프로필 nowp님의 편집
    날짜2020.06.30

    python(pyspark) for문으로 하나의 문장에 함수를 추가할 수 있나요?


    원래 수동으로 조작한 함수

    df2 = df1.withColumn("test1", col("data.test1"))\
                .withColumn("test2", col("data.test2"))\
                .withColumn("test3", col("data.test3"))\
                .withColumn("test4", col("data.test4"))\
                .drop("data")
    

    희망하는 상태?

    for col_name in ['test1', 'test2', 'test3', 'test4']:
        df1.withColumn(col_name, col(data.col_name)).drop("data")
    

    이런 느낌으로... 조작하려는 컬럼명의 리스트를 반복문으로 돌려 .withColumn 함수를 추가할 수 있을까요?

  • 프로필 김재민님의 편집
    날짜2020.06.30

    python(pyspark) for문으로 하나의 문장에 함수를 추가할 수 있나요?


    원래 수동으로 조작한 함수

    df2 = df1.withColumn("test1", col("data.test1"))\
                .withColumn("test2", col("data.test2"))\
                .withColumn("test3", col("data.test3"))\
                .withColumn("test4", col("data.test4"))\
                .drop("data")
    

    희망하는 상태?

    for col_name in ['test1', 'test2', 'test3', 'test4']:
        df1.withColumn(col_name, col(data.col_name)).drop("data")
    
    이런 느낌으로...조작하려는 컬럼명의 리스트를 반복문으로 돌려 .withColumn함수를 추가할 수 있을까요?