получить столбцы пост группы в pyspark с датафреймами

Я вижу пару постов post1 и post2, которые имеют отношение к моему вопросу. Однако, следуя решению post1, я сталкиваюсь с ошибкой ниже. 

joinedDF = df.join(df_agg, "company")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/opt/spark/python/pyspark/sql/dataframe.py", line 1050, in join
    jdf = self._jdf.join(other._jdf, on, how)
AttributeError: 'NoneType' object has no attribute '_jdf'

Весь фрагмент кода 

df = spark.read.format("csv").option("header", "true").load("/home/ec2-user/techcrunch/TechCrunchcontinentalUSA.csv")

df_agg = df.groupby("company").agg(func.sum("raisedAmt").alias("TotalRaised")).orderBy("TotalRaised", ascending = False).show()

joinedDF = df.join(df_agg, "company")

Всего 1 ответ

на второй строке у вас есть .show в конце 

df_agg = df.groupby("company").agg(func.sum("raisedAmt").alias("TotalRaised")).orderBy("TotalRaised", ascending = False).show()

удалите это так: 

df_agg = df.groupby("company").agg(func.sum("raisedAmt").alias("TotalRaised")).orderBy("TotalRaised", ascending = False)

и ваш код должен работать.

Вы использовали действие для этого df и присвоили его переменной df_agg, поэтому ваша переменная - NoneType (в python) или Unit (в scala)

Есть идеи?

10000