python spark DataFrameをcsv出力する際に指定したファイル名でS3に保存
現在とあるpythonのスクリプトを開発しているのですが,そのスクリプトの処理の中で
sparkのDataFrameの中身をCSVとしてS3に出力しており
出力する際にスクリプト内でファイル名を指定して出力したいのですがなかなかいい方法が見つかりません。。。どんな些細なことでもよいのでご教示いただけますでしょうか。
#SparkのDataFreameの型に変更
sdf2 = spark.createDataFrame(pdf_out.fillna(''))
sdf3 = spark.createDataFrame(pdf_out_null.fillna(''))
#CSVファイル格納パス
sucsesspath = 's3://*****/CSV/sucsess'
temppath = 's3://*****/CSV/temp'
#S3にCSVファイルとして出力
sdf2.coalesce(1).write.mode('append').csv(sucsesspath,header=True)
sdf3.coalesce(1).write.mode('append').csv(temppath,header=True)