env: pyspark, google colaboratory
구글 colab에서 pyspark 구글 드라이브나 코랩에 임시로 올린 csv 파일을 불러오고 싶을 때
# 스파크 세션 만들기
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("local[*]") \
.appName("Learning_Spark") \
.getOrCreate()
sc = spark.sparkContext
lines = sc.textFile("spark-2.4.4-bin-hadoop2.7/README.md")
df = spark.read.csv('/content/drive/MyDrive/파일명.csv',inferSchema=True, header=True)
출처: ㅁㅈㅅ님 감사합니다.