pyspark read csv in google colab

hyereen·2021년 11월 24일
0

Today I Learned

목록 보기
3/6

env: pyspark, google colaboratory

구글 colab에서 pyspark 구글 드라이브나 코랩에 임시로 올린 csv 파일을 불러오고 싶을 때

# 스파크 세션 만들기 
from pyspark.sql import SparkSession
spark = SparkSession.builder \
.master("local[*]") \
.appName("Learning_Spark") \
.getOrCreate()
sc = spark.sparkContext
lines = sc.textFile("spark-2.4.4-bin-hadoop2.7/README.md")

df = spark.read.csv('/content/drive/MyDrive/파일명.csv',inferSchema=True, header=True)

출처: ㅁㅈㅅ님 감사합니다.

profile
안녕하세요. 피드백은 언제나 감사합니다.

0개의 댓글