dataframe 다루기

1. data 두개를 concat

• 두 df를 위아래로 붙인다.
  • pd.concat([df1,df2])

def first_df():
    data = {"match_all":{}}
    sort = {"_id":{"order":"asc"}}
    body = {'from':0, 'size':10000,"query":data,"sort":sort}
    results = es.search(index='datalake_market_category_matching', body=body)
    print(len(results['hits']['hits']))

    result = results['hits']['hits']
    df = json_normalize(result)
    return df
    
df1 = first_df()
df2 = first_df()
df = pd.concat([df1,df2])
df

2. sql처럼 사용하기

• pandassql 사용하기

from pandasql import sqldf

pysqldf = lambda q: sqldf(q, globals())
df2 = pysqldf("select product_no, count(*) from df group by product_no order by count(product_no) desc;")
df2

3. 모든 행, 모든 열 보기

• pd.set_option('display.max_rows', None)
• pd.set_option('display.max_columns', None)