(Python : Basic) DataFrame Grouping

!pip install finance-datareader
!pip install beautifulsoup4 
!pip install numpy
!pip install pandas

# default settings
import numpy as np
import pandas as pd

# jupyter notebook 여러 실행인자 실행해도 print되게 만들기
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity = "all"

pd.set_option('display.float_format', lambda x: '%.3f' % x)
pd.set_option('max_columns', None)

df = pd.read_csv("data/2016_12.csv")
df.head()

# 수익률을 구해보자
    # 참고로 price2 : 17.12 종가
    # price : 16.12 종가 이다.
df['rtn'] = df['price2'] / df['price'] - 1
df[['ticker', 'rtn']].head()

# 아래와 같은 네 가지 그룹으로 나눠보자
bound1 = df['PER(배)'] >= 10
bound2 = (5 <= df['PER(배)']) & (df['PER(배)'] < 10)
bound3 = (0 <= df['PER(배)']) & (df['PER(배)'] < 5)
bound4 = df['PER(배)'] < 0

# PER이 10보다 큰 애들만 출력
df[bound1].head()

df.loc[bound1, 'PER_Score'] = 1
df.loc[bound2, 'PER_Score'] = 2
df.loc[bound3, 'PER_Score'] = 3
df.loc[bound4, 'PER_Score'] = -1

df['PER_Score'].head()

df['PER_Score'].nunique()

# 각 그룹별로 몇개인지 출력
df['PER_Score'].value_counts()

# nan가 있는지 체크해보자
df['PER_Score'].hasnans

# nan이 몇개나 있지?
df['PER_Score'].isna().sum()

# PER_Score를 만드는 PER(배)를 먼저 분석해 보자
df['PER(배)'].isna().sum()

df[df['PER(배)'].isna()]

# PER_Score가 nan일 경우 0으로 채우자
df.loc[df['PER_Score'].isna(), "PER_Score"] = 0

# 혹은 이렇게 가능
# df['PER_Score'] = df['PER_Score'].fillna(0)

df.loc[:, "PER_Score1"] = (bound1 * 1)  + (bound2 * 2) + (bound3 * 3) + (bound4 * -1) 
df['PER_Score1'].head()

# 이런식으로 처리시 nan이 애초에 존재하지 않는다
df['PER_Score1'].hasnans

# 두 PER Score는 같을까?
df['PER_Score'].equals(df['PER_Score1'])

# 데이터 타입자체가 다르다
df['PER_Score'].dtypes
df['PER_Score1'].dtypes

# 데이터형을 통일시키면 같음.
df['PER_Score'].astype(int).equals(df['PER_Score1'])

per_cuts = pd.cut(
    df['PER(배)'],
    [-np.inf, 0, 5, 10, np.inf], 
     # -np.inf, 0 / 0, 5 / 5, 10 / 10, np.inf
     # 구간 중 하나로 
)

per_cuts.head()

# Interval이라는 자료형으로 들어가게 됨.
per_cuts.iloc[0]

# 각 몇개씩 들어가 있는지 보자면.
per_cuts.value_counts()

per_cuts.isna().sum()

bins = [-np.inf, 10, 20, np.inf]
labels = ['저평가주', '보통주', '고평가주']
per_cuts2 = pd.cut(
    df['PER(배)'], 
    bins=bins, 
    labels=labels
)
per_cuts2.head()

# qcut
pd.qcut(df['PER(배)'], 3, labels=[1,2,3]).head()
# pd.qcut(df['PER(배)'], 3, labels=[1,2,3]).value_counts()

df.loc[:, 'PER_Score2'] = pd.qcut(df['PER(배)'], 10, labels=range(1, 11))
df.head()

df['PER_Score2'].value_counts()

# 역시 nan는 있다
df['PER_Score2'].hasnans

df = df.dropna(subset=['PER(배)'])

df['PER_Score2'].isna().sum()

df = pd.read_csv("data/2016_12.csv")
df = df.dropna()

g_df = df.copy()
g_df['rtn'] = g_df['price2'] / g_df['price'] - 1
g_df.head()

g_df.loc[:, 'PER_score'] = pd.qcut(g_df['PER(배)'], 10, labels=range(1, 11))
g_df.loc[:, 'PBR_score'] = pd.qcut(g_df['PBR(배)'], 10, labels=range(1, 11))

g_df.set_index('ticker', inplace=True)

g_df.head()

# "PBR_score", "PER_score"로 group을 생성해 달라
    # 예를들어 PBR_score(1), PER_score(2) 인 그룹
    # PBR_score(1), PER_score(3) 인 그룹
    # ...
g_df_obj = g_df.groupby(["PBR_score", "PER_score"])
g_df_obj

# 타입조사
type(g_df_obj)

# 몇개의 그룹이 나올까?
g_df_obj.ngroups

g_df['PBR_score'].nunique()
g_df['PER_score'].nunique()

# 몇개씩 들어가 있는지 확인
g_df_obj.size().head()

# Multi-level index를 가진 Series indexing하는 법 
g_df_obj.size().loc[1]
g_df_obj.size().loc[2]
g_df_obj.size().loc[(1, 1)]

# 좀 보기 편하게 하기 위해서
    # Series -> DataFrame으로 변환
g_df_obj.size().to_frame().head()

# 이런식으로 keys와 value를 볼 수 있는데 너무 길어서 생략.
# g_df_obj.groups.keys()
# g_df_obj.groups.values()

# 그룹에 속한 아이템 확인가능.
g_df_obj.get_group((1, 1))

# for문을 통해 출력
for name, group in g_df_obj:
    name
    group.head()
    break

g_df.groupby('PER_score').size()
g_df.groupby('PER_score').head(1).head(5)

g_df.groupby("PBR_score").agg(
    {
        "rtn": "mean", # =  np.mean
    }
)

pbr_rtn_df = g_df.groupby("PBR_score").agg({'rtn': 'mean'})
per_rtn_df = g_df.groupby("PER_score").agg({'rtn': 'mean'})

pbr_rtn_df.head()

# 다양한 방법으로 진행하기 (같은 결과)
g_df.groupby("PER_score")['rtn'].agg('mean').head()
g_df.groupby("PER_score")['rtn'].agg(np.mean).head()
g_df.groupby("PER_score")['rtn'].mean().head()

# 단, return type이 다를 수 있음에 주의
g_df.groupby("PER_score")['rtn'].agg("mean").head(2)   # Series로 return
g_df.groupby("PER_score")[['rtn']].agg("mean").head(2)  # DataFrame으로 return

# 2개 이상의 컬럼에 대해 aggregation
g_df.groupby("PER_score")[['rtn', 'PBR(배)']].agg("mean").head(2)

# 2개 이상의 aggregation
g_df.groupby("PER_score")[['rtn', 'PBR(배)']].agg(["mean", "std"]).head(2)

# 2개 이상의 컬럼 & 각각에 대해 다른 aggregation
g_df.groupby("PBR_score").agg(
    {
        'rtn': ['mean', 'std'],
        'PER(배)': ['min']
        
    }
)

# sqrt는 aggregation 방식의 연산이 아님!
np.sqrt([1, 2, 3, 4])

# g_df.groupby("PER_score")['rtn'].agg(np.sqrt)
# error

!pip install matplotlib
pbr_rtn_df.plot(kind='bar')

pbr_rtn_df.plot(kind='bar');
per_rtn_df.plot(kind='bar');

g_df1 = g_df.groupby(["PBR_score", "PER_score"])\
            .agg(
                {
                    'rtn': ['mean', 'std', 'min', 'max'],
                    'ROE(%)': [np.mean, 'size', 'nunique', 'idxmax'] 
                 }
            )
g_df1.head()

a = g_df.groupby(["PBR_score", "PER_score"])['rtn', 'ROE(%)'].agg(['sum', 'mean'])

# Multi-index라고 해서 쫄 것 없음!
a.loc[1]
a.loc[(1, 3)]
a.loc[[(1, 3), (1, 4 )]]

df = pd.DataFrame({
    'a':['소형주', np.nan, '대형주', '대형주'],
    'b':[np.nan, 2,         3,     np.nan],
})
df

df.groupby(['a'])['b'].mean()

a = g_df.groupby(["PER_score"]                ).agg({'rtn': ['mean', 'std']}).head(2)
b = g_df.groupby(["PER_score"], as_index=False).agg({'rtn': ['mean', 'std']}).head(2)

a
b

a['rtn']
a[('rtn', 'mean')].head()

a_df = pd.read_csv("data/Small_and_Big.csv", index_col=[0])
a_df.head()

median_df = a_df.groupby(['date']).agg({'시가총액 (보통)(평균)(원)': 'median'})
median_df.head()

median_df.columns = ['시가총액_median']
median_df.head()