Pythonでグループ化されたデータの共分散を計算する方法｜データフレームの2列間の共分散も解説

はじめに

pandasのデータフレームが与えられたとき、「subjects」列でデータをグループ化して共分散行列を計算し、さらに特定の2つの列（mark1とmark2）の間の共分散を求めたいケースはよくあります。本記事では、その実現方法をサンプルコード付きでわかりやすく解説します。

最終的に得られる出力は以下のようになります。

グループ化されたデータの共分散:
              mark1        mark2
subjects
maths    mark1  25.0     12.500000
         mark2  12.5    108.333333
science  mark1  28.0     50.000000
         mark2  50.0    233.333333

2列間のグループ化されたデータの共分散:
subjects
maths     12.5
science   50.0
dtype: float64

解決手順

この問題を解決するには、以下の手順に従います。

• まず、対象となるデータフレームを定義します。

• データフレームの「subjects」列に対してgroupby関数を適用し、データをグループ化します。

df.groupby('subjects')

• グループ化されたデータにcov()関数を適用し、結果をgroup_dataに格納します。これにより、科目ごとの共分散行列が得られます。

group_data = df.groupby('subjects').cov()

• 次に、「subjects」列でグループ化した各レコードに対して、mark1列とmark2列の間の共分散を計算するラムダ関数をapply()で適用します。

df.groupby('subjects').apply(lambda x: x['mark1'].cov(x['mark2']))

サンプルコード

理解を深めるために、上記の手順をすべて含んだ完全なコードを見てみましょう。

import pandas as pd

df = pd.DataFrame({'subjects':['maths','maths','maths','science','science','science'],
                   'mark1':[80,90,85,95,93,85],
                   'mark2':[85,90,70,75,95,65]})

print("データフレーム:\n", df)

group_data = df.groupby('subjects').cov()
print("グループ化されたデータの共分散:\n", group_data)

result = df.groupby('subjects').apply(lambda x: x['mark1'].cov(x['mark2']))
print("2列間のグループ化されたデータの共分散:\n", result)

出力結果

データフレーム:
   subjects mark1 mark2
0    maths   80    85
1    maths   90    90
2    maths   85    70
3  science  95    75
4  science  93    95
5  science  85    65
グループ化されたデータの共分散:
              mark1        mark2
subjects
maths    mark1  25.0     12.500000
         mark2  12.5    108.333333
science  mark1  28.0     50.000000
         mark2  50.0    233.333333

2列間のグループ化されたデータの共分散:
subjects
maths     12.5
science   50.0
dtype: float64

補足：共分散とは

共分散（covariance）は、2つの変数がどのように連動して変動するかを表す統計量です。値が正であれば、一方が大きくなるともう一方も大きくなる傾向があることを示し、負であれば逆方向に動く傾向があることを示します。

groupby().cov()を使えば、カテゴリごとの共分散行列を一括で取得でき、apply()とlambdaを組み合わせれば、特定の2列だけの共分散を簡単に抽出できます。成績データのようなカテゴリ別の数値分析において非常に便利なテクニックなので、ぜひ活用してみてください。