Python

Pythonとpandasライブラリを使えば、CSVファイルからデータを読み込み、最後の2行の合計を簡単に計算できます。この記事では、3つの異なるアプローチを具体的なコード例とともに解説します。 準備：サンプルCSVファイル まず、以下のようなデータが含まれたCSVファイルを用意し、「pandas.csv」という名前で保存してください。 pandas.csv Id,Data 1,11 2,22 3,33 4,44 5,55 6,66 7,77 8,88 9,99 10,100 このファイルに対して処理を実行すると、最後の2レコード（Id: 9と10、Data: 99と100）の合計は次のよう

Pythonのpandasライブラリを使えば、Excelファイルからデータを読み込み、特定の列の値を簡単に抽出できます。この記事では、「pandas.xlsx」という名前のExcelファイルがローカル環境に保存されているものとして、最初の列と最後の列のすべての行を読み取るプログラムを作成する方法を解説します。 解決手順 以下の手順に従って進めます。 pd.read_excelメソッドを定義する：pandas.xlsxファイルからデータを読み込み、変数dfに格納します。 df = pd.read_excel(pandas.xlsx) df.iloc[:,0] を適用する：最初の列のすべての

pandasのデータフレームをHTML形式のファイルとして出力したい場面は多くあります。例えば、Webページに表形式のデータを掲載したいときや、レポート作成時にそのままHTMLへ組み込みたいときなどが挙げられます。ここでは、あらかじめ保存しておいた pandas.csv ファイルを読み込み、それをHTML形式にエクスポートする方法を解説します。解決手順以下の手順に従って実装していきます。1. CSVファイルを読み込むread_csv メソッドを使って、CSVファイルをデータフレームとして読み込みます。df = pd.read_csv(pandas.csv)2. 書き込みモードでHTMLファイル

時系列データを扱っていると、データを月単位でまとめ直し（リサンプリング）、各月の最終日（月末）を基準にした最大値を求めたい場面があります。pandasのresampleメソッドを使えば、この処理をわずか数行のコードで実現できます。 例として、次のような時系列データを含むDataFrameを想定します。リサンプリングを実行すると、以下のように月ごとの最大値が得られます。 DataFrameの内容: Id time_series 0 1 2020-01-05 1 2 2020-01-12 2 3 2020-01-19 3 4 2020-01-26 4 5 2020-02-02 5 6 2020-

以下のようなサンプルJSONデータが pandas_sample.json というファイルに保存されていると仮定します。 { employee: { name: emp1, salary: 50000, age: 31 } } このデータをCSVに変換すると、結果は以下のようになります。 ,employee age,31 name,emp1 salary,50000 解決手順 この問題を解決するには、以下の手順に沿って進めます。 pandas_sample.json ファイルを作成し、JSONデータを保存します。 pd.read

Pythonでは、Pandasのto_pickle()メソッドを使うことで、データフレームを簡単にPickleファイル形式で保存できます。また、read_pickle()メソッドを使用すれば、保存したファイルから元のデータフレームを読み込むことができます。例えば、あるデータフレームをPickleファイルにエクスポートし、その後ファイルから内容を読み取ると、結果は以下のようになります。Export to pickle file: Read contents from pickle file:   Fruits    City 0 Apple    

はじめにこの記事では、pandasのSeries（系列）データに対して自己相関を計算するPythonプログラムを紹介します。ラグ（lag）の数を指定することで、任意のずらし幅における自己相関係数も求められます。例として、次のような系列データがあると仮定します。ラグ2を指定した場合の自己相関の結果は以下の通りです。Series is: 0 2.0 1 10.0 2 3.0 3 4.0 4 9.0 5 10.0 6 2.0 7 NaN 8 3.0 dtype: float64 series correlation: -0.4711538

pandasのDataFrameで時系列データを扱う際、「特定の日付範囲のデータだけを抽出したい」という場面はよくあります。本記事では、truncate()メソッドを使って、インデックス値に基づいて時系列データを切り詰めるプログラムの作成方法を解説します。 処理前後のイメージ 週次の時系列データを持つDataFrameに対してtruncate()を適用すると、指定した範囲のデータのみが残ります。処理前後の出力は以下の通りです。 before truncate: Id time_series 0 1 2020-01-05 1 2 2020-01-12 2 3 2020-0

pandasでは、melt()、stack()、unstack()、pivot()といった関数を使うことで、データフレームをさまざまな形に再形成（リシェイプ）できます。本記事では、それぞれの関数の特徴と使い方を、実際のコード例と出力結果とともにわかりやすく解説します。 解決策1：melt()関数でワイド形式をロング形式に変換する データフレームを定義します。 melt()関数を適用すると、ワイド形式のデータフレームの列が行方向へ変換されます。 df.melt() 実行例 以下のコードを実行して、動作を確認してみましょう。 import pandas as pd df = pd.DataFr

はじめにpandasのデータフレームが与えられたとき、「subjects」列でデータをグループ化して共分散行列を計算し、さらに特定の2つの列（mark1とmark2）の間の共分散を求めたいケースはよくあります。本記事では、その実現方法をサンプルコード付きでわかりやすく解説します。最終的に得られる出力は以下のようになります。グループ化されたデータの共分散: mark1 mark2 subjects maths mark1 25.0 12.500000 mark2 12.5 108.333333 science

Pythonのpandasライブラリを使うと、データフレーム内の重複行を簡単に削除できます。本記事では、drop_duplicates()関数を使って、特定のカラム（IdとAge）に基づく重複行のうち、最初に出現する行を削除し、最後の行を残す方法を解説します。処理結果のイメージ例として、次のようなデータフレームがあるとします。この中から最初の重複行を削除すると、結果は以下のようになります。    Id Age 0    1 12 3    4 13 4    5 14 5    6 12 6 &

はじめに時系列データを扱う際、データを行や列の方向にずらして比較したいケースはよくあります。pandasのshift()メソッドを使えば、データフレームの値を任意の期間だけ簡単にシフトできます。本記事では、日時をインデックスとするデータフレームを作成し、そのインデックス（行）を正方向に2期間、および負方向に2期間シフトする方法を解説します。期待される結果インデックスを正方向に2期間シフトすると先頭の2行がNaN（欠損値）となり、負方向に2期間シフトすると末尾の2行がNaNになります。実行結果は以下の通りです。正方向に2期間シフトした場合 Id Age

pandasのPanelを使って、データフレームの辞書からパネルを作成し、その中の最初の列の最大値を求めます。実行結果は以下の通りです。maximum value of first column is ; Column1    1.377292解決策この問題を解くには、以下の手順に従います。辞書のキーを「Column1」とし、その値として pd.DataFrame(np.random.randn(5, 3)) を設定します。data = {Column1 : pd.DataFrame(np.random.randn(5, 3))}作成したデータをPanelに割り当て、変数p

pandasのデータフレームには、値の順位（ランク）を計算するためのrank()メソッドが用意されています。この記事では、特定の列に対してrank()を適用し、同順位の扱い方を「min」に指定することで、最小ランクを求める方法を解説します。 前提となるデータフレーム 以下のようなデータフレームを例に考えます。「Age」列の値からランクを計算し、「Rank」という新しい列として追加します。  Id Name    Age    Rank 0 1 Adam    12    1.0 1 2 David &nb

ここでは、pandasのPanel（パネル）オブジェクトから最初の行の平均値を求める方法を解説します。実行すると、次のような結果が得られます。 Average of first row is: Column1 0.274124 dtype: float64 解決手順 この問題を解くには、以下の手順に従います。 辞書型のデータを作成します。キーは「Column1」、値は pd.DataFrame(np.random.randn(5, 3)) とします。 data = {Column1 : pd.DataFrame(np.random.randn(5, 3))} 作成したデータをP

解決策 データフレームが与えられ、その行および列の平均絶対偏差（MAD: Mean Absolute Deviation）を求めたいとします。平均絶対偏差とは、各データ点と平均値との差の絶対値を取ったものの平均であり、データのばらつき具合を測る指標の一つです。 期待される出力は次のとおりです。 mad of columns: Column1 0.938776 Column2 0.600000 dtype: float64 mad of rows: 0 0.500 1 0.900 2 0.650 3 0.900 4 0.750 5 0.575 6

データフレームを用意し、その分布の形状を定量化すると、次のような結果が得られます。 kurtosis is: Column1 -1.526243 Column2 1.948382 dtype: float64 asymmetry distribution - skewness is: Column1 -0.280389 Column2 1.309355 dtype: float64 解決の手順 この問題を解くには、以下の手順に従います。 まず、対象となるデータフレームを定義します。 df.kurt(axis=0) を適用して、分布の形状（尖度）を列ごとに計算しま

データ分析では、外れ値や極端な数値を一定の範囲内に収めたいケースがよくあります。pandasのclip関数を使えば、データフレーム内の値を指定した下限（最小しきい値）と上限（最大しきい値）で簡単にトリミングできます。 例えば、次のようなデータフレームに対して、最小しきい値と最大しきい値によるトリミングを行うと、以下のような結果が得られます。 minimum threshold: Column1 Column2 0 30 30 1 34 30 2 56 30 3 78 50 4 30 90

pandasのDataFrameに対して、テーブル単位（表全体）の関数を一括で適用したいケースはよくあります。そんなときに便利なのが pipe() メソッドです。DataFrame全体をそのまま関数へ渡して処理できます。 たとえば、あるデータフレームに対してテーブル単位の関数を適用すると、結果は以下のようになります。 Table wise function:    Id  Mark 0  6.0 85.0 1  7.0 95.0 2  8.0 75.0 3  9.0 90.0 4 10.0 95.0 解決策 この問題を解く

はじめに pandasのDataFrameにおいて、Id列とAge列の値について、先頭2行および末尾2行の変化率（パーセント変化）を計算する方法を解説します。 今回作成するコードの出力イメージは以下の通りです。 Id and Age-top 2 values Id Age 0 NaN NaN 1 1.0 0.0 Id and Age-bottom 2 values Id Age 3 0.000000 -0.071429 4 0.666667 0.000000 解決の手順 この問題は、以下の手順で解決できます。 まず、対象となるDataFr