Python Pandasのnotnull()メソッドでNULL値(NaN)を確認する方法
Pandasのnotnull()メソッドは、ブール値(True / False)を返すメソッドです。DataFrameにNULL値(NaN)が含まれている場合はFalseを返し、NULL値でない場合はTrueを返します。
ここでは、NaN(NULL値)をいくつか含む次のCSVファイルを例にして説明します。

CSVファイルの読み込み
まず、read_csv()を使ってCSVファイルを読み込みます。
dataFrame = pd.read_csv("C:\\Users\\amit_\\Desktop\\CarRecords.csv")NULL値以外(有効なデータ)の確認
notnull()メソッドを呼び出して、NULL値以外の要素を確認します。
res = dataFrame.notnull()
notnull()はブール値を返すため、DataFrameを表示すると、CSVの各データがTrueとFalseの形で表示されます。NULL値(NaN)のセルにはFalseが、NULL値以外のセルにはTrueが表示されます。
サンプルコード
以下が完全なコード例です。
import pandas as pd
# CSVファイルを読み込む
dataFrame = pd.read_csv("C:\\Users\\amit_\\Desktop\\CarRecords.csv")
print("DataFrame...\n",dataFrame)
# DataFrameの行数と列数を取得
print("\nNumber of rows and column in our DataFrame = ",dataFrame.shape)
# NULL値以外を確認
res = dataFrame.notnull()
print("\nDataFrame displaying False for Null (NaN) value = \n",res)
# NULL値を含む行を削除
dataFrame = dataFrame.dropna()
print("\nDataFrame after removing null values...\n",dataFrame)
print("\n(Updated) Number of rows and column in our DataFrame = ",dataFrame.shape)実行結果
上記のコードを実行すると、次のような出力が得られます。
DataFrame... Car Place UnitsSold 0 Audi Bangalore 80.0 1 Porsche Mumbai 110.0 2 RollsRoyce Pune NaN 3 BMW Delhi 200.0 4 Mercedes Hyderabad 80.0 5 Lamborghini Chandigarh NaN 6 Audi Mumbai NaN 7 Mercedes Pune 120.0 8 Lamborghini Delhi 100.0 Number of rows and column in our DataFrame = (9, 3) DataFrame displaying False for Null values = Car Place UnitsSold 0 True True True 1 True True True 2 True True False 3 True True True 4 True True True 5 True True False 6 True True False 7 True True True 8 True True True DataFrame after removing null values... Car Place UnitsSold 0 Audi Bangalore 80.0 1 Porsche Mumbai 110.0 3 BMW Delhi 200.0 4 Mercedes Hyderabad 80.0 7 Mercedes Pune 120.0 8 Lamborghini Delhi 100.0 (Updated)Number of rows and column in our DataFrame = (6, 3)
まとめ
このように、notnull()メソッドを使えば、DataFrame内のどのセルにNULL値(NaN)が含まれているかを一目で確認できます。また、確認後にdropna()メソッドを組み合わせれば、NULL値を含む行を簡単に削除することも可能です。データクレンジングや前処理の際に非常に便利な機能なので、ぜひ活用してみてください。
-
Python Pandas入門:interpolate()メソッドでNaN値を補間して埋める方法
はじめにPandasでは、interpolate()メソッドを使うことで、DataFrame内の欠損値(NaN)を補間によって効率的に埋めることができます。このメソッドは、前後の値をもとに線形補間を行い、データの流れを保ちながら自然な形で欠損値を推定します。ここでは、Microsoft Excelで開いた以下のようなCSVファイルを例に説明します。このデータには一部NaN値が含まれています。1. CSVファイルからデータを読み込むまず、read_csv()関数を使って、CSVファイルのデータをPandas DataFrameに読み込みます。dataFrame = pd.read_csv(C:\
-
【Python Pandas】fillnaで欠損値(NaN)を後方の値で埋める方法(bfill)
はじめに PandasのDataFrameには、データの読み込みミスや入力漏れなどによって欠損値(NaN)が含まれることがあります。このような欠損値を処理する方法のひとつが、「後ろにある有効な値を前方向きに引き継いで埋める」という後方補完(Backward Fill)です。 本記事では、fillna()メソッドのmethodパラメータにbfillを指定して、null以外の値を後方から伝播させる方法を解説します。 bfillの基本的な使い方 後方補完を行うには、fillna()メソッドの引数に以下のように指定します。 fillna(method=bfill) bfillは「backward f