scikit-learnライブラリを使用して、Pythonでのトレーニングとテストの目的でデータセットを分割する方法を説明してください。

Scikit-learnは、一般にsklearnとして知られ、機械学習アルゴリズムを実装する目的で使用されるPythonのライブラリです。統計モデリングを実行するためのさまざまなツールを提供するため、強力で堅牢です。

これには、Pythonの強力で安定したインターフェースの助けを借りて、分類、回帰、クラスタリング、次元削減などが含まれます。 Numpy、SciPy、Matplotlibライブラリに基づいて構築されています。

入力データを機械学習アルゴリズムに渡す前に、トレーニングデータセットとテストデータセットに分割する必要があります。

データが選択したモデルに適合すると、入力データセットはこのモデルでトレーニングされます。トレーニングが行われると、モデルはデータから学習します。

また、新しいデータを一般化することも学びます。モデルのトレーニング中は、テストデータセットは使用されません。

すべてのハイパーパラメータが調整され、最適な重みが設定されると、テストデータセットが機械学習アルゴリズムに提供されます。

これは、アルゴリズムが新しいデータにどの程度一般化されているかを確認するために使用されるデータセットです。 scikit-learnライブラリを使用してデータを分割する方法を見てみましょう。

例

from sklearn.datasets import load_iris
my_data = load_iris()
X = my_data.data
y = my_data.target
from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size = 0.2, random_state = 2
)
print("The dimensions of the features of training data ")
print(X_train.shape)
print("The dimensions of the features of test data ")
print(X_test.shape)
print("The dimensions of the target values of training data ")
print(y_train.shape)
print("The dimensions of the target values of test data ")
print(y_test.shape)

出力

The dimensions of the features of training data
(120, 4)
The dimensions of the features of test data
(30, 4)
The dimensions of the target values of training data
(120,)
The dimensions of the target values of test data
(30,)

説明

• 必要なパッケージがインポートされます。
• これに必要なデータセットも環境に読み込まれます。
• 機能とターゲット値はデータセットから分離されています。
• トレーニングデータとテストデータは、それぞれ80％と20％の比率で分割されます。
• これは、データの20％が、モデルが新しいデータでどの程度一般化されているかを確認するために使用されることを意味します。
• これらの分割は、データのディメンションとともにコンソールに印刷されます。