Rubyの線形回帰で未来を予測する

Kaggleのこのデータセットを使用します：https：//www.kaggle.com/leonardopena/top50spotify2019CSVとしてダウンロードできます。

データセットには16列あります。ただし、気にするのは「トラック名」、「1分あたりのビート数」、「人気度」の3つだけです。機械学習の最も重要なステップの1つは、データを適切にフォーマットすることです。これは、「マング」と呼ばれることがよくあります。前述の3つの列を除くすべてのデータを削除できます。

CSVは次のようになります。

Rubyを使用して回帰を行う

この例では、ruby_linear_regressionを利用します。 宝石。インストールするには、次を実行します：

gem install ruby_linear_regression

OK、コーディングを開始する準備ができました！新しいRubyファイルを作成し、次の要件を追加します。

require "ruby_linear_regression"
require "csv"

次に、CSVデータを読み取り、#shiftを呼び出します。 、ヘッダー行を破棄します。または、CSVファイルから最初の行を削除することもできます。

csv = CSV.read("top50.csv")
csv.shift

xデータポイントとyデータポイントを保持する2つの空の配列を作成しましょう。

x_data = []
y_data = []

...そして.eachを使用して繰り返します Beats Per Minuteを追加するメソッド x配列へのデータとPopularity y配列へのデータ。

ここで実際に何が起こっているのか知りたい場合は、rowをログに記録して実験できます。 putsのいずれかを使用します またはp 。例：puts row

csv.each do |row|
  x_data.push( [row[1].to_i] )
  y_data.push( row[2].to_i )
end

次に、ruby_linear_regressionを使用します。 宝石。回帰モデルの新しいインスタンスを作成し、データを読み込み、モデルをトレーニングします。

linear_regression = RubyLinearRegression.new
linear_regression.load_training_data(x_data, y_data)
linear_regression.train_normal_equation

次に、平均二乗誤差（MSE）を出力します。これは、観測値と予測値の差の尺度です。負の値と正の値が互いに打ち消し合わないように、差は2乗されます。予測値と実際の値の間の距離を大きくしたくないため、MSEを最小化する必要があります。

puts "Trained model with the following cost fit #{linear_regression.compute_cost}"

最後に、コンピューターにモデルを使用して予測を行わせましょう。具体的には、250 BPMの曲はどれくらい人気がありますか？ prediction_dataのさまざまな値を自由に試してみてください 配列。

prediction_data = [250]
predicted_popularity = linear_regression.predict(prediction_data)
puts "Predicted popularity: #{predicted_popularity.round}"

➜  ~ ruby spotify_regression.rb
Trained model with the following cost fit 9.504882197447587
Predicted popularity: 91

➜  ~ ruby spotify_regression.rb
Trained model with the following cost fit 9.504882197447587
Predicted popularity: 86

require 'csv'
require 'ruby_linear_regression'

x_data = []
y_data = []
csv = CSV.read("top50.csv")
csv.shift

# Load data from CSV file into two arrays -- one for independent variables X (x_data) and one for the dependent variable y (y_data)
# Row[0] = title
# Row[1] = BPM
# Row[2] = Popularity
csv.each do |row|
  x_data.push( [row[1].to_i] )
  y_data.push( row[2].to_i )
end

# Create regression model
linear_regression = RubyLinearRegression.new

# Load training data
linear_regression.load_training_data(x_data, y_data)

# Train the model using the normal equation
linear_regression.train_normal_equation

# Output the cost
puts "Trained model with the following cost fit #{linear_regression.compute_cost}"

# Predict the popularity of a song with 250 BPM
prediction_data = [250]
predicted_popularity = linear_regression.predict(prediction_data)
puts "Predicted popularity: #{predicted_popularity.round}"