Matplotlibを使用してPySparkSQLの結果をプロットする方法は？

• 図のサイズを設定し、サブプロット間およびサブプロットの周囲のパディングを調整します。
• Spark機能のメインエントリポイントであるインスタンスを取得します。
• Hiveに保存されているデータと統合するSparkSQLのバリアントのインスタンスを取得します。
• レコードのリストをタプルとして作成します。
• ローカルのPythonコレクションを配布してRDDを形成します。
• リストレコードをDBスキーマとしてマッピングします。
• スキーマインスタンスを取得して、"my_table"にエントリを作成します。
• レコードをテーブルに挿入します。
• SQLクエリを読み取り、レコードを取得します。
• フェッチされたレコードをデータフレームに変換します。
• 名前でインデックスを設定します 属性を付けてプロットします。
• 図を表示するには、 show（）を使用します メソッド。

例

from pyspark.sql import Row
from pyspark.sql import HiveContext
import pyspark
import matplotlib.pyplot as plt

plt.rcParams["figure.figsize"] = [7.50, 3.50]
plt.rcParams["figure.autolayout"] = True

sc = pyspark.SparkContext()
sqlContext = HiveContext(sc)

test_list = [(1, 'John'), (2, 'James'), (3, 'Jack'), (4, 'Joe')]
rdd = sc.parallelize(test_list)
people = rdd.map(lambda x: Row(id=int(x[0]), name=x[1]))
schemaPeople = sqlContext.createDataFrame(people)
sqlContext.registerDataFrameAsTable(schemaPeople, "my_table")

df = sqlContext.sql("Select * from my_table")
df = df.toPandas()
df.set_index('name').plot()

plt.show()

出力