前回は、交差検証を行なうためのデータの分割について学びました。
pimientito-handson-ml.hatenablog.com
今回は、時系列データの分割について学びます。
【今回の目標到達点】
時系列データの分割を学ぶ
【目次】
参考資料のご紹介
はじめに、現在、主に参考とさせていただいている書籍をご紹介します。
「前処理大全 データ分析のためのSQL/R/Python実践テクニック」本橋智光氏著(技術評論社)
![前処理大全[データ分析のためのSQL/R/Python実践テクニック]](https://images-fe.ssl-images-amazon.com/images/I/61D0XQc0fwL._SL160_.jpg "前処理大全[データ分析のためのSQL/R/Python実践テクニック]")
前処理大全[データ分析のためのSQL/R/Python実践テクニック]
- 作者: 本橋智光
- 出版社/メーカー: 技術評論社
- 発売日: 2018/04/13
- メディア: 大型本
- この商品を含むブログ (1件) を見る
「分割」の概要
参考資料「前処理大全」第5章「分割」の冒頭で、著者はデータの分割について、以下のように述べています。
データの分割は予測モデルを評価する際に必要になる前処理です。主に学習データ（予測モデルを構築する際に利用するデータ）と検証データ（モデルの精度を測定するためのデータ）の分割に利用されます。
学習データと検証データは、必要とする列データは同じです。「予測モデルに入力するための列データ」と「予測モデルの予測対象の列データ」です。そのため、学習データと検証データに対して適用する前処理はすべて同じです。
参考・参照元：第5章「分割」(p.130)より抜粋
第5章「分割」では、データの分割について、以下の方法が紹介されています。
レコードデータにおけるモデル検証用のデータ分割
時系列データにおけるモデル検証用のデータ分割
今回のテーマ
時系列データにおけるモデル検証用のデータ分割
概要
参考資料5-2「時系列データにおけるモデル検証用のデータ分割」では、時系列データの分割方法について紹介されています。
なお著者曰く、前回学んだ交差検証では、時系列データを安易に使用できないと言及されています。以下、該当部分の抜粋です。
多くの人が間違えてしまいがちなのですが、実は時系列データにおいて単純な交差検証は有効ではありません。なぜなら、交差検証によって不当にモデル精度が高くなってしまうことが多いからです。これは、未来のデータを使って予測モデルを作成し、過去のデータを検証しているケースが混ざってしまっていることが大きな原因です。
参考・参照元：第5章「分割」5-2「時系列データにおけるモデル検証用のデータ分割」(p.138-139)より抜粋
学習データに、予測対象のデータが混入することを「リーク(leak)」と呼びます。リークについては、前章「結合」で軽く触れました。
pimientito-handson-ml.hatenablog.com
前回【前処理の学習-31】で学んだ交差検証(クロス・バリデーション)では、分割したデータを順序不同で学習・検証するため、未来データのリークを防ぐことができません。
上図の場合、オレンジ色の枠が検証データに該当します。学習・検証データの選択位置が交差検証ごとに前後するため、時系列データが適していないことが分かります。
そこで著者は、時系列データに適した分割方法を紹介しています。
時間軸に対してスライドしながら検証する方法
時間軸に対して学習データを増やしながら検証する方法
ひとつずつ処理の概要を学習します。
時間軸に対してスライドしながら検証する方法
一つ目は、分割したデータを、過去から未来へ順次スライドする方法です。
この方法は、学習データ・検証データの抽出期間を固定して、検証ごとにデータの抽出場所をスライドします。例えば、検証データが二か月分右に移動すると、学習データも二か月分右に移動します。
常に一定の期間でスライドしながら学習を進めるため、データのリークは発生しません。(事前に、日付型データの並び替えは必要です)
上図「学習期間を一定にするパターン」の場合は、以下のようにデータをスライドしながら学習・検証しています。
検証1回目：学習データ(1月～6月)、検証データ(7月～8月)
検証2回目：学習データ(3月～8月)、検証データ(9月～10月)
検証3回目：学習データ(5月～10月)、検証データ(11月～12月)
この例題の問題点は、年間を通した学習・検証になっていないため、季節によって変動する傾向を正確に捉えることができません。そのため、このような学習・検証を行なう場合は、使用するデータが通年になるよう長い期間のデータが必要になると著者は述べています。
時間軸に対して学習データを増やしながら検証する方法
二つ目は、時系列データの期間が短い場合、検証ごとにデータをスライドさせずに、使用済み検証データを、学習データに追加しデータ量を補う方法です。
上図「学習期間を増やしていくパターン」の場合は、以下のように学習データを増やしながら、学習・検証しています。
検証1回目：学習データ(1月～6月)、検証データ(7月～8月)
検証2回目：学習データ(1月～8月)、検証データ(9月～10月)
検証3回目：学習データ(1月～10月)、検証データ(11月～12月)
この方法にも問題はあり、検証ごとに学習データ量が異なるため、モデルの精度を正確に把握することは難しく、そのため、データ量とモデル精度の関係も同時に把握する必要があるとのことです。
データとモデルの精度の相関関係を知る方法については、まだ学習経験が無く、手順が不明なため、今回は割愛します。
サンプルコード[Python]
参考資料によると、Pythonには、時系列データを分割処理するライブラリが、いまのところ無いため、自身でコーディングする必要があるそうです。ここでは、参考資料のサンプルコードを通して処理や動作を確認します。
サンプルデータセットを作成
今回のサンプルデータセットの内容は、以下の通りです。
| カラム名 | 内容 | レコード件数 |
|---|---|---|
| T_Data | YYYY-mm-dd形式の日付型データ | 731 |
| Num1 | np.random.randで生成した実数値データ | 731 |
| Num2 | np.random.randで生成した実数値データ | 731 |
日付型データは、2019-01-01から2020-12-31の二年間731日分のデータです。2020年が閏年のため、レコード数が731件になります。
実数型データのNum1とNum2は、筆者自身が、あまりNumPyライブラリに慣れていないため、練習として作成しました。カラム名や数値自体には、特に意味はありません。
データセットを作成するコードは、以下の通りです。
# 【前処理の学習-32】データを学ぶ ～分割～② # テストテーブル作成 import pandas as pd import numpy as np # 日付データの作成方法 tbl_lesson32 = pd.DataFrame({ 'T_Date' : pd.date_range('2019-01-01', '2020-12-31'), 'Num1' : np.random.rand(731), 'Num2' : np.random.rand(731)})
作成されたデータセットの内容を、head関数と、info関数で確認します。
日付型データと実数型データが作成されました。続いて参考資料のサンプルコードから時系列データを分割する方法を学びます。コーディングする前に、処理の流れを掴むためにイメージ図を作成しました。
前述した図「学習期間を一定にするパターン」「学習期間を増やしていくパターン」では、月単位のデータで学習・検証をしていましたが、サンプルコードでは、レコード単位でスライドしています。
サンプルコードを参考に、再作成したコードは、以下の通りです。
# 前処理大全 5-2「時系列データにおけるモデル検証用のデータ分割」 # サンプルコード python_awesome.py(p.144-145)を参考に作成 # カウンター初期化 counter = 1 # 学習データの開始行番号 train_start = 0 # 学習データの終了行番号 train_end = 24 # 検証データ件数 test_range = 12 # スライドするデータ件数 slide_rows = 12 # 年月に基づいてデータを並び替え tbl_lesson32.sort_values(by='T_Date') while True: # 検証データの終了行番号 test_end = train_end + test_range # 行番号を指定して、元データから学習データを抽出 train = tbl_lesson32[train_start : train_end] print('train : ' + str(counter)) print(train) print('') # 行番号を指定して、元データから検証データを抽出 test = tbl_lesson32[train_end : test_end] print('test : ' + str(counter)) print(test) print('') # 検証データの終了行番号が元データの行数以上になっているか判定 if test_end > len(tbl_lesson32.index): # 全データを対象にした場合、終了 break # データをスライドさせる train_start += slide_rows train_end += slide_rows # カウンター加算 counter += 1 # --- これ以降は、交差検定の結果をまとめるコード ---
実行結果は、以下の通りです。
左端のインデックス番号を追うと、レコード単位で移動していることが分かります。次の結果は、二周目の学習データと検証データです。
学習データと検証データの間に位置するレコード(赤枠部分)の抽出は、注意が必要です。Pythonのスライシング処理では、インデックスの指定を誤ると意図しないところでデータが欠落してしまいます。以下で、スライシングの動作について、少し詳しく学習します。
スライシング
スライシングとは、[ : ]を使って配列データ(*)から部分抽出する方法です。抽出位置の指定方法は、以下の通りです。(*) 二文字以上の文字列も配列データです。
配列データA [ 抽出開始位置：抽出終了位置]
ここで、スライシングのすべてをご紹介できませんが、連続したデータを抽出する際に、特に注意が必要な点について学習します。
例えば、N個ある連続データを二つ以上の変数に分割する時には、以下のような手順でコーディングすると思います。
変数A ⇨ Index[0] 〜 Index[X]
変数B ⇨ Index[X + 1] 〜 Index[N]
しかし、Pythonのスライシングでは、上記の指定では、変数A、B共に、それぞれ意図している最後尾のデータが欠落してしまいます。スライシングは、指定した開始位置から終了位置ー１までしか抽出されません。
意図した範囲のデータを抽出する場合、末尾のインデックスに「＋1」したインデックスを指定します。スライシングの範囲指定のイメージは、以下の通りです。
イメージ図と同じ内容で、サンプルコードを作成しました。実際にコードを実行しながら、結果を確認します。はじめにデータを作成します。
# スライシングの動作確認 import pandas as pd # 日付型サンプルデータの作成 df = pd.DataFrame({ 'date' : pd.date_range('2019-01-01', '2019-01-16')}) # データの確認 df[:]
作成したデータの内容は、以下の通りです。
続いてイメージ図と同じように2019-01-01〜2019-01-10のデータを抽出します。2019-01-01のインデックスは「0」、2019-01-10のインデックスは「9」を指しています。
# 学習データ部分抽出の確認 - 本来のインデックス番号の指定 - df[0:9]
指定したインデックスで抽出されたデータは、以下の通りです。
いままで述べてきた通り、意図した範囲のデータではありませんでした。次に終了位置のインデックスに「+1」した値で指定します。
# 学習データ部分抽出の確認 - インデックス番号+1の指定 - df[0:10]
インデックス「10」のデータは「2019-01-11」ですが、抽出できたデータは、2019-01-01〜2019-01-10でした。確認した結果は、以下の通りです。
スライシングを使った部分抽出の学習は、ここまでです。
言語の仕様を正確に把握していないことで、コーディングミスと混同する恐れもあることを、あらためて学びました。これからも言語の細かい仕様について、少しずつ学習を続けたいと思います。
今回の学習
「今回のテーマ」の内容を踏まえて、最初にテストデータの作成を行います。まず、どのようなデータが、今回の学習に適しているのか検討します。
テストデータの概要
条件
以下の条件を満たしているデータが、今回の学習に適していると考えます。
時系列データを含んでいること
データのボリュームが年単位であること
テストデータの選択
上記「条件」の内容をもとに考えたところ、すぐに頭に浮かぶのは、本ブログのスタート時から、何度もお世話になっている「気象データ」です。今回も、この気象データを使用して学習します。
テストデータの加工
今回は、時系列データの分割について学んでいるため、時系列データのカラム以外は、最小限のカラムに抑えました。データの内容は、以下の通りです。
| 項目 | 概要 |
|---|---|
| カラム | 年、月、日、日平均気温 |
| 範囲 | 2017/01/01〜2019/07/06 |
| 地域 | 東京 |
| 1レコード単位 | 日 |
気象庁のサイトからダウンロードしたデータを読み込みます。
#【前処理の学習-32】データを学ぶ ～分割～② # 前処理大全 5-2「時系列データにおけるモデル検証用のデータ分割」 import pandas as pd # データの読み込み(読み込み開始行:5〜、読み込み対象列：0(年), 1(月), 2(日), 3(日平均気温)) df = pd.read_csv('./data/lesson32_sample_data.csv', encoding='shiftjis', usecols=[0, 1, 2, 3], skiprows=4) df.columns = ['Year', 'Month', 'Day', 'Temp_mean']
読み込んだデータの内容は、以下の通りです。
ダウンロードしたデータでは、時系列データの「年」「月」「日」が、個々のカラムに別れているため、ひとつのカラムにまとめます。
# データの整形 tbl_lesson32 = \ pd.DataFrame({'Date' : pd.to_datetime(df[['Year', 'Month', 'Day']], format='%Y%m%d'), 'Temp_mean' : df['Temp_mean'] })
まとめた結果は、以下の通りです。
今回のテストデータの加工は、とても簡単ですが、これで準備が整いました。
テストデータを使って学習
「今回のテーマ」では「月単位」で、データを分割していました。一方、参考資料のサンプルコードでは「レコード単位(日単位)」でスライドする方法でした。ここでは「月単位」で、学習データと検証データを分割する方法のコーディングに挑戦します。
今回のコーディングでは、時系列データを学習データ・検証データに分割する部分を関数化しました。ただし、学習・検証する処理は、ダミー処理として集約関数を使用しています。
また実用的なコードのように、一般的な入力チェックやエラーチェックは考慮していません。
自作関数「DateTypeData_Validation」
関数の引数や戻り値は、以下の通りです。
| パラメータ | 概要 |
|---|---|
| tbl | データテーブル(データフレーム) |
| vl_start | 検証開始年月日 |
| vl_end | 検証終了年月日 |
| train_horizon | 学習期間(月単位) |
| test_horizon | 検証期間(月単位) |
| list_col | カラムリスト |
| key_col | ソート対象カラム |
| slide_flag | スライド式(True)/学習期間増加式(False) |
| 戻り値 | 無し |
今回の自作関数の処理の流れは、以下の通りです。
実際のコードは、以下の通りです。なお、処理結果を確認するためのデバッグコードは残したままにしています。
def DateTypeData_Validation(tbl, vl_start, vl_end, train_horizon, test_horizon, list_col, key_col, slide_flag=True): # Pandasライブラリ import pandas as pd # 日付型データ操作用関数 from pandas.tseries.offsets import Day, MonthEnd # 変数初期化 # ループカウンター lp_cnt = 1 # 学習データ開始位置 train_start_point = pd.to_datetime(vl_start) # 学習データ終了位置 train_end_point = train_start_point + MonthEnd(train_horizon) # 検証データ開始位置 test_start_point = train_end_point + 1 * Day() # 検証データ終了位置 test_end_point = test_start_point + MonthEnd(test_horizon) # 文字列型日付を、日付型に変換 tbl[key_col] = pd.to_datetime(tbl[key_col]) # 引数sort_keyに基づいてデータを並び替え tbl.sort_values(by=key_col) # 時系列型データの検証 while True: # スライド式の場合 if slide_flag : # 学習データ抽出 train_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= train_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= train_end_point), : ] #print(train_data.values) # 検証データ抽出 test_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= test_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= test_end_point), : ] # データ抽出位置更新 # 学習データ開始位置 train_start_point = train_start_point + MonthEnd(test_horizon) + 1 * Day() # 学習データ終了位置 train_end_point = train_start_point + MonthEnd(train_horizon) # 検証データ開始位置 test_start_point = train_end_point + 1 * Day() # 検証データ終了位置 test_end_point = test_start_point + MonthEnd(test_horizon) # 学習期間増加式の場合 else : # 学習データ抽出 train_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= train_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= train_end_point), : ] # 検証データを抽出 test_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= test_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= test_end_point), : ] # データ抽出位置更新 # 学習データ開始位置(固定のため、更新不要) # 学習データ終了位置 train_end_point = train_end_point + MonthEnd(test_horizon) # 検証データ開始位置 test_start_point = train_end_point + 1 * Day() # 検証データ終了位置 test_end_point = test_start_point + MonthEnd(test_horizon) # 検証 # 学習データ train_result = \ train_data.groupby([train_data[key_col].dt.year, train_data[key_col].dt.month]).agg({list_col[1] : ['count', 'mean', 'std']}) # 結果の表示(デバッグ用) print('') print('train_result : ' + str(lp_cnt)) print('--------------info--------------------') print(train_result.info()) print('--------------values-----------------') print(train_result.values) print('----------------------------------') # 検証データ test_result = \ test_data.groupby([test_data[key_col].dt.year, test_data[key_col].dt.month]).agg({list_col[1] : ['count', 'mean', 'std']}) # 結果の表示(デバッグ用) print('') print('test_result : ' + str(lp_cnt)) print('--------------info--------------------') print(test_result.info()) print('--------------values-----------------') print(test_result.values) print('----------------------------------') print('') # 終了判定(次回のテストデータ終了位置が、指定範囲を超えている場合) if test_end_point > pd.to_datetime(vl_end) : print('End of Cross_Validation.') break # ループカウンター lp_cnt += 1
関数の呼び出し元は、以下の通りです。
# 関数の呼び出し DateTypeData_Validation(tbl_lesson32, '20180101', '20181231', 4, 2, tbl_lesson32.columns, 'Date', True)
パラメータ値は、以下の通りです。
| パラメータ | 値 |
|---|---|
| tbl | tbl_lesson32 |
| vl_start | 2018/01/01 |
| vl_end | 2018/12/31 |
| train_horizon | 4(ヶ月) |
| test_horizon | 2(ヶ月) |
| list_col | tbl_lesson32.columns |
| key_col | Date |
| slide_flag | True(スライド式) |
「slide_flag」で、Trueを指定すると「スライド式」、Falseを指定すると「学習期間増加式」の検証に切り替わります。
ここからは、この関数を各パートに分けて見て行きます。
抽出範囲の指定(スライド式)
スライド式でデータを抽出する部分です。今回のコーディングでは、loc関数で抽出範囲を指定しています。スライド式のイメージは、以下の通りです。
データ抽出後、次のループのために、抽出開始位置と終了位置の値を更新します。
# 学習データ抽出 train_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= train_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= train_end_point), : ] # 検証データ抽出 test_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= test_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= test_end_point), : ] # データ抽出位置更新 # 学習データ開始位置 train_start_point = train_start_point + MonthEnd(test_horizon) + 1 * Day() # 学習データ終了位置 train_end_point = train_start_point + MonthEnd(train_horizon) # 検証データ開始位置 test_start_point = train_end_point + 1 * Day() # 検証データ終了位置 test_end_point = test_start_point + MonthEnd(test_horizon)
抽出範囲の指定(学習期間増加式)
学習期間増加式でデータを抽出する部分です。こちらもスライド式同様、loc関数を使用して抽出範囲を決めています。
学習期間増加式の場合、学習データの開始位置は固定にしています。検証が完了して、次のループ時には、前回ループ時の検証データ抽出範囲を学習データに追加します。
学習期間増加式のイメージは、以下の通りです。
学習データの開始位置は固定のため、コーディングは不要ですが、コードの該当場所には、コメントを残しておきます。
# 学習データ抽出 train_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= train_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= train_end_point), : ] # 検証データを抽出 test_data = tbl.loc[(pd.to_datetime(tbl[key_col].values) >= test_start_point) & \ (pd.to_datetime(tbl[key_col].values) <= test_end_point), : ] # データ抽出位置更新 # 学習データ開始位置(固定のため、更新不要) # 学習データ終了位置 train_end_point = train_end_point + MonthEnd(test_horizon) # 検証データ開始位置 test_start_point = train_end_point + 1 * Day() # 検証データ終了位置 test_end_point = test_start_point + MonthEnd(test_horizon)
学習と検証
続いて、学習・検証のパートとなります。筆者は、まだ「予測モデル」を作成したことがないため、今回はダミー処理として、groupby関数と集約関数(count、mean、std)を実行しています。
# 検証 # 学習データ train_result = \ train_data.groupby([train_data[key_col].dt.year, train_data[key_col].dt.month]).agg({list_col[1] : ['count', 'mean', 'std']}) # 検証データ test_result = \ test_data.groupby([test_data[key_col].dt.year, test_data[key_col].dt.month]).agg({list_col[1] : ['count', 'mean', 'std']})
groupby関数では「年」と「月」でグループ化しているため、複数年のデータで学習・検証を行なっても、月毎にデータが混ざることがありません。また「月」だけを指定して学習させれば、季節の傾向を学習・検証できるかもしれません。
agg関数の引数では、具体的なカラム名ではなくカラムリストを使用しています。その理由は、関数内で特定のカラム名を指定することを避けたかったためです。
しかし、同じ関数内で、カラムリストのインデックスは、1で固定してしまっているところが不完全な点です。まだまだ、改善の余地が多い関数です。
終了判定
ループの終了条件は、以下の通りです。
# 終了判定(次回の検証データ終了位置が、指定範囲を超えている場合) if test_end_point > pd.to_datetime(vl_end) : print('End of Cross_Validation.') break
次回のループ時に、検証データの終了位置が、関数パラメータ「vl_end」を越えてしまう場合、学習・検証を終了させています。
大まかですが、この関数の処理の流れについて説明しました。次に、この関数を実行した結果を確認します。
実行結果の確認
はじめに「スライド式」の実行結果の一部を確認します。ループ1回目の結果は、以下の通りです。
ループ2回目の結果を見ると、train_result、test_resultのそれぞれ「MultiIndex」の値が、ループ1回目の結果から2ヶ月分スライドしていることが確認できます。
続いて「学習期間増加式」の実行結果の一部を確認します。
ループ2回目のtrain_resultの「MultiIndex」が、ループ1回目の4ヶ月分から、6ヶ月分に増えていることが確認できました。
また「values」の結果もループ1回目より2回目の方が行数が増えていることも確認できます。
すべての結果を載せることはできませんが「スライド式」「学習期間増加式」共に、正常に動作していることが確認できました。
関数の見直す点は、まだまだ多くありますが、今回の学習では、ここまでとします。
可視化に挑戦
今回作成した自作関数「DateTypeData_Validation」の一部を変更して、可視化のためのデータを作成します。変更したコード部分のみ記載します。
はじめに、結果の値を代入する変数train_resultとtest_resultをリスト型変数に変更します。
# リスト変数作成
train_result = []
test_result = []
続いて学習・検証結果をリスト変数にappend関数で追加するようにコードを変更します。また複数の数値を同時に管理・操作することが、いまの筆者には、まだ難しいため、集約関数はstd(標準偏差)のみに絞りました。
# 検証 # 学習データ train_result.append(train_data.groupby([train_data[key_col].dt.year, train_data[key_col].dt.month]).agg({list_col[1] : ['std']}).reset_index(drop=True)) # 検証データ test_result.append(test_data.groupby([test_data[key_col].dt.year, test_data[key_col].dt.month]).agg({list_col[1] : ['std']}).reset_index(drop=True))
ループの終了判定の部分を、break文からreturn文に変更して、各結果が格納されているリスト変数train_resultとtest_resultを戻り値に設定します。
# 終了判定(次回の検証データ終了位置が、指定範囲を超えている場合) if test_end_point > pd.to_datetime(vl_end) : print('End of Cross_Validation.') return train_result, test_result
最後に、関数の戻り値を受ける変数を、関数呼び出し元に設定します。
# 関数の呼び出し train_result, testDate = DateTypeData_Validation(tbl_lesson32, '20180101', '20181231', 4, 2, tbl_lesson32.columns, 'Date', True)
変更したコードを実行した結果は、以下の通りです。(train_resultの場合)
学習結果の数値をプロット図にするため、リスト型からNumPy型配列へ変換します。
# list型をNumPy型配列に変換 import numpy as np np_train_result = \ np.array([train_result[x].values for x in range(len(train_result))]) # 変換結果の確認 np_train_result
変換した結果は、以下の通りです。
NumPy型二次元配列変数をインデックス指定で、値を表示させて確認します。(インデックス[0]と[1]のみ)
最後にプロット図を作成します。グラフは、折れ線グラフで表示させました。表示内容は、ダミー処理の標準偏差の値を使用しています。(表示内容に意味はありません。)
# 可視化ライブラリ import matplotlib.pyplot as plt # figureオブジェクトの初期化 fig = plt.figure() # サブプロット図の関連付け ax1=fig.add_subplot(2, 2, 1) ax2=fig.add_subplot(2, 2, 2) ax3=fig.add_subplot(2, 2, 3) ax4=fig.add_subplot(2, 2, 4) # train_resultの結果の関連付け ax1.plot(np_train_result[0], 'go--') # 緑色表示 ax2.plot(np_train_result[1], 'ro--') # 赤色表示 ax3.plot(np_train_result[2], 'yo--') # 黄色表示 ax4.plot(np_train_result[3], 'bo--') # 青色表示 # サブプロット図ごとにタイトル表示 ax1.set_title('train_result[0]') ax2.set_title('train_result[1]') ax3.set_title('train_result[2]') ax4.set_title('train_result[3]') # サブプロット図周辺の空白調整 plt.subplots_adjust(wspace=0.3, hspace=0.5) # プロット図表示 plt.show()
表示したプロット図は、以下の通りです。
今回のプロット図からは、何の推論も立たないですが、自身で作成した予測モデルを検証して行く過程を、ほんの少し体験できたような気分になれました。
今回のまとめ
前回と今回の二回で、データの分割を学びました。学習に入る前に考えていたデータ分割とは意味が異なり、非常に戸惑うことが多かったように思います。
第一に、予測モデルのための学習データ・検証データの分割については、教科書レベルでは知っていましたが、実際に予測モデルを作成したことがない筆者にとっては、データ分割後の処理の方が気になってしまい、いろいろと参考資料を漁ってみるものの、もう少し先で学ぶ内容が多く、結果的に、いままで学んだgroupby関数や集約関数を使ってダミー処理に落ち着くといった手戻りが多いテーマでした。
また、データを分割するライブラリや関数は、Pythonには、まだ少ないようで、R言語で実現できる機能をコーディングする必要があり、そのためには、Pythonの仕様をより深く理解しなければならないことを痛感しました。
本ブログを始めて一年が経過しましたが、「機械学習」を実務に活かすには、まだまだ何も理解しておらず、また何かを開発することもできない己の現実を知り、ため息つく日もありますが、まずは自分が選んだこの一冊「前処理大全」を読み切るまでは「機械学習」の学習を続けていきたいと思います。
一年間、本当にありがとうございました。また、次の一年も、よろしくお願いいたします。
今回は、以上です。
【参考資料】
本ブログに関するお問い合わせ
筆者自身の「機械学習」の学習のため、参考にさせていただいている資料や、Web情報に対して、情報元の権利を侵害しないよう、できる限り、細心の注意を払って、ブログの更新に努めておりますが、万が一、関係各所の方々に、不利益が生じる恐れがある場合、大変お手数ですが、下記の「お問い合わせ先」まで、ご一報いただけますようお願いいたします。
お問い合わせ先：otoiawase@handson-t-arte.com
![[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)](https://images-fe.ssl-images-amazon.com/images/I/61qCGR2QqGL._SL160_.jpg "[第2版]Python 機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)")
