前回から機械学習に使うデータに触れはじめました。
pimientito-handson-ml.hatenablog.com
残念ながら、いまの状態では分析に利用できそうもなく、もう少しデータの整理が必要になりそうです。
【今回の目標到達点】
前処理の学習の方向性を探る
【目次】
データ項目の見直し
あらためてデータ項目（カラム）一覧を見てみます。
現在使用しているデータは「地上気象観測時日別編集データ（CSV版）2000年」（（財）気象業務支援センター 発行）です。
| 項目名 | 項目名 | 項目名 |
|---|---|---|
| 地点番号 | 蒸発量 | 昼間.概況3接続詞.RMK |
| 管区コード | 日降水量 | 昼間.概況3天気 |
| 観測回数 | 最大1時間降水量 | 昼間.概況3天気.RMK |
| 観測項目 | 最大10分間降水量 | 昼間.概況4接続詞 |
| 地点名 | 降雪の深さの日合計 | 昼間.概況4接続詞.RMK |
| 年 | 日最深積雪 | 昼間.概況4天気 |
| 月 | 未使用 | 昼間.概況4天気.RMK |
| 日 | 未使用 | 夜間.概況1接続詞 |
| 平均現地気圧 | 大気現象1 | 夜間.概況1接続詞.RMK |
| 平均海面気圧 | 大気現象2 | 夜間.概況1天気 |
| 最低海面気圧 | 大気現象3 | 夜間.概況1天気.RMK |
| 平均気温 | 大気現象4 | 夜間.概況2接続詞 |
| 最高気温 | 大気現象5 | 夜間.概況2接続詞.RMK |
| 最低気温 | 降水強風時間 | 夜間.概況2天気 |
| 平均蒸気圧 | 欠測処理1 | 夜間.概況2天気.RMK |
| 平均相対湿度 | 欠測処理2 | 夜間.概況3接続詞 |
| 最小相対湿度 | 昼間.概況1接続詞 | 夜間.概況3接続詞.RMK |
| 平均風速 | 昼間.概況1接続詞.RMK | 夜間.概況3天気 |
| 最大風速 | 昼間.概況1天気 | 夜間.概況3天気.RMK |
| 最大風速の風向 | 昼間.概況1天気.RMK | 夜間.概況4接続詞 |
| 最大瞬間風速 | 昼間.概況2接続詞 | 夜間.概況4接続詞.RMK |
| 最大瞬間の風向 | 昼間.概況2接続詞.RMK | 夜間.概況4天気 |
| 平均雲量 | 昼間.概況2天気 | 夜間.概況4天気.RMK |
| 日照時間 | 昼間.概況2天気.RMK | |
| 全天日射量 | 昼間.概況3接続詞 |
いままで、何度もご紹介してきた項目一覧。しかし、ここからどのように進めて良いのか、正直分かりません。
データ分析を行うために必要な基礎知識（視点）が、まるっきり無いため、ただ数字の羅列を眺めているばかりです。。。
書籍『前処理大全 』から学ぶ
自身にスキルが無いのであれば、各分野の諸先輩方のお知恵をお借りして学習するしか方法がありません。
本ブログ開始時にご紹介させていただきました本橋智光氏著「前処理大全 データ分析のためのSQL/R/Python実践テクニック」（技術評論社）（以後「前処理大全」と表記）を参考に前処理について学んでいきます。
![前処理大全[データ分析のためのSQL/R/Python実践テクニック]](https://images-fe.ssl-images-amazon.com/images/I/61D0XQc0fwL._SL160_.jpg "前処理大全[データ分析のためのSQL/R/Python実践テクニック]")
前処理大全[データ分析のためのSQL/R/Python実践テクニック]
- 作者: 本橋智光
- 出版社/メーカー: 技術評論社
- 発売日: 2018/04/13
- メディア: 大型本
- この商品を含むブログ (1件) を見る
本書「前処理大全」のなかでもサンプルデータが使われていますが、本ブログでは、引続き「地上気象観測時日別編集データ」を使用いたします。そのため「前処理大全」の内容と、本ブログでご紹介する内容が、必ずしも一致するものではございません。
また本ブログは、ご紹介する書籍の書評するものではございません。あくまで「機械学習初心者」の学習の軌跡を綴っているものです。本ブログ読者のみなさまには、ご理解いただけますようお願いいたします。
なお今後、本「前処理大全」より引用した部分については、文章末尾にカッコ（）で括った章番号や章のタイトルのみ表記することといたします。書籍名や著者名については、毎回ブログ記事先頭でご紹介することとして、記事内で繰返し表記することを割愛いたします。
では最初に学ぶのは「抽出」からです。書籍のなかでは、抽出について、このように述べています。
単純な作業に思えますが、適切な抽出作業は、無駄な処理を減らせたり、扱うデータサイズを小さくしたりすることができるため、重要です。
（参考・参照元：第2章「抽出」より抜粋）
また同章では、以下の4種類の抽出について説明されています。
データ列を指定して抽出
条件指定によるデータ行の抽出
データ値に基づかないサンプリング
集約IDに基づくサンプリング
（参考・参照元：第2章「抽出」より抜粋）
ひとつずつ、手を動かしながら抽出について学んでみましょう。
1. データ列を指定して抽出
書籍のなかでは、列（カラム）を指定して抽出することの利点について、このように説明されています。
必要な列のみに絞り込むことによって、1行あたりのデータサイズを減らし、後続のデータ分析をやりやすくすることが、データ列抽出の役割です。
（参考・参照元：第2章「抽出」2-1 「データ列指定による抽出」より抜粋）
著者は、データ列の選定をする際、氏名などの固有名詞やマスキングされて内容が特定できない列は、データの傾向を把握する分析には利用しづらい要素としてお話しされています。
また数字型に比べて、文字列型はデータサイズが大きくなる傾向にあるため、必要最小限の文字列型項目の抽出を勧めています。
「前処理大全」では、DB上から列を抽出するサンプルコードが紹介されています。本ブログでも、データや環境に合わせて再編したサンプルコードを記載いたします。
『学習の概要』
Pythonで列を抽出する場合、PandasのDataFrameの機能を利用する方法が簡単です。ただし、列の指定方法もさまざまなパターンが提供されており、可読性が高く、データの変更にも強いAwesomeなコードを実現するには、適切な指定方法を学ぶことが大事です。
（参考・参照元：第2章「抽出」2-1 「データ列指定による抽出」より抜粋）
『学習のポイント』
loc/iloc/ix関数の仕様の特性について学ぶ。
抽出する列を指定する場合、列番号指定（iloc関数）より、列名指定（loc関数）の方がコードの可読性が良く、また列の追加／削除があった場合でも、列名で指定しているためコード修正の必要性が無い。
上記『学習のポイント』をもとにコーディングしてみました。
[Windows7][Python, PostgreSQL][jupyter notebook]
#【前処理の学習-12】データに触れる（Windows環境編）② #!/usr/bin/python # -*- coding: utf-8 -*- import pandas as pd import psycopg2 import sys con = None Tbl_Nm ='dly_edit_data_grnd_wthr_obsrv' sql = 'SELECT * FROM ' + Tbl_Nm + ';' try: con = psycopg2.connect("host='localhost' dbname='weather_data' user='pimientito' password='****'") df = pd.read_sql(sql,con) except psycopg2.DatabaseError as e: print ('Error %s' %e) sys.exit(1) else: print('iloc関数による抽出') print(df.iloc[0:5, 0:4]) print('') print('') print('loc関数による抽出') print(df.loc[0:5, ['point_number', 'province_code', 'number_of_observations', 'observation_item']]) finally: if con: con.close() print('') print('Processing has ended.')
iloc関数とloc関数のコーディング部分のみ切り出しました。
確かにメンテナンスするときには、loc関数で記載されている方が親切ですね。とても見やすいコードです。
実行結果は、以下の通りです。
表示内容は、iloc関数、loc関数とも同じですが、コーディングの視点からは、それぞれ特色がありました。
今回から、はじまりました新しい試み。書籍からの写経だけで終らず、少しずつでも学習内容を実用的に使えるよう進めて行きたいと思います。
今回は、以上です。
【参考資料】
本橋智光氏著「前処理大全 データ分析のためのSQL/R/Python実践テクニック」（技術評論社）
前処理大全[データ分析のためのSQL/R/Python実践テクニック]
- 作者: 本橋智光
- 出版社/メーカー: 技術評論社
- 発売日: 2018/04/13
- メディア: 大型本
- この商品を含むブログ (1件) を見る
loc関数
pandas.DataFrame.loc — pandas 0.23.4 documentation
iloc関数
pandas.DataFrame.iloc — pandas 0.23.4 documentation
ix関数
pandas.DataFrame.ix — pandas 0.23.4 documentation
【告知】 10/8 技術書典5へ出品いたしますっ！
まだはじめて間もない「機械学習」ですが、はてなブログ「Pimientitoの機械学習」で綴ってきた内容をブラッシュアップして一冊の同人誌にいたします。
技術書典5
サークルカット（出品場所：き01 サークル名：でーたちっぷす
同人誌『非理系ですが「機械学習」はじめました。』の表紙
同人誌『非理系ですが「機械学習」はじめました。』の目次
目次1
目次2
目次3
当日、お近くをお通りの際は、是非お立ち寄りください。よろしくお願いします。
