pimientitoの機械学習

「機械学習って何だろう。」から、はじまり、いまだ???の毎日。数学初心者、PG・DBアマチュアのサービス・エンジニアが、どこまで理解できるのか。

【前処理の学習-12】データに触れる(Windows環境編)②

前回から機械学習に使うデータに触れはじめました。 pimientito-handson-ml.hatenablog.com 残念ながら、いまの状態では分析に利用できそうもなく、もう少しデータの整理が必要になりそうです。 【今回の目標到達点】 前処理の学習の方向性を探る 【目次】 …

【前処理の学習-11】データに触れる(Windows環境編)①

前回までの番外編では、PostgreSQLのインストールからDB構築までの工程を全7話で学習してきました。 pimientito-handson-ml.hatenablog.com 今回から、いよいよ「機械学習の前処理」について学習を進めていきます。 【今回の目標到達点】 DB化したデータに触…

【前処理の学習-番外編3-⑦】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、PostgreSQL管理ツール「pgAdmin」を使用して、データベースのテーブルを作成しました。 pimientito-handson-ml.hatenablog.com 今回は作成したテーブルへ、実際にデータを入れていきます。 【今回の目標到達点】 (財)気象業務支援センター発行の「…

【前処理の学習-番外編3-⑥】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、PostgreSQL管理ツール「pgAdmin」の操作から少し離れて、データベースのテーブルデザインを行いました。 pimientito-handson-ml.hatenablog.com 今回は作成したデザインをもとに、pgAdminでDBテーブルを作成いたします。 【今回の目標到達点】 (財…

【前処理の学習-番外編3-⑤】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、PostgreSQL管理ツール「pgAdmin」を使って新しいDBを作成いたしました。 pimientito-handson-ml.hatenablog.com 今回は使用するデータの内容を確認し、テーブルデザインを作成いたします。 【今回の目標到達点】 テーブルデザインの作成 【もくじ】 …

【前処理の学習-番外編3-④】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、PostgreSQLの大まかな構成を調べてみました。 pimientito-handson-ml.hatenablog.com 今回から具体的にDBを作成していきます。 【今回の目標到達点】 pgAdminを使ってDBを新規作成する。 【もくじ】 DB設定項目の系統図 DB新規作成 「一般」タブの設…

【前処理の学習-番外編3-③】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、PostgreSQL管理ツール「pgAdmin」で、新しいスーパーユーザ「pimientito」を作成いたしました。 pimientito-handson-ml.hatenablog.com 今回は、PostgreSQLを通してデータベース(以後、DBと表記)の構成について学びます。 【今回の目標到達点】 Po…

【前処理の学習-番外編3-②】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、PostgreSQL管理ツール「pgAdmin」の機能概要を調べました。 pimientito-handson-ml.hatenablog.com 今回も引続き番外編をお送りいたします。 【もくじ】 ログイン/グループロールの概要 初期ユーザ ユーザ属性 ユーザの新規作成 スーパーユーザ「po…

【前処理の学習-番外編3-①】PostgreSQL 管理Tool「pgAdmin」によるDB管理(Windows環境編)

前回は、Windows7環境へPostgreSQLをインストールしたところで終りました。 pimientito-handson-ml.hatenablog.com 「データベース(以後、DBと表記)」「SQL」「テーブル設計」「正規化」。。。。 資格試験の問題に回答する程度の知識のみで、実際のDB業務…

【前処理の学習-10】データ読込み~PostgreSQLデータベース構築(Windows環境編)① インストール~

【免責事項のお願い】 本記事では、アプリケーションのインストールや設定について説明している部分がございます。ご参考にされる場合は、自己責任の下でご利用いただけますようお願いいたします。 前回まで(財)気象業務支援センター発行の「地上気象観測…

【前処理の学習-番外編2】「Pimientitoの機械学習」の振り返り

みなさまのご支持のおかげで、次回「Pimientitoの機械学習」が、第10回を迎えます。 そこで始まって間もないですが、ちょっと振り返ってみたいと思います。みなさまのご負担にならぬよう、最小限の思い出話しや、機械学習への思いを綴ってまいりますので、し…

【前処理の学習-9】データ読込み~下準備(Windows環境編)④~

前回、データファイルの加工について「心得」のようなものを学びました。おかげで少し気が楽になり「分析のためのデータ加工」に対して、以前より考え方に余裕ができました。 pimientito-handson-ml.hatenablog.com まず、いままでのことを整理するため、デ…

【前処理の学習-番外編】Windows環境でUNIX OS系コマンドを利用する(Cygwinソフトウェアパッケージのインストール)

【免責事項のお願い】 本記事をご参考にされる場合、自己責任の下でご利用いただけますようお願いいたします。 次回以降、Windows環境下でUNIX OS系のコマンドを使用するため、事前にCygwinソフトウェアパッケージをインストールいたします。 なおこの説明に…

【前処理の学習-8】データ読込み~下準備(Windows環境編)③~

前回の記事では、データの項目名が二次元(二行)で表記されていることにより、今後のデータ操作に支障をきたすのではと考え、事前にデータ加工する必要があるのか模索を始めたところで終わりました。 pimientito-handson-ml.hatenablog.com 今回も引き続き…

【前処理の学習-7】データ読込み~下準備(Windows環境編)②~

前回の記事では、Shift-JIS形式のデータファイルを、Excel VBAの力を借りてUTF-8に変換いたしました。 pimientito-handson-ml.hatenablog.com 今回は、jupyter notebookを使って実際にデータの中身を見ていきます。 と、その前に、過去記事で発見した「地上…

【前処理の学習-6】データ読込み~下準備(Windows環境編)①~

前回、Shift-JIS形式のデータファイルをUTF-8形式へ変更することで、正常にjupyter notebookへ読込むことができました。 pimientito-handson-ml.hatenablog.com しかし同時に、これより先に進むためには、まだ何点か課題をクリアする必要があることも分かり…

【前処理の学習-5】データ読込み~事前確認②~

前々回【前処理の学習-3】では、読込んだデータが文字化けしたことで頓挫したデータ読込み。いったん文字コード・改行コードについて見直し、あらためてデータ読込みに挑戦いたします。 データ分析は本業ではないためセオリーを分かっておらず、どのように進…

【前処理の学習-4】文字コード・改行コードについて

前回「【前処理の学習】データ読込み~事前確認①~」の後半、mac環境のjupyter notebookでデータファイルを読込むと文字化けしてしまうことが分かりました。 pimientito-handson-ml.hatenablog.com 今回はいったんデータ読込みから離れて文字コードや改行コ…

【前処理の学習-3】データ読込み~事前確認①~

今回は、各言語(SQL/R/Python)でデータの読込みを行いたいと思います。 はじめに今回使用するデータについて簡単にご説明いたします。 (財)気象業務支援センター発行の「地上気象観測時日別編集データ(CSV版)2000年」を使用いたします。 CD-ROM内に収…

【前処理の学習-2】環境構築

今回は、これから機械学習を行うための環境作りを行います。 本橋智光氏著書の「前処理大全 データ分析のためのSQL/R/Python 実践テクニック」(技術評論社)のなかでは、3つのプログラミング言語を挙げており、前処理の各場面によって使い分けるとのことで…

【前処理の学習-1】主な参考資料とサンプルデータについて

残念ながら資料を一切使わずにお話しを進めることができないため、学習を始める前に参考にさせて頂く書籍等をご紹介させて頂きます。 前処理の学習資料は、本橋智光氏著作の「前処理大全 データ分析のためのSQL/R/Python実践テクニック」(技術評論社)を中…

はじめに

ほんの些細なことからはじめた機械学習。 関連書籍を何冊購入しても、サンプルプログラムを写経しても、いまひとつ要領を得ない日々。 ついつい華やかで難しい数式やアルゴリズムに目を奪われてしまいますが、あらためて考えてみると、競技プログラミングの…