ねほり.com

何もないから何かみつかる

Kaggle の Titanic Prediction Competition でクラス分類(Keras編)

      2020/01/04

将来が不安です・・・。
 

 
先週、上司(センター長、部門長、部長、課長)より、
 

今後どうするんだ?この仕事じゃ何年も生きていけないぞ!!

 

と言われています。

 

 

自分でもそう思います・・・・。

でも、今の仕事を目的でアメリカから帰任させたの貴方達ですよ・・・。

2年前に部門内MVPまで受賞したのに・・・

目的達成したら、不要になりポイですよ。

サラリーマンとは理不尽さを学ぶ職業です。

 

 

孔子曰く、「四十にして惑わず」。
 

 

もう40になるというのに、今の自分は人生で一番迷っている。

まるで生まれたばかりのバンビが、弱々しく親鹿を探しているように・・・・。

【引用】LINEスタンプ「生まれたての子鹿」

 

 

社内コンサルのような業務に携わっていたので、口だけ達者で技術力が完全に落ちてしまいました。

社内でFA宣言したら、
 

応募数が「0件」

 

という制度始まって以来の汚名を残し人事が慌てる騒動があったぐらいなので、本当に私に需要が無いです。

 

売り手市場なんて優秀な人にしか関係ないね。糞。

 

完全にオッサンじゃね?どうするの?俺?

で、この数年で得た能力は?

業務上はコンサル的な一面とデータアナリスト的な一面がありました。
 

論理的思考・・ぐらいかな・・、身についたのは。

ただ、武器といっても40のオッサンなので、
 

ひのきのぼうを手に入れた

 
ぐらいの価値しか無い。

そもそも口だけの評論家なので、何も役には立ちません。
 
 
ちなみに、ここ5年間で得た身体能力は、
 

くさいいき


 

だけです・・・・・。

 

 

僕、生きてて良いですか・・・?

Kaggle(カグル)の練習問題をやってみる

そんな中、「Kaggle初心者向け入門編!アカウント開設からタイタニック提出まで」という記事を見つけました。

「Kaggle(カグル)」とは、2010年にアメリカで設立された世界中の企業や研究者がデータを投稿する世界最大のデータ分析のCompetition(コンペ)です。

名前だけは知ってます。

AtCoder とか、TopCoderとか、Codeforcesの機械学習版のようなもの。というザックリした理解ですが。

 

 

初心者にはKaggleの中で特に有名な課題として「Titanic : Machine Learning from Disaster」(タイタニック号の生存者予測)があります。

タイタニック号の乗客の情報から傾向を見つけて、彼ら生存率を推定するタスク。

具体的に、データセットは、train.csv(train用) / test.csv(submit用) の2つが存在し、test.csvは、Survivedのみ情報が欠落しているため、これを推定して、KaggleサーバーにSubmitするというのがゴール。

 

何もないから何かみつかる。

上のサイトを参考にアカウント取得してやってみました。

 

① 「gender_submission.csv(答えファイル)」を選択してダウンロード。

② 「Submit Predictions(予測を送信する)」からアップロードする。

③ データがアップロードされていることを確認できたら、一番下にある「Make Submission(提出する)」をクリックする。

 

 

オメデトウ!♪

自分の名前がランキングに載りました!!

 


 

 

何それ!インチキ!

 

 

【引用】藤子不二雄「チンプイ」第一話
 

 

エンジニアとしての適正年齢が終わりに近づいているのに、こんなインチキしている場合じゃないでしょう。

まずは他人のサイトを参考に写経をする

機械学習に挑戦するのは、これで人生で5回目です。

最後は2年前。

株価予想をKerasでチャレンジして断念しました。

ディープラーニングの基礎は理解したけど・・・。

今度は自力で実装できるように、もっとサンプルの多い世界で始めよう。

 
 

データの中身は次のような項目が書かれています。

この「Survived(生存)」か否かを他の情報の傾向データを参考に当てるのが、この問題の趣旨です。

PassengerId : kaggleが割り振った個人に割り振ったID
Survived  : 生存・非生存(予測対象)
Pclass   : 客室のクラスを表すコード1は1等、2は2等、3は3等
Name    : 名前
Sex     : 性別
Age     : 年齢
SibSp    : 同行した兄弟または配偶者の人数
Parch    : 同行した親または子どもの人数
Ticket   : チケット番号
Fare    : 料金
Cabin    : キャビン番号
Embarked  : 乗船した港

例えば、

  • 若い男性より高齢者・女性・子供の方が生存率は高い
  • 料金が低額より高額なお客の方が生存率は高い

のような仮説を元に問題を解いていきます。

1

解き方は機械学習なら上の図のような進め方になります。

データ前処理(データクレンジング)

ここは大事な部分ですが、今回は説明を省略します。

具体的には次のような加工をします。

  • 「Name」「Ticket」「Cabin」は使わない
  • 「Age」「Fare」の欠損値は平均で埋める
  • 「Sex」は 0,1 に
  • 「Age」は標準化して利用する

これらの仮説検証は次回以降に行います。

Kerasを使って学習ネットワークを組む

今回も、TensorFlowのラッパーであるKerasを使います。

keras

ただし、まだ自分でノードを構築できるほどのスキルはありません。

色々なインターネットに公開されているスクリプトを組み合わせながら作成してみました。

自分よりにノード作ると、全く動きませんでした・・・。

完成したソースコード

Jupyter Notebookを利用したサンプルが多く、スクリプトとしてまとまったものは少なかったです。

実際のデータアナリストは、コマンドを打つような感覚でデータ加工して機械学習使って分析されるということですね・・・。

学習用データと検証用結果の割り当て、学習モデルの構築が自力で出来ない・・・。

結果出力

Warningは無視するために、次のようにコンソール上で実行します。

学習に必要な時間は12秒程度です。

何度か実験したところ、精度は「78%~85%」程度でブレるようです。

まとめ

データ加工部分で何をしているのか?は理解しましたが、pythonでは多くの書き方がありシンプルな実装方法が分かっていません。

Kerasを使ったネットワーク構築はこれから学んでいきます。そもそも、Sequentialを使わずにFunctional APIを利用したいです。

また、データ加工部分はシンプルなので、Pytorchや、TensorFlowも直接利用して理解を深めないと・・・・。

他にも、多くの機械学習が用意されているので、こちらも理解しなきゃ・・・・。

  • 線形回帰
  • K近傍法
  • SVM(線形分類器)
  • SVM(RBF分類器)
  • ナイーブベイズ
  • 決定木
  • ランダムフォレスト
  • Perceptron

Jupyter Notebookを利用した、仮説を導くためのデータのグラフ化、可視化もね。

やることは沢山ある。少しずつ理解だね・・。

 - 2019年(社会人15年), 機械学習, テクノロジー

  関連記事

サラリーマンは安泰?誰に仕事を奪われのか?

年収が同期の中でも底辺です・・・ 同期がどれだけ出世しているのか概算しました。 …

斉藤学氏の逆張りストラテジーの有効性検証(protraシストレ)

テクニカル分析は、株よりFXの方が盛んです。 今回はFXのテクニカル手法を東証一 …

ADSLで最大2ヶ月間無料となるYahooBBキャンペーン

今日までにADSLに登録すれば最大2ヶ月間無料となるキャンペーンをYahooBB …

Webサービスを支えるトレンド技術まとめ

FishEyeやCrucibleを使って開発を進め、Node.js+Expres …

ペット家電は日本メーカも取り組むべき

掃除が面倒なので「ルンバ780」を購入しました。 思っていたよりルンバは賢くない …

検索エンジン「Google」のパロディサイトが増える(1/2)

自主プロが終わりません・・・ 集中講義がまだあります。まだ大学に行く必要がありま …

WikiPediaをダウンロードしてローカル環境で利用する

2010年07月19日(月) WikiPediaをローカル上で利用 VAIO P …

LispのオセロのソースコードをC言語に変換して6手読みさせる

知人と釣り さて、昨日古き知人と釣りに行きまして…。  ボウズで終わる …

「中振連」サイト作成業務をしつつ「名刺」を作ることにした

あ~気まぐれ日記とは言え、書くときは連続で本当に書くなぁ…。  &nb …

はじめてのKerasを使った株価予測(ディープラーニング)

毎年年末年始やGWに技術学習・Webサイト構築してきたのに、今年は何もしていない …