機械学習 機械学習で株価予測(TA-LibとLightGBMを使った学習モデル構築) 以前、LSTMを使ってKerasで実現した学習モデルでは、「一つ手前のデータと、これまでのパターンから次の値を予測する」結果になってしまいました。 勝率も49%でした。 このアプローチにずっと疑問を持っていました... 2020.01.26 機械学習システムトレード2020年(社会人16年)テクノロジー
機械学習 機械学習で株価予測(Two SigmaのKaggleコンペを確認) 計量的・実証的な投資におけるアルファは質の高いサーベイからもたらされるものであり、近い将来その分析手法の殆どが機械学習に置き換わるものだと考えています。 ・・・・と次の書籍に書いてあります。 この提言が正しいとすると... 2020.01.25 機械学習システムトレード2020年(社会人16年)テクノロジー
機械学習 KaggleのHome Credit Default Risk体験(他人のKernelパクリ編) 過去の「Featured」として、まずはタイタニック同様の「分類」コンテストで有名な次の問題を解いてみます。 Home Credit Default Risk このコンペは与えられた個人のクレジットの情報や以前の応募... 2020.01.19 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのHome Credit Default Risk体験(Keras、Pytorch編) Kaggleの過去Featured問題「Home Credit Default Risk」を解いていきます。 このコンペは与えられた個人のクレジットの情報や以前の応募情報などから、各データが債務不履行になるかどうかを予測する問... 2020.01.17 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのHome Credit Default Risk体験(サブミット編) ビッグデータ分析、新卒年収は1000万円以上 東大生の人気職種に(産経新聞) 「官僚でもなく、有名企業でもなく、データサイエンティスト職を志望する東大生が目立ち始めている」(就職情報会社)。 滋賀大は平成29年度から、専... 2020.01.13 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのDigit Recognizerで画像分析(skorch編) 前回の日記で「Pytorchは難しい」という記載しましたが、このままで終わることはできません。 なぜなら、将来的に「Tensorflow」と「Pytorch」のどちらが生き残るか現時点では分からないからです。 ネットで調... 2020.01.11 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのDigit Recognizerで画像分析(Pytorch編) これまでディープラーニング(深層学習)の実装にはKerasを利用していました。 近年は「PyTorchがディープラーニング系ライブラリでは良い」という話を聞きます。 今回はPytorchを使って前回扱った「Digit R... 2020.01.07 機械学習2020年(社会人16年)テクノロジー
機械学習 Kaggleの概要を理解する(Titanicの次に向けて) これまで、Kaggleの「Titanic: Machine Learning from Disaster」「House Prices: Advanced Regression Techniques」「Digit Recognizer」に参加... 2020.01.06 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのDigit Recognizerで画像分析(Keras編) 今回はDigit Recognizerという入門コンペに参加してみます。 Digit_Recognizer_Pic これは機械学習用の画像データとしては最も基本的かつよく使われるMNISTデータセットを用いた画像の分... 2020.01.05 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのHouse Pricesで回帰分析(モデル作成編) 今回も、kaggleの入門者向けチュートリアルコンペ「住宅価格予測」を解いてみます。 House Prices: Advanced Regression Techniques 各種指標を用いて住宅の価格を予測する分析... 2020.01.03 機械学習2020年(社会人16年)テクノロジー
機械学習 KaggleのHouse Pricesで回帰分析(Feature Engineering編) 今回も、kaggleの入門者向けチュートリアルコンペ「住宅価格予測」を解いてみます。 House Prices: Advanced Regression Techniques 各種指標を用いて住宅の価格を予測する分析... 2019.12.31 機械学習2019年(社会人15年)テクノロジー
機械学習 KaggleのHouse Pricesで回帰分析(EDA:Exploratory Data Analysis編) 今回は、kaggleの入門者向けチュートリアルコンペ「住宅価格予測」をやってみます。 House Prices: Advanced Regression Techniques 各種指標を用いて住宅の価格を予測する分析... 2019.12.25 機械学習2019年(社会人15年)テクノロジー
機械学習 Kaggle の Titanic Prediction Competition でクラス分類(XGBoost、LightGBM、CatBoost編) 機械学習に精通し適切にデータを分類できるだけではなく、膨大なデータから課題を発見しソリューションを提示してリードできる データドリブン・コンサルタント が、市場に求められています。 アクセンチュア株式会... 2019.12.22 機械学習2019年(社会人15年)テクノロジー
機械学習 Kaggle の Titanic Prediction Competition でクラス分類(scikit-learn編) 統計学や人工知能(AI)を駆使してデータを分析し、課題の発見や解決に導く「データサイエンス」教育に力を入れる大学が増えてきたそうです。 データサイエンス教育拡大 AI駆使しデータ分析、人材育成へ大学注力 東北大の滝沢博胤副学... 2019.12.21 機械学習2019年(社会人15年)テクノロジー
機械学習 Kaggle の Titanic Prediction Competition でクラス分類(Keras Functional API編) データサイエンティストの転職サイトを見ると年収 600万 ~ 1,200万円ぐらいだ。 書かれている内容を大体まとめると次のようなスキルが必要だと分かる。 【必須】 統計学、機械学習に関する知識・実務経験 デ... 2019.12.15 機械学習2019年(社会人15年)テクノロジー
機械学習 Kaggle の Titanic Prediction Competition でクラス分類(Jupyter Notebook編) 近くの図書館に行くと、クリスマス装飾に変わっていた。 そして、トイレに次のようなステッカーが貼ってあった。 トイレと恋は勇気を出して 一歩前に踏み出しましょう 何このセンス!!... 2019.12.13 機械学習2019年(社会人15年)テクノロジー
機械学習 Kaggle の Titanic Prediction Competition でクラス分類(Keras編) 将来が不安です・・・。 先週、上司(センター長、部門長、部長、課長)より、 今後どうするんだ?この仕事じゃ何年も生きていけないぞ!! と言われています。 自分でもそう思います・・・・。 ... 2019.12.09 機械学習2019年(社会人15年)テクノロジー
Web技術 Amazonで使えるアドオン3選(最安値判定、図書館検索、不正レビュー除外) アドオンは、アプリケーション等に追加機能として組み込むプログラムのことです。「アドイン」「プラグイン」と呼ばれることもあります。 私はChromeブラウザを愛用しており、多くのアドオンを入れています。 その中で、有名だと思ってい... 2019.10.21 Web技術2019年(社会人15年)テクノロジー
機械学習 システムトレードの動向(過去と今後)まとめ 有名シストレブロガー、書籍、販売中のストラテジーを読み漁る中で、ストラテジに流行があると感じたのでまとめです。 因みにFXシステムトレードのブログも読み漁りましたが、FXの方が数年進んでる印象を受けました。 参考にするな... 2019.09.05 機械学習システムトレード2019年(社会人15年)投資
2019年(社会人15年) opencvでwebカメラ動画の背景差分(MOG, MOG2, GMG, KNN, CNT, LSBP, GSOC) 社内文化祭の為に、あるものを作りました。 その中の一つの技術要素として、OpenCVで背景差分を使いました。 少し前の状態の背景画像と、新たに何かが入ってきた状態の2つの画像の差を取ることで物体検出する手法を背景差分法といいます... 2019.08.29 2019年(社会人15年)テクノロジー