2017-01-01から1年間の記事一覧

DockerでFlaskとRedisを動かす

書くこと Docker公式のtutorialに従う。 シンプルなFlask appをDockerで動かす。 FlaskからRedisに接続する。 docker-composeを使う。 フォルダの構成 ├── Dockerfile ├── app.py ├── docker-compose.yml └── requirements.txt app.py from flask import Fla…

論文メモ Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond

Ramesh Nallapati et al 2016 autoscale: true slidenumbers: true Notes about “Abstractive TextSummarization using Sequence-to-sequence RNNs and Beyond” Introduction Authors apply the attentional encoder-decoder RNN to text summarization. The…

pandas.groupbyでaggに自作関数を渡す、要素にnumpy.arrayを使う。

import pandas as pd import numpy as np def g(x): y = None for i, a in x.iteritems(): if y is None: y = a.copy() else: y += a return Foo(y) class Foo: def __init__(self, x): self.x = x def __str__(self): return str(self.x) if __name__ == '_…

sklearn.ensemble.AdaBoostClassifierの使い方

公式ドキュメント sklearn.ensemble.AdaBoostClassifier — scikit-learn 0.18.1 documentation パラメータ base_estimator=None, n_estimators=50, learning_rate=1.0, algorithm=‘SAMME.R’, random_state=None GridSearchを使ったbase estimatorのパラメー…

sklearn.svm.SVCの使い方

公式ドキュメント sklearn.svm.SVC — scikit-learn 0.18.1 documentation パラメータ C=1.0 kernel=‘rbf’ degree=3 gamma=‘auto’ coef0=0.0 shrinking=True(調査中) probability=False tol=0.001 cache_size=200(調査中) class_weight=None verbose=FalseC m…

RandomForestClassifierの使い方

公式ドキュメント 3.2.4.3.1. sklearn.ensemble.RandomForestClassifier — scikit-learn 0.18.1 documentation パラメータ DecisionTreeのアンサンブル学習なので多くはDecisionTreeと同じ。こちらを参照 特有のパラメータ n_estimators bootstrap oob_score…

DecisionTreeClassifierの限界

これまで DecisionTreeClassifierの使い方 - nsb248の日記 DecisionTreeClassifierのパラメータ調整 - nsb248の日記 限界を探る。 関係のないデータを混ぜる。 x2というデータを入れる。 targetはx2に全く依存していない。 結果 accuracy: 0.810 std: 0.100 …

DecisionTreeClassifierのパラメータ調整

設定 DecisionTreeClassifierの使い方はこちら 下記のデータの分類をDecisionTreeClassifierを使って行う 約10%ほどノイズが入っている。 x0: (0.5, 1.5), x1:(0.5, 1.5)で分岐すれば精度90%で分類するごとができる。 何も制約を入れずに全データを使って学…

DecisionTreeClassifierの使い方

公式ドキュメント sklearn.tree.DecisionTreeClassifier — scikit-learn 0.18.1 documentation パラメータ criterion splitter max_features max_depth min_samples_split min_samples_leaf min_weight_fraction_leaf max_leaf_nodes class_weight random_st…

To Do, Doing, Done

To Do Kaggleのコンペに参戦する(さっさとしろよ・・・)。 an introduction to statistical learning を読む An Introduction to Statistical Learning: with Applications in R (Springer Texts in Statistics) 実践 ベイズモデリングを読む 実践 ベイズモ…

因果推論3 操作変数法

統計的因果推論の勉強 理論の詳しい話は下記の本を見てください。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリッ…

因果推論2 傾向スコア:母集団に偏りがあるときの施策の効果を測る

統計的因果推論の勉強 理論の詳しい話は下記の本を見てください。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリッ…

因果推論1 単純な選択バイアス問題

統計的因果推論の勉強 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリック: 285回この商品を含むブログ (25件) を見…

PRML 7. Sparse Kernel Machines (Regression with SVM and RVM)

PRML本の7章でサポートベクターマシン等を使った回帰。 機械学習等は勉強中で、内容に誤りがある可能性が十分にあります。指摘していただけると嬉しいです パターン認識と機械学習 上作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社…

PRML 7. Sparse Kernel Machines (Classification with SVM)

PRML本の7章でサポートベクターマシンを使った分類アルゴリズム。 機械学習等は勉強中で、内容に誤りがある可能性が十分にあります。指摘していただけると嬉しいです パターン認識と機械学習 上作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村…

2017年の目標

今年は去年より勉強に使える時間が増えそうなので、がっつり勉強したい。転職時に1ヶ月程度間を入れてじっくりと学べるかな。 (1) 機械学習を学ぶ クオンツからデータアナリストに変わろうと思う。統計等は学部時代に勉強していたけど、機械学習はさらっとラ…