論文メモ Abstractive Text Summarization using Sequence-to-sequence RNNs and Beyond

Ramesh Nallapati et al 2016 autoscale: true slidenumbers: true Notes about “Abstractive TextSummarization using Sequence-to-sequence RNNs and Beyond” Introduction Authors apply the attentional encoder-decoder RNN to text summarization. The…

pandas.groupbyでaggに自作関数を渡す、要素にnumpy.arrayを使う。

import pandas as pd import numpy as np def g(x): y = None for i, a in x.iteritems(): if y is None: y = a.copy() else: y += a return Foo(y) class Foo: def __init__(self, x): self.x = x def __str__(self): return str(self.x) if __name__ == '_…

sklearn.ensemble.AdaBoostClassifierの使い方

公式ドキュメント sklearn.ensemble.AdaBoostClassifier — scikit-learn 0.18.1 documentation パラメータ base_estimator=None, n_estimators=50, learning_rate=1.0, algorithm=‘SAMME.R’, random_state=None GridSearchを使ったbase estimatorのパラメー…

sklearn.svm.SVCの使い方

公式ドキュメント sklearn.svm.SVC — scikit-learn 0.18.1 documentation パラメータ C=1.0 kernel=‘rbf’ degree=3 gamma=‘auto’ coef0=0.0 shrinking=True(調査中) probability=False tol=0.001 cache_size=200(調査中) class_weight=None verbose=FalseC m…

RandomForestClassifierの使い方

公式ドキュメント 3.2.4.3.1. sklearn.ensemble.RandomForestClassifier — scikit-learn 0.18.1 documentation パラメータ DecisionTreeのアンサンブル学習なので多くはDecisionTreeと同じ。こちらを参照 特有のパラメータ n_estimators bootstrap oob_score…

DecisionTreeClassifierの限界

これまで DecisionTreeClassifierの使い方 - nsb248の日記 DecisionTreeClassifierのパラメータ調整 - nsb248の日記 限界を探る。 関係のないデータを混ぜる。 x2というデータを入れる。 targetはx2に全く依存していない。 結果 accuracy: 0.810 std: 0.100 …

DecisionTreeClassifierのパラメータ調整

設定 DecisionTreeClassifierの使い方はこちら 下記のデータの分類をDecisionTreeClassifierを使って行う 約10%ほどノイズが入っている。 x0: (0.5, 1.5), x1:(0.5, 1.5)で分岐すれば精度90%で分類するごとができる。 何も制約を入れずに全データを使って学…

DecisionTreeClassifierの使い方

公式ドキュメント sklearn.tree.DecisionTreeClassifier — scikit-learn 0.18.1 documentation パラメータ criterion splitter max_features max_depth min_samples_split min_samples_leaf min_weight_fraction_leaf max_leaf_nodes class_weight random_st…

To Do, Doing, Done

To Do Kaggleのコンペに参戦する(さっさとしろよ・・・)。 an introduction to statistical learning を読む An Introduction to Statistical Learning: with Applications in R (Springer Texts in Statistics) 実践 ベイズモデリングを読む 実践 ベイズモ…

因果推論3 操作変数法

統計的因果推論の勉強 理論の詳しい話は下記の本を見てください。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリッ…

因果推論2 傾向スコア:母集団に偏りがあるときの施策の効果を測る

統計的因果推論の勉強 理論の詳しい話は下記の本を見てください。 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリッ…

因果推論1 単純な選択バイアス問題

統計的因果推論の勉強 調査観察データの統計科学―因果推論・選択バイアス・データ融合 (シリーズ確率と情報の科学)作者: 星野崇宏出版社/メーカー: 岩波書店発売日: 2009/07/29メディア: 単行本購入: 29人 クリック: 285回この商品を含むブログ (25件) を見…

PRML 7. Sparse Kernel Machines (Regression with SVM and RVM)

PRML本の7章でサポートベクターマシン等を使った回帰。 機械学習等は勉強中で、内容に誤りがある可能性が十分にあります。指摘していただけると嬉しいです パターン認識と機械学習 上作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村田昇出版社…

PRML 7. Sparse Kernel Machines (Classification with SVM)

PRML本の7章でサポートベクターマシンを使った分類アルゴリズム。 機械学習等は勉強中で、内容に誤りがある可能性が十分にあります。指摘していただけると嬉しいです パターン認識と機械学習 上作者: C.M.ビショップ,元田浩,栗田多喜夫,樋口知之,松本裕治,村…

2017年の目標

今年は去年より勉強に使える時間が増えそうなので、がっつり勉強したい。転職時に1ヶ月程度間を入れてじっくりと学べるかな。 (1) 機械学習を学ぶ クオンツからデータアナリストに変わろうと思う。統計等は学部時代に勉強していたけど、機械学習はさらっとラ…

Jenkinsメモ

github, jenkins, aws git submodule Reference Git submodule の基礎 git submoduleを今風な感じで削除する jenkins plugin Reference How to install a plugin in Jenkins manually? MSBuild Plugin After installation, there is setting form in "Global…

使い方のメモ。

githubからコードを入手 https://github.com/Excel-DNAExcelDna\Sourceにあるソリューションを開いてでビルドする。 ExcelDna\Build\build.batを実行。新しいC#プロジェクトを作成。 ExcelDna\DistributionにあるExcelDna.Integrationを参照に追加。 namespa…

tupleを展開して、関数の引数にする。

c++

したいこと。 int main() { auto x = std::make_tuple(1, 2.0, "three"); auto f = [](auto a, auto b, auto c) { std::cout << typeid(a).name() << std::endl; std::cout << typeid(b).name() << std::endl; std::cout << typeid(c).name() << std::endl; …

C++でC#のクエリのようなものを作る。

c++

最近、C#を勉強していてlinqのクエリ(?)がすごく便利だと感じたので、C++でそれっぽいのを作ろう。 進捗は select select_with_index select_unzip where where_with_index skip take zip を作成。使い方は下記の通り。 コードは GitHub - nishiba/query:…

C#からExcelを開く

using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; using Microsoft.Office.Interop; using Excel = Microsoft.Office.Interop.Excel; using System.IO; using System.Runtime.Interop…

Factory&Builderパターン再考

c++

インスタンスの生成方法について再考。 したいこと Dataの商品IDに応じて、違うルールでShelfを作りたい。 新しい商品を追加も容易にしたい。追加や変更するクラス、箇所を極力小さくしたい。 int main() { ProductId("c1").procedure<Screw1Builder, BoardBuilder, ShelfBuilder>(); ProductId("c2").pr</screw1builder,>…

Decolator, Mix-Inのような継承関係

c++

Decolatorパターンの場合、内部で持っているコンポーネントの振る舞いが分かりにくい。Mix-Inの場合、プロパティとなるClassがtemplate classとなってしまって、複雑になる。そこで、状況によってはあ下記のような継承もありかな。 RuleBaseはルール f : dou…

貯蔵庫サンプリング(Reservoir sampling)

入力(数>n)からn個をランダムに選択する方法。1. 最初のn個をI[0]...I[n-1]にコピーする。t = n - 1。 2. 入力値がなかったら、5へ。 3. ++tとし、[0, t]の一様乱数uを生成する。 u >= nならば、2へ。 4. I[u] = I[t]とし、2へ。 5. Iをソートして終了。 #in…

選択サンプリング法(selection sampling technique)

N個の中からランダムにn個のを選択するためのアルゴリズム 1. t = 0, m = 0とする。 2. [0, 1]の一様乱数uを生成する。 3. もし、 (N - t) * u >= n - m ならば5へ。それ以外ないなら4へ。 4. tを採用し、++t, ++mとする。もしm 5. ++tとし、2へ。 template <typename U></typename>…

C++のクラスをC#で継承する。swig使用。

まさかこんなことができるとは思っていなかった。 やりたいこと C++で定義されたコードをC#で継承してい使用する。 参考 http://www.swig.org/Doc1.3/CSharp.html cpp class Base { public: virtual ~Base() {} virtual void tell() const = 0; }; class Cal…

market convention

金利系 Interest Rate Instruments and Market Conventions Guide

開発環境

Visual studio 2015 Swig Github TortoiseGit Cygwin

Mix-InによるCloneableの実装

c++

したいこと clone関数を継承によって実装したい。 下記のような感じにしたい。 A, Bはクラスはclone関数をオーバーライドしていないけど、Cloneableを継承することで、cloneができるようになる。 struct B : public Cloneable とすることで、BはAを継承した…

std::vector<T>をC#から使えるようにする。

swigを使用。 SwigSample.i %include std_vector.i %template(VectorDouble) std::vector<double>; のようにすればよい。C#でVectorDoubleという名前でstd::vectorが使用できるようになる。あとはいつも通り swig -csharp -c++ SwigSample.i</double>

C#で作ったdllをExcel/VBAから呼び出す方法。

c#

参考 Excel から使うマネージDLL を作る。 | supermab's blog 課題 関数にsummaryを書き、xmlを生成したが、Excel/VBAでは表示されない。 下記のコードの意味がよく分からない。 [ComRegisterFunctionAttribute] private static void RegisterFunction(Type …