データサイエンス

時系列解析

定常性とは[時系列分析]

勉強中 定常性とは 時系列は時間とともに不規則な変動をしている。これを確率的なモデルとして表現する。 定常性とは、同時分布や基本統計量の時間普変性に関数するもの 単純に、 定常は、この変動の仕方が時間的に変化しない。 非...
時系列解析

自己相関の検定-かばん検定-[時系列分析]

かばん検定 $$ Q=n(n+2) \sum_{j=1}^{h} \frac{\hat{\rho}_{j}^{2}}{n-j} $$ 参考
時系列解析

ARMAモデル[時系列分析]

ARMA過程 ARMA過程は、AutoRegressive Moving Averageの略で、日本語に訳すと自己回帰移動平均です。 ARMAは、AR過程とMA過程を組み合わせたものです。 AR(p)とMA(q)を組み合わせたもの...
時系列解析

MAモデル[時系列分析]

MA過程 MA過程は、Moving Averageの略で、日本語に訳すと移動平均過程であす。 MA過程は、確率的な過程で、ホワイトノイズによって決まる過程です。 長期間にわたる自己相関をモデル化するためには、多くのパラメータが必要...
データサイエンス

ARモデル[時系列分析]

AR過程 AR過程(ARモデル)のARは、AutoRegressiveの略で、日本語に訳すと自己回帰です。 このモデルは、自身の過去に回帰されたモデルで表現される。 1次ARモデルは、AR(1)と書かれ、次の式で表す。 $$...
データベース

データベースとは

データベースとは データベースとは、表の集まりです。 ある特定の条件に当てはまる「データ」を複数集めて、あとで使いやすい形に整理した情報のかたまりです。 分割された複数の表の間にリンクを持ち、それぞれに不整合が生じないよう...
時系列解析

時系列の自己相関係数

時系列の自己相関係数 自己共分散では、値が単位に依存してしまう問題がある。 これを解決するのが、単位依存しない自己相関係数である。 k次の自己相関係数は次のように定義されている。 $$ \begin{align} \rh...
時系列解析

時系列の自己共分散

時系列の自己共分散 自己共分散は、時系列分析特有のものである。 同一の時系列データにおける異なる時点間の共分散である。 k次の自己共分散は、次のように定義されている。 $$ \begin{align} \gamma_{k...
時系列解析

時系列のボラティリティ(分散と標準偏差)

時系列のボラティリティ 期待値が平均的にどの程度ばらつきを持つのかを表す統計量を、分散という。 この分散の平方根を標準偏差と呼ぶ。 時系列分析、特にファイナンス分野では、この標準偏差はボラティリティと呼ばれている。 ...
時系列解析

時系列の期待値

時系列の期待値 時系列データの期待値の計算方法は、一般的な期待値と同じです。 $$ \mu_t = E(y_t) $$ 不偏推定量は、 $$ \bar{y} = \frac{1}{T}\sum^{T}_{t=1}y_t ...
ディープラーニング

SegmentationとCNNのメモ

更新していく予定です。 セグメンテーションのCNNを使った手法をメモしていきます。 SegmentationとCNNのメモ FCN(Fully Convolution Network) 論文 SegNe...
ディープラーニング

ResNetをPytorchで実装したいからメモする

ResNetをPytorchで実装したいからメモする 今更ながら、ResNetを勉強します。 Pytorchで実装(写経+理解)します。 ResNet 構造 ...
データサイエンス

カテゴリデータのPython前処理まとめ

カテゴリデータのPython前処理まとめ 随時更新予定 Label Encoding One-Hot エンコーディング pandasを使います。 ダミー変数化 One-Hotとダミー化とp...
データサイエンス

数値データのPython前処理まとめ

数値データの前処理まとめ 随時更新予定 Min-Max-Scaler 標準化 画像データの画素値の前処理に使われたりする。 参考 データの正規化|データの前処理 Standard Scaler 正規化...
ディープラーニング

CNNのネットワーク-画像認識-

更新せなあかん CNNのネットワーク-画像認識- VGG ResNet Residual Network(ResNet)の理解とチューニングのベストプラクティス ResNetの論文を読んだ ResNet 実装  ...
ディープラーニング

物体検出とCNNのメモ

物体検出とは 物体検出は、画像の中の物体の位置を推定して、物体のクラスを分類する。 物体を取り囲むボックスをバウンディングボックスという。 画像分類は画像1枚に対して、1つの物体のクラスを分類する。 これに対して、物体検...
時系列解析

移動平均-時系列分析

移動平均 simple moving average SMA 直近のn個のデータの重みづけのない単純な平均 $$ \mathrm{SMA}_{M}=\frac{p_{M}+p_{M-1}+\cdots+p_{M-9}}{10} ...
異常検知

異常検知のメモ

異常とは、「他のサンプルから著しく逸脱したもの」 外れ値検知 引用:異常検知技術の概要と応用動向について 異常検知 引用:異常検知技術の概要と応用動向について 異常検知技術の概要と応用動...
機械学習

ロジスティック回帰と勾配降下法

ロジスティック回帰と勾配降下法 勾配法を使って、ロジスティック回帰のパラメータを求めたいと思います。 計算式をメモしておきます。 計算式 シグモイド関数 $$ \sigma \left( z _ { i } \right...
統計学

t分布における有意確率pの確率変数をPythonで求める

t分布における有意確率pの確率変数をPythonで求める t検定で、有意な範囲を求めるときに、有意確率pの確率変数を求める必要があります。 t分布 有意確率pの確率変数 ppf(p)を使うと求められる。 p...
機械学習

勾配降下法で重回帰分析してみた

勾配降下法で重回帰分析してみた Pythonで勾配降下法では、単回帰(回帰直線)で実験しました。 今回は、単回帰含め、重回帰分析まで広げてみます。 使うデータセットは、skleanのボストン住宅価格です。 モデルの説明 ...
機械学習

Pythonで勾配降下法

Pythonで勾配降下法 勾配降下法の更新 $$ \omega _ { i } = \omega _ { i } - \alpha \frac { \partial E } { \partial \omega _ { i } } ...
データサイエンス

シグモイド関数は、ロジット関数の逆関数

シグモイド関数は、ロジット関数の逆関数 ロジット関数 $$ logit ( p ) = \log \left( \frac { p } { 1 - p } \right) $$ シグモイド関数 $$ y = \fra...
データサイエンス

シグモイド関数の微分

シグモイド関数の微分 $$ \sigma ( x ) = \frac { 1 } { 1 + e ^ { - x } } $$ $$ \frac { \partial } { \partial x } \sigma ( x )...
機械学習

Label Encoding|前処理シリーズ

Label Encodingとは 各カテゴリに、固有の数値を割り当てるエンコーディングをLabel Encodingといいます。 例えば、 上のようなカテゴリデータを数値化したい時、Label Encodingを実行すると...
タイトルとURLをコピーしました