EDA:探索的データ分析

EDA:探索的データ分析

EDAは、Explanatory Data Analysisの略

探索的にデータ分析します。

更新中だけど公開しておく

メモ

データの種類・分布・パターン・相関関係などを見る。

グラフを使って、データを可視化する。

データそのものを理解するための分析の初期のフェーズ

データそのものを見る。

記述統計量を見る
boxplot, describe

グラフ
targetとの相関関係
散布図
特徴量どうしの相関関係
ヒートマップ
次元削除による視覚化
箱ひげ図

欠測値

データの分布を見る
・データが連続値
比較対象がないor少ない:ヒストグラム
比較対象が多い:箱ひげ図
・データが離散値
大きさの比を見る:棒グラフ
内訳をみる:帯グラフ
大きさの比とその内訳をみる:積み上げ棒グラフ

データの関係を見る
・データが連続値:散布図
・データが離散値:クロス集計/ヒートマップ
データの推移を見る
・傾きの増減とその程度を見る:折れ線グラフ
・推移の方向と分布を見る:ロウソク足チャート

絵・グラフで分かるようにする
Visualization

データの分布を見る
ヒストグラム・箱ひげ図

データの関係を見る
散布図

データを集約する

データを層別にする
データを詳細化する
データを時系列で見る

グラフ

ノードグラフ
ガントチャート
折れ線グラフ
時系列ヒートマップ
散布図
ヒートマップ
積み重ね棒グラフ
棒グラフ
円グラフ
ヒストグラム