ブログ
1012022.02.10
時系列データに対する異常値の検出方法
いわゆるスパイクの検出方法だが,分光放射データに対する光学的な意味での異常値検出をしたい.
具体的にはNDVIやEVIの季節変動に対する異常値を検出したい.
と思って調べていたら参考サイトがあったので,以下に要約しておく.
データにパラメータ固定の正規分布に従うとするホテリング理論は,時間依存性の強い時系列データに対して適用するには注意が必要.
窓(Window)を設定することで,異常値から最も近い点までの距離を算出し,その距離に閾値を設けて除外判定を行うk近傍法という方法がある.
- 直前の時系列データからある一定の窓幅の部分時系列を取り出す
- 新たに得られたデータ点と部分時系列のそれぞれのデータ点までの距離を全て計算する
- 2で計算した距離のうち最も短いものをk個選び、その平均を新たに得られたデータ点の異常度とする
- 異常度がある閾値以上であれば、外れ値として検知する