트위터의 AnomalyDetection 오픈 소스 패키지

4년 전 트위터는 이상치 탐지 패키지인 AnomalyDetection을 오픈 소스화했으며,

​

지금까지도 유용하고 그 성능이 우수하다고 알려져 있음

​

(프로젝트의 깃허브 저장소와 트위터의 공식 블로그에서 자세한 정보를 얻을 수 있음)

​

이 패키지는 이상치 식별을 위해 일반화된 ESD보다 더 정교한 모델을 구축하는 계절적 하이브리드(seasonal hybrid) ESD(extreme studentized deviant)를 구현하여 제공함

​

일반화된 ESD 검정 (https://perma.cc/C7BV-4KGT) 자체는 데이터셋에 단일 특이치가 있다는 가설을 검정하는 그럽스(grubbs) 검정 (https://perma.cc/MKR5-UR3V)에 기반함

​

일반화된 ESD는 이 검정을 반복적으로 적용함

​

처음에는 가장 극단적인 이상치를 검정하고, 계속해서 점점 더 작은 이상치를 검정해나가며 동시에 다중 순차 검정을 고려하도록 검정의 임곗값을 조정함

​

계절적 하이브리드 ESD는 일반화된 ESD에 기반한 시계열의 분해를 통해 동작의 계절성을 설명함

​

​

트위터의 자동 이상 탐지 기능에는 설정 가능한 여러 파라미터(https://perma.cc/BR4K-R8GL)가 있으며, AnomalyDetection 패키지는 새로운 데이터의 탐색, 정리, 모델링에 사용 가능한 유용한 도구임

​

​

트위터가 AnomalyDetection 패키지의 릴리즈와 레벨 변경 감지용 BreakoutDetection 패키지도 동시에 릴리즈했다는 사실을 알아둘 만한 가치가 있음

​

BreakoutDetection 패키지는 시계열에서 레벨이 이동한 위치를 식별하는 역할을 함

​

이 패키지도 접근성이 좋고 사용하기 쉽지만, AnomalyDetection 패키지만큼 주목받지 못했음

​

BreakoutDetection보다 더 대규모로 테스트되고 배포가 되어온 브레이크아웃 시점 검출용 패키지가 여럿 존재함