Splunk의 실시간 검색 구조 설명

Splunk도 실시간 검색이 가능합니다. 스플렁크는 데이터가 들어오면 인덱스에 저장하게 됩니다. 그리고 5분 단위로 그 데이터를 데이터모델에 색인을 하게 됩니다.

실시간 검색을 하게 되면 인덱스의 데이터와 데이터모델의 데이터를 한번에 검색해서 보여줍니다.

그래서 최근 데이터는 메모리에 있으니 빠르게 검색되고, 오래된 데이터는 디스크에 있어도 색인되어 있기 때문에 빠르게 검색됩니다.

흠… 그런데 보안 분석쪽에서는 Splunk로 실시간 검색을 잘 사용한다는 이야기는 못 들었습니다. 그 이유는 실시간 검색의 부하가 생각보다 크기 때문입니다.

그리고 실시간 검색을 하려면 100% 메모리 기반으로 구현된 제품을 사용해야지, 애매하게 구성된 제품을 사용하는건 문제가 있습니다.

그런면에서 대용량검색도 되고 실시간 검색도 잘 되는 제품은 없는것 같네요.

고객 입장에서 2개의 제품을 모두 구매할 수도 없고,,,,