올코의 우당탕탕 공부하기

데이터 입력

인덱싱을 위한 원시 데이터를 입력해주는 과정이다. 데이터 추가와는 다르게 데이터 입력은 Splunk 서버내의 local 데이터를 추가 하거나 데이터를 전달받아 추가하는 방법이다.

1) Splunk 페이지에서 우측 상단의 설정 버튼을 누른다. 나타난 창에서 데이터 항목내의 데이터 입력을 선택한다.

2) 데이터 입력 페이지가 나타나면 원하는 데이터 입력 유형을 선택한다. Splunk 서비스가 실행되고 있는 컴퓨터에 저장된 csv형식의 데이터를 인덱싱하기 위해서 파일 및 디렉터리 항목을 선택했다. 

3) 새로운 파일을 입력하기 위해 좌측 상단의 새로만들기 버튼을 클릭한다.

4) 데이터 추가 화면이 나오게 되면 사용자가 추가하고 싶은 데이터를 파일 또는 디렉터리 항복의 찾아보기를 통해 파일이 저장되어 있는 경로를 통해 선택하면 된다. 파일 혹은 디렉터리 선택이 끝나면 상단의 다음 버튼을 클릭한다.

5) Source Type을 설정하는 페이지가 나오게 된다. 이 때 기본 설정 외에 이벤트 구분을 위한 설정이 필요하면 수정이 필요한 항목을 선택해 수정을 해 주면 된다. 그 후 Source Type 선택 버튼 옆의 다른 이름으로 저장을 통해 Source Type을 저장해 주면 된다. 이 때 두번째 이미지에서 처럼 앱을 데이터를 인덱싱 할 앱으로 선택해 주어야 한다. Source Type 설정이 끝나면 상단의 다음 버튼을 클릭한다.

6) 마지막으로 입력설정 페이지가 나오면 앱 컨텍스트와 인덱스 항목들이 제대로 앱과 인덱스를 선택했는지 확인하고 상단의 검토버튼을 클릭한다.

7) 컴토 페이지가 나오면 항목들을 제대로 선택했는지를 확인한 후 상단의 제출버튼을 클릭하면 데이터 입력이 완료된 것이다. Splunk 기본 화면(첫번째 사진)에서 좌측에 데이터를 입력한 앱을 선택하여 두번째 사진의 화면이 나오면 검색에 index="인덱스명" 명령어를 통해 이벤트의 갯수를 확인하여 데이터가 제대로 입력되었는지를 확인할 수 있다.

앱 등록

1. 앞의 글에서와 같이 Splunk를 설치 후 사이트에 로그인을 하면 아래와 같은 화면이 나온다. 

앱을 등록하기 위해 화면 상단의 톱니바퀴 모양의 앱 관리 버튼을 클릭한다.

2. 앱 관리 버튼을 누르면 아래와 같은 화면이 나온다. 앱의 모든 목록들이 보여진다. 새로운 앱을 만들기 위해서 좌측 상단의 앱 만들기 버튼을 클릭한다.

3. 만들고자 하는 앱의 정보를 입력하는 창이 나오게 된다. 이 때 폴더 이름은 꼭 써주어야 한다. 한글은 안되니 영어로 폴더 이름을 지정해 준다. 나머지 정보들은 선택에 따라서 입력해 주면 된다.

정보 입력이 모두 끝나면 우측 하단의 저장 버튼을 눌러준다.

4. 저장 버튼을 누른 후 아래의 첫번째 화면과 같이 등록한 앱의 이름(appName)이 나오면 앱을 정상적으로 만든 것이다. 앱을 정상적으로 만든 후 Splunk의 기본 화면으로 돌아가면 아래의 두번째 화면과 같이 좌측에 앱이 추가 된다.

터미널에서 앱의 정보 등을 확인을 하고 싶으면

명령어를 통해 폴더에 접근하여 아래와 같이 앱들의 폴더에 접근하여 앱의 정보를 확인할 수 있다.

1. Splunk 홈페이지에 접속하여 파일 다운로드 (https://www.splunk.com/ko_kr)

Splunk 홈페이지에 접속하게 되면 아래와 같은 화면을 볼 수 있다. 

우측 상단의 무료 SPLUNK를 클릭하면 아래와 같이 개인 정보를 입력하고 회원가입을 할 수 있는 사이드 바가 나타난다. 자신의 개인정보를 입력하고 회원가입을 해야 한다.

회원 가입을 한 뒤 우측 상단의 무료 SPLUNK를 다시 누르면 하단의 화면이 나오게 된다.

Splunk는 기본적으로 유료 서비스이다. 공부를 위해서 무료 평가판으로 설치를 하도록 한다. splunk>enterprise 버전의 무료 다운로드를 눌러 본인이 사용하는 OS의 파일을 다운로드 받으면 된다.

2. 다운로드 받은 파일 압축 해제

본인은 Mac OS에서 실행을 시켜볼 것이므로 Mac OS 버전의 tgz파일을 설치해 보았다. 파일을 다운로드 받고 

명령어를 통해 파일의 압축을 풀어준다.

3. Splunk 실행

Splunk 폴더로 들어가서 bin 파일에 들어간다. (cd Splunk_path/bin)

아래의 명령어로 Splunk를 실행시키면 아래의 화면과 같이 실행이 되고 끝나게 되면 Splunk의 UI 사이트에 접속할 수 있는 주소가 나온다.

4. Splunk 사이트 접속

http://localhost:8000(서버의 도메인 혹은 주소가 있으면 localhost대신에 써주면 됨)에 접속했을 때 아래의 화면과 같이 나오면 Splunk의 설치가 잘 끝난 것이다.

최초 로그인 시 아이디/패스워드 는 admin/changeme 이다.

Splunk란?

 다양한 머신 데이터를 검색, 모니터링 및 경고, 보고 및 분석, 사용자 대시보드 생성이 가능하도록 하는 플랫폼이다.

 Splunk는 스키마를 사전에 정의하여 사용하지 않고 즉시 생성할 수 있고 RDMS가 불필요하고 필터링이 불필요 하다. Splunk 서버의 local 데이터 뿐만 아니라 Iot 기기, 외부 서버 등 원격 소스의 local 데이터 수집이 가능하도록 유니버셜 포워딩 기능을 제공하는 것이 특징이다.

 기존의 RDBMS와의 구조적인 차이점은 Schema가 요구되지 않기 때문에 정의된 구조에 맞도록 데이터를 입력하거나 처음 정의된 구조와 다를 경우 테이블의 구조 자체를 변경 해야 하는 일이 없고 모든 종류의 데이터가 수용이 가능하고 지속적인 변경 또한 수용이 가능하다. 검색을 할 때에도 시스템 디자인의 이해를 기반으로 한 query가 아니라 필요한 상황에 따라 유동적으로 검색이 가능하다.

 Map Reduce를 기반으로 Architecture가 구성되어 있어 필요에 따라 데이터를 저장하는 여러 index서버와 search head 서버를 분리하여 Search Head 서버에서 분산된 index 서버들의 데이터에 접근하여 결과를 도출하는 방법으로 사용할 수 있다.

Splunk의 기능 및 용어

search header

검색을 요청하고 검색 결과 화면을 통합하여 사용자에게 제공

• Search Head : 여러 인덱서에 검색을 명령하고 검색의 결과를 사용자에게 제공
• Splunk Daemon을 통해 검색을 수행
• 하나 이상의 검색 헤더를 통해 분산 검색이 가능
• CPU, Memory Resource를 상대적으로 많이 사용

indexer

 검색을 실제적으로 수행하는 구성 요소로 인덱스를 생성, 관리, 데이터 처리를 함. 원시 데이터와 인덱싱된 데이터를 저장 및 검색

• Index : 데이터 저장소
• Indexing : raw data를 Splunk에서 검색을 하기 위한 이벤트로 변환하여 저장, 기록하는 작업
• Parsing : 이벤트들을 각각의 필드로 분류하는 작업(타임 스템프, 각가의 칼럼 분류)
• Field : 이벤트를 Parsing한 결과에서 Value들의 Key 값         

 Indexer에서 데이터를 저장할 때 데이터를 효율적으로 검색하기 편하도록 Hot, Warm, Cold, Thawed Bucket들로 나누어 저장을 해 준다. 기본적으로 데이터가 저장 될 때는 Warm, Cold, Frozen, Thawed 단계에 최신 데이터에서 오래된 데이터 순으로 저장이 된다. 비용적인 효율을 위해서 하드웨어를 자주 쓰이는 Hot, Warm 단계는 고속의 디스크를 배치하고 Cold, Frozen, Thawed와 같이 자주 안 쓰이는 단계는 상대적으로 상대적으로 느린 디스크를 사용한다.

deployment

로컬 및 분산된 인스턴스를 관리하는 기능으로 Deployment 서버를 따로 분리하여 운영하기도 함

forwarder

• Universal Forwarder

  데이터를 전송해 줄 agent에 설치되는 forwarder로 데이터를 전송하는 데 필요한 구성 요소들만 포함이 되어 있다. 단순히 데이터를 전송해 주는 기능을 제공하기 때문에 데이터 필터링 및 수정은 불가능하다. 기능이 단순하기 때문에 CPU에 대한 부하와 메모리 사용과 디스크 공간 사용이 적다.

• Load Balancing Forwarder

 Universal Forwarder들과 Indexer 사이에서 데이터를 수집하고, 분산하여 저장하는 역할을 한다. Universal Forwarder들에게 전송된 데이터들을 각각의 Indexer들의 사용량을 파악하여 균등하게 데이터를 분산하여 저장하는 기능을 제공한다.

 Splunk Metadata

 Splunk에서 raw 데이터들을 indexing을 하면 기본적으로 생성되는 필드들이 있다. 이러한 필드들을 Metadata라고 한다.

- 내부 필드

 내부 필드들은 필드명이 _로 시작

_raw : 원본 파일의 정보를 포함하는 필드

_time : timestamp와 같은 개념으로 이벤트의 시간 정보를 포함하는 필드

_index : 이벤트의 index 정보를 포함하는 필드

_key : 이벤트의 key 정보를 포함하는 필드

-  주요 Metadata

 데이터를 인덱싱하면 모든 이벤트에 대하여 공통적으로 해당되는 필드 유형

host : 네트워크 장치의 호스트 이름/IP 주소가 표시되는 필드

index : 데이터가 인덱싱 된 인덱스(데이터 저장소)의 이름이 표시된 필드, 데이터를 저장할 때 인덱스를 지정해 주지 않으면 기본으로 생성되는 main인덱스에 데이터가 인덱싱 됨

linecount : 이벤트 데이터의 라인 수가 표시된 필드, 라인 수에 따라 이벤트를 분류하여 검색하는데 사용할 수 있음

source : 인덱싱 된 이벤트들의 raw data의 출처(local 파일, 외부 api로 받아오는 데이터 등)에 대한 정보, 데이터의 생성에 따른 분류를 위한 필터링이나 데이터를 처리하기 위한 명령에 인수로 사용할 수 있음

sourcetype : 이벤트의 데이터 입력 형식이 지정된 필드(csv, json 등 데이터의 형식)

timestamp : 이벤트의 시간에 대한 정보를 포함하는 필드

- 시간 필드

 타임스탬프에 더 세부적으로 추가된 정보 필드