Work Hard, Study Hard!

1. Splunk 홈페이지에 접속하여 파일 다운로드 (https://www.splunk.com/ko_kr) Splunk 홈페이지에 접속하게 되면 아래와 같은 화면을 볼 수 있다. 우측 상단의 무료 SPLUNK를 클릭하면 아래와 같이 개인 정보를 입력하고 회원가입을 할 수 있는 사이드 바가 나타난다. 자신의 개인정보를 입력하고 회원가입을 해야 한다. 회원 가입을 한 뒤 우측 상단의 무료 SPLUNK를 다시 누르면 하단의 화면이 나오게 된다.Splunk는 기본적으로 유료 서비스이다. 공부를 위해서 무료 평가판으로 설치를 하도록 한다. splunk>enterprise 버전의 무료 다운로드를 눌러 본인이 사용하는 OS의 파일을 다운로드 받으면 된다. 2. 다운로드 받은 파일 압축 해제 본인은 Mac OS에서 실..

Splunk란? 다양한 머신 데이터를 검색, 모니터링 및 경고, 보고 및 분석, 사용자 대시보드 생성이 가능하도록 하는 플랫폼이다. Splunk는 스키마를 사전에 정의하여 사용하지 않고 즉시 생성할 수 있고 RDMS가 불필요하고 필터링이 불필요 하다. Splunk 서버의 local 데이터 뿐만 아니라 Iot 기기, 외부 서버 등 원격 소스의 local 데이터 수집이 가능하도록 유니버셜 포워딩 기능을 제공하는 것이 특징이다. 기존의 RDBMS와의 구조적인 차이점은 Schema가 요구되지 않기 때문에 정의된 구조에 맞도록 데이터를 입력하거나 처음 정의된 구조와 다를 경우 테이블의 구조 자체를 변경 해야 하는 일이 없고 모든 종류의 데이터가 수용이 가능하고 지속적인 변경 또한 수용이 가능하다. 검색을 할 때에..

Spark 설치 1. Apache spark 홈페이지에서 압축 파일 다운로드(https://spark.apache.org/downloads.html) 필요로 하는 spark의 버전이 있다면 1번에서 버전을 선택한 뒤 tgz파일을 다운로드 받는다. 본인은 특정 버전이 필요하지는 않아서 최신 버전으로 바로 설치하였다. 2. 쉘에서 spark를 실행해당 폴더로 이동을 한다. 폴더를 이동한 후 ./bin/sparkshell 명령어를 통해 bin파일의 spark-shell을 실행시키기면 된다. 그런데 이때 또 에러 메세지가 발생했다.😂Exception in thread "main" java.lang.NullPointerException 이 나는 것을 보니 자바 설치가 잘못 되었나 싶어서 다시 설치를 해보았으나 같..

데이터를 다루다 보면 원하는 데이터로 가공을 하는 과정에서 join이 쓰이는 경우가 많다. 필자도 인턴을 하면서 데이터들을 다루다보면 분산되어 있는 데이터들을 하나의 원하는 데이터로 가공을 하는 과정에서 join을 많이 사용한다. 데이터가 워낙 크다보니 index를 잘 이용해야만 join을 사용하여도 원하는 결과가 나왔다. 같은 스키마를 가진 다른 디비에서 같은 쿼리로 데이터를 join 하면서 select를 하는데 어떤 DB에서는 explain을 통해 보았을 때 index를 잘 타면서 데이터를 빠르게 추출할 수 있지만 어떤 DB에서는 index를 타지 않는 경우가 있었다. 이러한 경우 때문에 한참 멘붕을 겪었었는데 이러한 경우가 문자열값을 가지는 column을 join 하였을 때만 나타났다. 사수님께 여..

참고Elasticsearch는 JVM 기반으로 자바가 깔려 있어야 한다.설치하고자 하는 elasticsearch 버전에 맞는 java 버전이 다르므로 확인을 한 후(https://www.elastic.co/support/matrix) 아래의 과정을 진행하길 바란다.본인의 환경은 java version "1.8.0_144" 와 현재 기준(2017-10-07) 최신 버전인 elasticsearch-5.6.2 와 kibana-5.6.2 버전을 다운받아 사용하였다. Elasticsearch 홈페이지에서 본인의 Java 버전과 OS에 맞는 elasticsearch 다운로드 파일을 설치한다.(https://www.elastic.co/kr/downloads/elasticsearch)압축 파일의 다운로드가 완료되면 압..

python의 MySql 연동 라이브러리 중 PyMySql 라이브러리를 사용하여 보았다. pip 명령어를 통해 python을 쉽게 설치할 수 있다. $pip install PyMySql 터미널에서 python을 실행하여 >>>import pymysql 을 통해 아래의 사진과 같이 에러가 나지 않는 경우 제대로 설치가 되었음을 확인할 수 있다. PyMySql의 설치가 완료되면 아래의 예제와 같이 데이터베이스 서버에 접속하여 데이터를 변경하고, 원하는 데이터를 얻어올 수 있다. 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657import pymysql.cursors # ..

MySql 홈페이지에서 mysql-python connector 라이브러리를 다운을 받는다. (클릭시 링크 연결) 설치가 끝난 후 터미널 창에서 python을 실행하여 라이브러리가 잘 설치 되었는지 확인을 할 수 있다. 라이브러리를 모두 설치하면 데이터베이스에서 데이터를 받아오기 위해 데이터베이스에 접속을 해야 한다. mysql.connector.connect 매서드를 사용해서 연결하고자 하는 데이터베이스의 정보를 통해 데이터베이스에 접속을 하면 된다. 연결과 관련하여 에러가 발생할 수 있으므로 에러 발생을 대비하여 예외처리를 해주는 것이 좋다. 아래 코드 참고import mysql.connector from mysql.connector import errorcode try: #연결할 데이터베이스의 정보..

SQL 데이타 정의문스키마: 하나의 사용자에 속하는 테이블과 기타 구성요소 등의 그룹- 스키마 이름, 스키마 소유자, 스키마 허가권자, (테이블, 뷰, 도메인 기타 내용)포함 SQL 데이타 타입- 숫자 타입· INT SMALLINT : 정수· FLOAT(n), REAL, DOUBLE PRECISION : 실수· DECIMAL(i, j), REAL, DOUBLE PRICISION : 실수- 문자 스트링· CHAR(n), CARCHAR(n) : 문자- 비트 스트링· BIT(n), BIT VARYING(n)- 날짜, 시간· DATE : 날짜 (YY-MM-DD)· TIME : 시간 (hh:mm:ss)· TIMESTAMP : DATE & TIME· INTERVAL : DATE, TIME & TIMESTAMP 도메..

관계 대수- 절차언어- 데이타를 얻기 위하여 어떻게 해야 되는지 일련의 연산을 순서대로 명세- 릴레이션(튜플의 집함)을 처리하기 위한 연산- 폐쇄 성질 : 피연산자 = 릴레이션 & 연산결과 = 릴레이션 일반 집합 연산자: 수학적 집합 이론에서 사용하는 연산자로서 릴레이션 연산에도 적용 가능1) 합집합 (UNION, ∪): 합병 가능한 두 릴레이션 R과 S의 합집합 - 두 릴레이션 R 또는 릴레이션 S에 속하는 튜플 t로 구성된 릴레이션- 수학적 표현 : R ∪ S = { t | t ∈ R ∨ t ∈ S)- 카디널리티 : |R ∪ S| ≤ |R| + |S|2) 교집합 (INTERSECT, ∩):합병 가능한 두 릴레이션 R과 S의 교집합 - 두 릴레이션 R과 S 양 릴레이션에 동시에 속해 있는 튜플 t로 구..

이전 글에서 문제가 있었던 한글 키워드로 트위터를 크롤링하는 경우 함수에서 한글 키워드를 인식하지 못하는 점을 해결하였다. 처음에는 .encode('utf-8')을 통해 한글 문자를 인코딩하여 인자로 넘겨주어어야 하지 않을까 생각을 해보았지만 찾아보다 보니 파이썬은 기본적으로 문자열을 unicode로 인식을 한다. 기본적인 한글 문자열을 입력하지 않고 unicode형식으로 인자를 넘겨주면 문제가 해결 될 것 같아서 u'한글'의 형식으로 수정을 하였더니 원하던 대로 정상적인 작동을 하였다.# -*- coding: utf-8 -*- # 한글 주석을 사용하기 위함 import tweepy consumer_key = 'consumer_key' consumer_secret = 'consumer_secret' ac..