올코의 우당탕탕 공부하기

이전 글에서 문제가 있었던 한글 키워드로 트위터를 크롤링하는 경우 함수에서 한글 키워드를 인식하지 못하는 점을 해결하였다. 처음에는 .encode('utf-8')을 통해 한글 문자를 인코딩하여 인자로 넘겨주어어야 하지 않을까 생각을 해보았지만 찾아보다 보니 파이썬은 기본적으로 문자열을 unicode로 인식을 한다. 기본적인 한글 문자열을 입력하지 않고 unicode형식으로 인자를 넘겨주면 문제가 해결 될 것 같아서 u'한글'의 형식으로 수정을 하였더니 원하던 대로 정상적인 작동을 하였다.

# -*- coding: utf-8 -*-
# 한글 주석을 사용하기 위함
import tweepy

consumer_key = 'consumer_key'
consumer_secret = 'consumer_secret'
access_token = 'access_token'
access_token_secret = 'access_token_secret'

file = open('crawlData.txt', 'a')

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

dataLenght = 0

class MyStreamLstener(tweepy.StreamListener):  #기존 tweepy의 streamListener의 오버라이딩
    def on_status(self, status):
        if dataLenght==1000000:  #원하는 데이터의 수를 지정하기 위한 조건문
            return
        dataStr = status.text
        print (dataStr)  #데이터가 크롤링 되는 모습을 확인하기 위한 출력문
        file.write(dataStr.encode('utf-8'))
        ++dataLenght

    def on_error(self, status_code):
        if status_code == 420:  #stream에 연결을 하지 못하는 에러가 발생하는 경우 False를 반환
            return False

if __name__ == '__main__':
    myStreamListener = MyStreamLstener()
    myStream = tweepy.Stream(auth=api.auth, listener=myStreamListener)
    #트위터 stream 중에 []배열 안에 들어간 단어들이 있는 문장만을 필터링 해줌
    #파이썬은 기본적으로 문자열을 unicode로 인식함
    #키워드를 u'한글'으로 하게 되면 기본적으로 인식하는 문자 형태인 unicode로 변환하여 읽음
    #사용자들 간에 대화에서 많이 등장 할 만한 단어들인 "근데", "그냥", "했어"를 포함하는 트윗들을 읽어옴
    myStream.filter(track=[u'근데', u'그냥', u'했어'])

추가적으로 

        dataStr = status.text
        print (dataStr)  #데이터가 크롤링 되는 모습을 확인하기 위한 출력문
        file.write(dataStr.encode('utf-8'))
        ++dataLenght

이 부분에서 파일에 출력을 할 때 dataStr로 하면 에러가 났었다. 그래서 status.text를 확인해 보았더니 unicode형식인 status를 .text 모듈을 통해 해석을 하여 콘솔창에 출력을 해주는 것이었다. Unicode형식의 문자열인 DataStr을 'utf-8'형식으로 인코딩을 하여야 파일에 정상적인 출력이 된다.

파일에 출력된 결과물은 아래의 사진과 같이 나타난다.

대량의 구어체 데이터를 수집할 수 있어 좋지만 트위터의 특성상 은어 및 비속어도 많은 문제점들이 있어서 학습에 사용할 수 있을 지는 좀 미지수이다. 데이터를 정제하는 방법을 사용하던지 등의 해결책을 구해야 할 것 같다.

 Python에서 트위터 API를 사용하기 위해서는 Tweepy 모듈을 설치하여야 한다. 터미널창에서 

$pip install tweepy

 명령어를 통해 Tweepy 모듈을 설치한다.

 위의 사진과 같이 모듈 설치가 완료되면 각자 사용하는 파이썬 편집기에서 import tweepy를 통해 정상적으로모듈을 사용할 수 있다.

 이전 글에서는 사용자가 업로드한 트윗들을 출력하는 예제 프로그램이었지만 이번에는 실질적으로 데이터를 수집하기 위하여 원하는 단어가 있는 트윗들을 크롤링하는 코드를 짜보고자 한다. 우리 팀이 원하는 데이터인 구어체가 많이 포함 할 만한 단어로 "그냥", "근데", "했어"이 세가지 단어를 포함하는 트윗들을 크롤링 하고자 한다. (tweepy github를 참조 - https://github.com/tweepy/tweepy)

# -*- coding: utf-8 -*-
# 한글 주석을 사용하기 위함
import tweepy

consumer_key = 'consumer_key'
consumer_secret = 'consumer_secret'
access_token = 'access_token'
access_token_secret = 'access_token_secret'

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)
api = tweepy.API(auth)

class MyStreamLstener(tweepy.StreamListener): #기존 tweepy의 streamListener의 오버라이딩
    def on_status(self, status):
        print (status.text)

    def on_error(self, status_code):
        if status_code == 420: #stream에 연결을 하지 못하는 에러가 발생하는 경우 False를 반환
            return False

if __name__ == '__main__':
    myStreamListener = MyStreamLstener()
    myStream = tweepy.Stream(auth=api.auth, listener=myStreamListener)
    myStream.filter(track=['hungry']) #트위터 stream 중에 []배열 안에 들어간 단어들이 있는 문장만을 필터링 해줌

 위의 코드를 통해 원하는 keyword가 포함된 트윗들을 크롤링 할 수 있다. 아직 예제코드를 사용하여 크롤링을 하여 영어 키워드로만 크롤링을 하였다. 우리가 필요로 하는 데이터는 한글 데이터이므로 한글 keyword를 입력하니 예상대로 문제가 발생하였다. 인코딩으로 이 문제를 해결 할 수 있을 것 같으나 이 부분에 대해서 아직 해결을 하지 못하여서 더 찾아보고 공부가 필요하다. 그리고 한글을 사용하게 되면 지난 인턴기간 동안 있었던 인코딩 문제를 해결해야 할 것으로 예상이 된다.

작년에 수업을 들으면서 배웠던 개념들이 시간이 지나서 헷갈려서 다시 정리를 해보려고 한다. 지극히 내 중심의 개념정리라서 나에게 필요한 부분들만 후에 다시 확인하기 쉽도록 적어 놓으려 한다.

기본 용어

   개체(Entity) 

: 표현하려는 유무형 정보의 객체, 정보의 단위, 하나 이상의 속성(Attribute)로 구성

- 개체 타입(열들의 이름의 집합 개념), 개체 인스턴스(튜플 하나하나), 개체 집합(튜플들의 집합)

   관계(Relation) 

: 두 개 이상의 개체들 사이의 연관성을 의미

- 속성 관계(개체 내의 관계), 개체 관계(개체 간의 관계)

- 1:1 관계, 1:N 관계, N:M관계

   속성(Property) 

: 개체의 특성을 표현

스키마

ER다이어그램

   데이터 모델링 과정에서 현실 세계를 개체 타입과 관계 타입을 통해 개념적으로 표현을 한다. 특정 DBMS을 고려 하는 것은 아님.

데이타베이스의 종류

   계층형 데이타베이스

 : 데이터 관계를 트리 구조로 정의하여 부모, 자식 형태를 갖는 구조이다. 각 데이터 개체들은 상하 관계를 나타내는 링크로 구성된다.(상위 레코드가 복수의 하위 레코드를 갖는 구조) 데이터의 중복 문제가 생길 수 있는 단점이 있다.

   네트워크형 데이타베이스

 : 그래프 구조를 기반으로 하여 개체와 개체 관계를 그래프 구조로 연결한다. 계층형 데이타베이스와는 다르게 상위 개체를 여러개를 가질 수 있는 차이점이 있다. 계층형 데이타베이스의 중복 문제를 해결하였으나 구조가 복잡하여 추후에 구조를 변경하기 복잡한 단점이 있다.

   관계형 데이타베이스

 : 관계형 데이타 모델을 사용하며 현재까지 가장 안정적이고 효율적으로 여겨저 가장 많이 사용되는 데이타 베이스이다. Column과 Row(레코드 혹은 튜플로 불림)로 구성된 하나 이상의 테이블간의 관계를 나타낼 때 사용한다. 고유 키(Primary key)가 각 Row를 구분할 수 있도록 한다. 각 테이블/관계는 하나의 엔티티 타입을 대표하며 Row는 그 엔티티 종류의 인스턴스를 대표하고 Column은 그 인스턴스의 속성이 되는 값들을 나타낸다.

 졸프팀에서 필요로하는 데이터는 우리가 일상생활에서 사용하는 줄임말  등의 일반 사용자들이 사용할만한 말들이 들어있는 구어체 데이터이다. 그러나 세종말뭉치 등의 데이터에서는 우리가 원하는 데이터를 얻기가 힘들었다. 사용자가 일상생활에서 사용하는 구어체 데이터를 얻기 위해 우리는 SNS를 활용하기로 하였다. 겨울방학동안 인턴 경험에서 배운 웹 크롤링 기술을 통해 데이터를 확보하고자 하였다. 우리가 사용했던 Scrapy나 Beautiful Soup을 사용 할 수도 있지만 트위터 같은 경우는 API를 제공하여 주기 때문에 Python에서 사용할 수 있는 API인 Tweepy를 사용하고자 한다.

 먼저 트위터 API를 사용하기 위한 권한을 얻기 위해 https://dev.twitter.com/index 에서 API Key를 발급받는 과정을 설명하려 한다.

1. 트위터 개발자 홈페이지에 접속하여 하단의  Tools 메뉴의 Manage my apps를 클릭한다. (https://dev.twitter.com/index)

 2. Create New App 버튼을 눌러서 새로운 App을 생성한다. (API Key를 발급 받은 적이 없으면 아무것도 나타나지 않는다.)

3. Application을 만들기 위한 정보들을 입력한다.

4. API Key 발급 완료.

 위와 같은 창이 나오면 API Key가 제대로 발급된 것이다. Python에서 Tweepy모듈을 사용하기 위해서 필요한 Consumer key와 access token을 확인하기 위해서는 Keys and Access Tokens메뉴를 들어가서 확인할 수 있다.

Access token은 처음엔 확인을 할 수 없다.

위의 화면에서 Create my access token을 클릭하면 확인 할 수 있다.

발급받은 API Key를 통해서 사용자가 twitter에 작성한 글들을 출력하는 간단한 예제를 만들어 보았다.

import tweepy

consumer_key = 'consemer_key'
consumer_secret = 'consumer_secret'
access_token = 'access_token'
access_token_secret = 'access_token_secret'

auth = tweepy.OAuthHandler(consumer_key, consumer_secret)
auth.set_access_token(access_token, access_token_secret)

api = tweepy.API(auth)

public_tweets = api.home_timeline()
for tweet in public_tweets:
    print tweet.text

두번째 숙제인 외부에서 데이터를 저장해주기 위해 MySql에 접근할 수 있는 계정을 만드는 과정을 써보고자 한다.

신기하게도 첫 시작인 MySql에 접속하는 부분에서 부터 문제가 생겼다....(ㅠㅠ)

ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2)

이런 에러 메세지가 출력되었다. 구글링을 해보니 나처럼 MySql을 설치한 후인 경우에는 MySql 클라이언트만 설치 된 경우와 MySql이 시작되지 않는 두가지의 상황에 의해서 상황이 발생한다고 한다.

MySql을 설치할 때 MySql-server도 같이 설치를 했었으나 혹시 몰라서  

rpm -qa | grep ^mysql

 명령어를 통해서 확인 해봤더니 

community-server-5.6.36-2.el7.x86_64

버전이 깔려있음을 확인할 수 있었다. 그러므로 나의 경우에 맞는 MySql이 시작되지 않은 경우의 방법으로 생각을 해보고 해결해 보고자 하였다.

service mysqld start 

명령어를 통해서 MySql 서비스를 시작하니 mysql -u root -p 명령어를 통해 MySql에 접속을 할 수 있었다.

 이제 본격적으로 MySql에 접근할 수 있는 계정을 등록하는 과정을 진행해보려 한다. 나는 항상 내가 잘못을 하는 건지 온갖 에러들이 나는데 이번에도 역시 이슈들이 생겼다!

우선 현재 데이터베이스의 사용자를 확인하기 위해 MySql database를 선택하여 host, user password를 확인해보려 한다.

select host, user, password from user;

현재 아무 계정도 등록을 안해서 local과 관련된 루트계정만 떴다. 이제부터 외부에서 접근을 할 수 있는 계정을 생성을 한다. MySql에 접근을 하는 계정을 만드는 명령어는 create user이라는 명령어를 사용한다.

create user userID;

userID부분에 자신이 원하는 ID를 넣어주면 된다. 그리고 아이디에 대하여 로컬계정인지, 외부 계정인지 를 설정하고, 비밀번호를 설정해 주도록 해줘야 하는데 이 부분에서 이슈가 하나 발생하였다. 

create user 'userID'@'%' identified by 'password';
//'%'는 외부에서 접근하기 위한 계정임을 나타내는 것, 내부에서 접근하기 위한 계정은 localhost를 써준다

ERROR 1396 (HY000): Operation CREATE USER failed for 'accessId'@'%'

위처럼 에러가 났다. 구글링을 해보니 stackoverflow에 비슷한 에러가 올라왔다. 대강 해석해보면 이미 userID로 아이디를 만들고 다시 userID로 만들어서 설정을 하려해서 충돌이 난 것 같다. 해결 방법으로는 userID를 drop 명령어를 통해 삭제하고, mysql privilege를 flush 해주어야 한다. privilege flush는 사용자를 추가, 삭제, 권한을 변경했을 때 MySql에 변경사항을 업데이트하기 위한 명령어이다. 이 과정을 명령어로 보게 되면 아래와 같다.

drop user 'userID';
flush privileges;
create user 'userID'@'%' identified by 'password';

위의 과정을 끝내고 host, user, password from user을 다시 확인해보면 host가 %인 user가 보이게 될 것이다. 외부에서 접근이 가능한지 확인하기 위해서 새로운 터미널창에서 명령어를 통해 접근을 해보았다.

mysql -h서버주소 -u아이디 -p패스워드

위의 명령어를 통해 접속을 하면 아래와 같이 정상적으로 접속이 됨을 확인할 수 있다. 접속이 정상적으로 되면 외부에서 접속 가능한 계정을 성공적으로 만든 것이다.

mysql: [Warning] Using a password on the command line interface can be insecure.

Welcome to the MySQL monitor.  Commands end with ; or \g.

Your MySQL connection id is 13

Server version: 5.6.36 MySQL Community Server (GPL)

Copyright (c) 2000, 2016, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its

affiliates. Other names may be trademarks of their respective

owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql>