Work Hard, Study Hard!

python의 MySql 연동 라이브러리 중 PyMySql 라이브러리를 사용하여 보았다. pip 명령어를 통해 python을 쉽게 설치할 수 있다. $pip install PyMySql 터미널에서 python을 실행하여 >>>import pymysql 을 통해 아래의 사진과 같이 에러가 나지 않는 경우 제대로 설치가 되었음을 확인할 수 있다. PyMySql의 설치가 완료되면 아래의 예제와 같이 데이터베이스 서버에 접속하여 데이터를 변경하고, 원하는 데이터를 얻어올 수 있다. 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657import pymysql.cursors # ..

MySql 홈페이지에서 mysql-python connector 라이브러리를 다운을 받는다. (클릭시 링크 연결) 설치가 끝난 후 터미널 창에서 python을 실행하여 라이브러리가 잘 설치 되었는지 확인을 할 수 있다. 라이브러리를 모두 설치하면 데이터베이스에서 데이터를 받아오기 위해 데이터베이스에 접속을 해야 한다. mysql.connector.connect 매서드를 사용해서 연결하고자 하는 데이터베이스의 정보를 통해 데이터베이스에 접속을 하면 된다. 연결과 관련하여 에러가 발생할 수 있으므로 에러 발생을 대비하여 예외처리를 해주는 것이 좋다. 아래 코드 참고import mysql.connector from mysql.connector import errorcode try: #연결할 데이터베이스의 정보..

이전 글에서 문제가 있었던 한글 키워드로 트위터를 크롤링하는 경우 함수에서 한글 키워드를 인식하지 못하는 점을 해결하였다. 처음에는 .encode('utf-8')을 통해 한글 문자를 인코딩하여 인자로 넘겨주어어야 하지 않을까 생각을 해보았지만 찾아보다 보니 파이썬은 기본적으로 문자열을 unicode로 인식을 한다. 기본적인 한글 문자열을 입력하지 않고 unicode형식으로 인자를 넘겨주면 문제가 해결 될 것 같아서 u'한글'의 형식으로 수정을 하였더니 원하던 대로 정상적인 작동을 하였다.# -*- coding: utf-8 -*- # 한글 주석을 사용하기 위함 import tweepy consumer_key = 'consumer_key' consumer_secret = 'consumer_secret' ac..

Python에서 트위터 API를 사용하기 위해서는 Tweepy 모듈을 설치하여야 한다. 터미널창에서 $pip install tweepy 명령어를 통해 Tweepy 모듈을 설치한다. 위의 사진과 같이 모듈 설치가 완료되면 각자 사용하는 파이썬 편집기에서 import tweepy를 통해 정상적으로모듈을 사용할 수 있다. 이전 글에서는 사용자가 업로드한 트윗들을 출력하는 예제 프로그램이었지만 이번에는 실질적으로 데이터를 수집하기 위하여 원하는 단어가 있는 트윗들을 크롤링하는 코드를 짜보고자 한다. 우리 팀이 원하는 데이터인 구어체가 많이 포함 할 만한 단어로 "그냥", "근데", "했어"이 세가지 단어를 포함하는 트윗들을 크롤링 하고자 한다. (tweepy github를 참조 - https://github.c..

졸프팀에서 필요로하는 데이터는 우리가 일상생활에서 사용하는 줄임말 등의 일반 사용자들이 사용할만한 말들이 들어있는 구어체 데이터이다. 그러나 세종말뭉치 등의 데이터에서는 우리가 원하는 데이터를 얻기가 힘들었다. 사용자가 일상생활에서 사용하는 구어체 데이터를 얻기 위해 우리는 SNS를 활용하기로 하였다. 겨울방학동안 인턴 경험에서 배운 웹 크롤링 기술을 통해 데이터를 확보하고자 하였다. 우리가 사용했던 Scrapy나 Beautiful Soup을 사용 할 수도 있지만 트위터 같은 경우는 API를 제공하여 주기 때문에 Python에서 사용할 수 있는 API인 Tweepy를 사용하고자 한다. 먼저 트위터 API를 사용하기 위한 권한을 얻기 위해 https://dev.twitter.com/index 에서 API ..