Work Hard, Study Hard!

Python에서 트위터 API를 사용하기 위해서는 Tweepy 모듈을 설치하여야 한다. 터미널창에서 $pip install tweepy 명령어를 통해 Tweepy 모듈을 설치한다. 위의 사진과 같이 모듈 설치가 완료되면 각자 사용하는 파이썬 편집기에서 import tweepy를 통해 정상적으로모듈을 사용할 수 있다. 이전 글에서는 사용자가 업로드한 트윗들을 출력하는 예제 프로그램이었지만 이번에는 실질적으로 데이터를 수집하기 위하여 원하는 단어가 있는 트윗들을 크롤링하는 코드를 짜보고자 한다. 우리 팀이 원하는 데이터인 구어체가 많이 포함 할 만한 단어로 "그냥", "근데", "했어"이 세가지 단어를 포함하는 트윗들을 크롤링 하고자 한다. (tweepy github를 참조 - https://github.c..

작년에 수업을 들으면서 배웠던 개념들이 시간이 지나서 헷갈려서 다시 정리를 해보려고 한다. 지극히 내 중심의 개념정리라서 나에게 필요한 부분들만 후에 다시 확인하기 쉽도록 적어 놓으려 한다. 기본 용어 개체(Entity) : 표현하려는 유무형 정보의 객체, 정보의 단위, 하나 이상의 속성(Attribute)로 구성- 개체 타입(열들의 이름의 집합 개념), 개체 인스턴스(튜플 하나하나), 개체 집합(튜플들의 집합) 관계(Relation) : 두 개 이상의 개체들 사이의 연관성을 의미- 속성 관계(개체 내의 관계), 개체 관계(개체 간의 관계)- 1:1 관계, 1:N 관계, N:M관계 속성(Property) : 개체의 특성을 표현 스키마 외부 스키마(external schema)- 개개 사용자의 데이타베이스..

졸프팀에서 필요로하는 데이터는 우리가 일상생활에서 사용하는 줄임말 등의 일반 사용자들이 사용할만한 말들이 들어있는 구어체 데이터이다. 그러나 세종말뭉치 등의 데이터에서는 우리가 원하는 데이터를 얻기가 힘들었다. 사용자가 일상생활에서 사용하는 구어체 데이터를 얻기 위해 우리는 SNS를 활용하기로 하였다. 겨울방학동안 인턴 경험에서 배운 웹 크롤링 기술을 통해 데이터를 확보하고자 하였다. 우리가 사용했던 Scrapy나 Beautiful Soup을 사용 할 수도 있지만 트위터 같은 경우는 API를 제공하여 주기 때문에 Python에서 사용할 수 있는 API인 Tweepy를 사용하고자 한다. 먼저 트위터 API를 사용하기 위한 권한을 얻기 위해 https://dev.twitter.com/index 에서 API ..

두번째 숙제인 외부에서 데이터를 저장해주기 위해 MySql에 접근할 수 있는 계정을 만드는 과정을 써보고자 한다. 신기하게도 첫 시작인 MySql에 접속하는 부분에서 부터 문제가 생겼다....(ㅠㅠ) ERROR 2002 (HY000): Can't connect to local MySQL server through socket '/var/lib/mysql/mysql.sock' (2) 이런 에러 메세지가 출력되었다. 구글링을 해보니 나처럼 MySql을 설치한 후인 경우에는 MySql 클라이언트만 설치 된 경우와 MySql이 시작되지 않는 두가지의 상황에 의해서 상황이 발생한다고 한다. MySql을 설치할 때 MySql-server도 같이 설치를 했었으나 혹시 몰라서 rpm -qa | grep ^mysql 명..

20170404 node.js 서버구축 해결 -> 지금까지 events.js:72 throw er; // Unhandled 'error' event ^ Error: listen EADDRINUSE이러한 unhandled 'error'가 여러개 났음 -> port번호 충돌 때문 -> security group에서 inbound 규칙에서 http 규칙을 추가하여 해결 (:443 node.js서버 / :80 php서버)php서버를 구축하기 전에는 서버가 잘 돌아가도 external에서 접근이 어려웠던 이유는 아직 궁금함.... 20170405 AWS 웹 북 AWS ubuntu서버에 tensorflow설치 -> 에러나는데 이유를 모르겠음 20170406 tensorflow anaconda위에 설치 중 에러발생 ..

AWS 인스턴스를 받게 되었다. Linux 버전을 확인 해보니(grep . /etc/*-release 명령어를 사용하면 확인할 수 있음) Red Hat 7.2 버전이었다. 처음 사용해 봐서 찾아보니 나한테 익숙한 Ubuntu와는 다른 계열이었다. CentOs와 같은 계열이라 하니 CentOs 명령어로 사용하면 될듯하다.첫번째 숙제인 MySql을 설치하는 과정, 그 과정에서의 이슈들을 적어보려 한다.먼저 MySql 홈페이지에 나와있는 방식 대로(https://dev.mysql.com/doc/mysql-yum-repo-quick-guide/en/) wget 명령어를 설치하고, wget 명령어로 rpm파일을 다운받은 후 설치를 진행하려 하였으나 wget 명령어로 rpm파일이 제대로 다운이 되지 않아서 yum ..