본문 바로가기

기타 IT 지식62

시스템 동작 방식 - Polling VS Event 시스템이 동작하는 방식에는 폴링과 이벤트가 있다. polling 은 주기적으로 확인해보는 것이고, event 는 사건 발생 시 나에게 알려주는 방식이다. 일반적으로 Event 처리 방식이 즉각 반응이 가능하므로 많이 선호되는 방식이지만, 사건 발생이 일을 처리하는 것보다 일찍 일어난다면 polling 이 더 낫다. 주로 대용량의 데이터가 아주 빠르게 들어올 때 이런 일이 발생한다. 그냥 복잡하게 생각하지 않고 생각해봐도, 이벤트가 발생하지도 않았는데 어떤 일이 있나 계속해서 확인한다면, 그것이 낭비임을 알 수 있다. 가장 최근 시간을 들여서 만든 코드에서, polling 이 변수였기에 이렇게 따로 포스팅을 써봤다. 파이썬에서 subprocess 를 이용하여 하위 프로세스를 생성했을 때, 프로세스가 종료되.. 2021. 12. 10.
[ SVN ] 내가 보려고 쓰는 SVN 명령어 평소 Git 만 해왔던 나.... svn과 별반 차이 없다고 들었었는데, 지금 ubuntu에서 실행중인 pycharm 과 svn 이 계속해서 충돌이 난다. 깃허브랑 연동했을 때는 진짜 아무런 문제가 없었는데,, ㅎㅎ,,, pycharm 에디터 내에서 GUI로 제공되는 commit 은 fail 만 주구장창나서 결국 GUI를 포기했다. 역시 터미널이 최고다. svn checkout [svn경로] [저장디렉토리] svn add . 근데 이게 파이참에서 수정해서 그런건지, 최신 버전이라서 기능이 바뀐건지는 모르겠지만 자동으로 add 가 되어있다. svn commit -m "커밋메시지" 깃허브에는 push 를 따로 해줘야 원격 저장소와 연동이 되었는데, svn 에서는 그런걸 건너뛰고 commit 만 해줘도 된다... 2021. 12. 8.
[ 빅데이터 플랫폼 ] 하둡 에코시스템(Hadoop-Ecosystem) 하둡 프레임워크 상에 존재하는 다양한 서브프로젝트들의 집합이라고 생각하면 된다. 하나하나 살펴보도록 하겠다. ZOOKEEPER 분산 시스템 간의 정보 공유 및 상태 체크, 동기화를 처리한다. 이러한 역할을 하는 시스템을 코디네이션 서비스 시스템이라고 한다. 이를 많이 쓰는 이유는, 기능에 비해 시스템이 단순하기 때문이다. 분산 큐, 피어 그룹 대표 산출, 분산 락 등의 다양한 기능을 가지고 있다. OOZIE 하둡의 워크플로우를 관리해준다. 맵리듀스 잡, 피그 잡등의 시작과 완료, 실행 중 에러등의 이벤트를 콜 백 할 수 있다. AVRO 데이터 직력화에 쓰이는 프레임워크이다. 다양한 언어를 지원하며, 스키마를 보통 JSON 으로 작성 후 바이너리 형태로 인코딩한다. TAJO 하둡 기반 DW(Data War.. 2021. 12. 7.
[ Oracle ] count(*) VS count(특정컬럼명) count(*) 은 null 의 개수까지 다 센다. count(특정컬럼명) 은 null 을 제외하고 센다. is not null 도 기억해두기. where 컬럼명 is not null; 2021. 11. 16.

티스토리툴바