개발을 하다보니... 이걸 어느 수준으로 모니터링 해야하는가에 대한 수위조절은 늘 힘든것 같습니다.
무엇을 모니터링 해야할지는 대략 결정이 되었는데, 그럼에도 아직도 난관은 많더라구요...-.-;
zabbix 라는 관제시스템은 원격으로 명량을 내리는 기능은 없지만 참 많은걸 모니터링 하고 있는데, 그중에서도 30초마다 한번씩 시스템 정보를 수집하는건 개인적으로 사용하면서 꽤 인상적인 부분이었습니다.(참고로 저는 18대정도를 zabbix 로 운영중입니다)
그래서 저희도 일단 30초에 한번씩 데이터가 쌓이게 규칙을 정했는데..... 일단 문제되는게.. cpu 의 core 개수였죠.
제가 데탑으로 쓰는 머신은 좀 철이 지났는데 Xeon E5645 를 2개 사용합니다. 이게 코어숫자랑 HT 를 다 포함하면 이런 공식이 되거든요.
core 6 개 * 2 개 cpu * HT = 24 개 core
................우와....... 뭐.. 좋습니다. 모니터링이 못생겨질 수 있죠.. 이건 그러려니 했는데 문제는 이런식으로 늘어나는 데이터였습니다. 이런식으로 늘어나는 데이터는 log 형태로 서비스 서버에 저장하거나 별도의 방법을 취하지 않으면 일반적인 RDBMS 에서는 두어갈 가다가 터져버리거든요. 한번 생각해보죠.
30초 * 1만개 client * 24시간 = 28,800,000
네.. 맞습니다. 24시간 기준으로 1만개 정도의 채굴기 데이터를 받으면 대략 2880 만개의 데이터가 쌓입니다. (이게 하루치)
문제는 쌓는게 중요한게 아니겠죠.. 이 데이터를 분석해야 원하는 형태로 쓸 수있는데 이렇게 들어가는 데이터베이스의 부하룰 예상하자니.. 아득...한 느낌이 드는겁니다......(허허허)
게다가 이 데이터에 더불어 나중에 첨가될 miner 들의 제멋대로인 JSON 데이터를 생각하면 실제 쌓이는 용량 자체도 무시 못할 수준이니.. log 형태로 넣을 수도 없었구요...(log 형태로 쓰면 분석은 편한데 데이터 분석 성능이 느려집니다)
그래서 저희는 일반 RDBMS 랑 함께 nosql 이라는 DB 를 섞어서 쓰기로 했습니다. 데이터를 지우고 update 하는게 아니라 운영 데이터랑 누적데이터를 나눠서 관리하기로 한거죠. 그래서 내부 구조가 조금...은 희한하게 되었습니다. 일단 뭐를 수집해서 어떻게 쌓을지 까지는 결정이 된거죠 ㅎㅎㅎ
-------------------------------------
꼬리말
* 게시글 내용 삭제시 레벨 강등
* 질문은 각 주제별 게시판에.
비트코인 암호화화폐 커뮤니티 땡글~ 땡글~
-------------------------------------
