develop custom_top_html:no
default debug random = 0 / type = READ / detected = READ

저희는 agent 를 통해 수집된 데이터를 mongoDB 에 일단 누적하고 꺼내는 방식을 사용하고 있는데... 이게.... 생각지도 못한 상황에 처하게 되네요.

 

https://docs.mongodb.com/manual/core/aggregation-pipeline-limits/

 

이 내용을 보면 다음과 같은 문장이 있습니다.

 

"Pipeline stages have a limit of 100 megabytes of RAM."

 

우에.... 쿼리를 통해서 한번에 취급할 수 있는 데이터가 100M 으로 제한이 있군요. 이 이상은 allowDiskUse 를 쓰라고 하는데.. 이쯤되면 mongoDB 를 사용하는 장점이 적어지고 반드시 느려지게 되겠죠. 흠...

 

다른 화면은 이정도까지를 사용하는 일이 없고, dashboard 에서 이런걸 사용합니다만.. 300대의 데이터를 일주일치를 한번에 불러와서 처리하니깐.. 이거 만만치가 않네요...... 하긴.... 계산해보니까...

 

(((60초*60분*24시간)/30초)*300대)*7일 = 6048000 라인

 

................이야.... 600만 라인을 sort 를 걸면... 맛가는게 맞기는 하겠네요...(하하하)

 

일단은 3일로 거니까 어케든 query error 는 안납니다만... 반환해서 sort 까지 하려면 메모리가 터지는게 이해는 갑니다.(라지만.. 정확히는 pipeline 별로 tablespace 처럼 할당된 메모리 내에서의 문제인거곘지만요)

 

내부의 summery 에서 값을 얻어오는 방식을 좀 더 바꿔야할 필요가 있을듯 합니다. nosql db 가 버텨준다고 해도, 이대로면 고민은 확실하게 해봐야할 문제인거 같네요. 혹시 nosql 쓰시면서 메모리 터진일이 있으실까봐 참고하시라고 적어봅니다 :D

 

-------------------------------------

꼬리말

* 게시글 내용 삭제레벨 강등

* 질문은 각 주제별 게시판에.

 

비트코인 암호화화폐 커뮤니티 땡글~ 땡글~

-------------------------------------

10
댓글 4
  • 특정 시간단위(분,시,일)로 배치 돌리셔서 통계 콜렉션을 만드시고 거기서 조회하시는게..
    아니면 MapReduce 쓰셔서 통계데이터 정제해서 가져오는것도 한 방법이긴 합니다.
  • ?
    @불사신임
    일단은 통계가 display 되는 시점에서 36시간 before 로 잡아서 돌리고 있기는 한데.... cron 을 통해 주기적으로 통계용 RDB 를 쌓아야 하나.. 싶기는 하네요. pipeline limit 은 내부 구조 튜닝밖에 없어서 이래저래 고민입니다. MapRecuce 는 지금도 사용중입니다 ㅎㅎㅎ

    댓글 감사합니당~
  • ?
    nosql 쿼리가 일반적인 rdb에 비해서 더 빠르나요?? 오히려 이런 시계열 데이터는 Rdb가 더 나을거 같은데
    제가 이해를 잘 못한건가요?
  • ?
    @g6ling
    시계열이 rdb 가 편한건 맞는데요... 일단 저희가 생각한건 2만개 client 가 30초에 한번 데이터를 누적할때...를 산정하고 설계를 했습니다. RDB 도 못할건 아닙니다만.... 아무래도 성능만 보자면 받아주는쪽이 고성능인편이 좋겠죠. update 및 delete 가 있는 데이터가 아니기때문에 데이터를 취합하는 쪽은 sql db 보다 nosql 쪽이 빠르기는 합니다.

    빈번하게 delete 나 update 가 일어나는 상황이라면, 당연히 sql db 를 고려해 봐야겠죰. 저희는 하나의 시스템에서 내부적으로 2개를 목적에 따라 혼용하고 있습니다. agent 를 통해 수집되는건 nosql, 그외는 sql db 로 하고 있죠 :D
default debug random = 0 / type = READ / detected = READ

List of Articles
번호 분류 제목 추천 수 조회 수 글쓴이 날짜
1220 질문 라이트코인 소스로 코인 만들기.. 질문2 입니다. 안녕하세요? 뒤늦게 '나도 코인을 만들어보자' 해서 열공중입니다.   https://steemit.com/steem/@marsresident/make-your-own-cryptocurrency-video-tutorial 이 동영상 대로 따라해서 코인을 ... 15 file 0 2468
비폭력무저항
2018.06.05
1219 질문 api로 엑셀에 현재가 끌어오는 방법; 우선 api에 대해 모릅니다.  공부해보고 질문올려야 하지만,   비교적 간단한 내용일 것 같아 문의 드립니다.   거래소에서 현재가 정보를 엑셀 창에 띄울수 있는 방법이 간단히 설명이 될까요? ... 2 0 1703
럭셔뤼채굴기
2018.06.05
개발 이런.. nosql 이라고해서 무적은 아니네요..... ㅎㅎㅎ 저희는 agent 를 통해 수집된 데이터를 mongoDB 에 일단 누적하고 꺼내는 방식을 사용하고 있는데... 이게.... 생각지도 못한 상황에 처하게 되네요.   https://docs.mongodb.com/manual/core/ag... 4 0 1544
plextor
2018.06.05
1217 개발 linux 에서 obj-c 를 쓸때 주의할점 저희팀은 조금은 특이하게도 obj-c 를 메인 개발언어로 사용합니다. 이는 linux 에서도 마찬가지라서, 핵심 product 를 개발할때는 obj-c 를 사용하죠.   mac os X 에서 xcode 로 코딩한다음에 l... 4 6 1147
plextor
2018.06.04
1216 개발 흐으.. 대략 영문메뉴얼까지는 만들었네욤.   저희가 제작하는 모니터링 시스템의 영문 메뉴얼 작업을 겨우 끝났습니다. 서비스 자체는 애초에 영문버전을 같이 작업해둔 터라 큰 걱정없이 지나갔습니다만.. 그래도 이왕이면 메뉴얼까지 ... file 1 782
plextor
2018.06.04
1215 개발 트위터 모아보기, 뉴스 모아보기, 코인 이벤트 알림, 비트코인 신호 서비스 오픈했습니다.             얼마전에 트위터 뉴스 모아보기 오픈했다고 알렸는데요   코인 이벤트 알림과 비트코인 매수 매도 신호 알림 서비스를 오픈했습니다.   조금씩 수정예정중이고 베타버전이라고 보시... 2 0 753
래디
2018.06.04
1214 개발 bean cash Ubuntu에 headless wallet 깔아보신 분?!   현재, Ubuntu 서버에 bean cash github에서 소스코드 다운받아서 headless wallet 을 깐 후    비트렉스에 있던 빈캐쉬를 우분투 지갑에다 보냈습니다..   빈 캐쉬 트랜젝션 확인 사이트에서는... 1 0 424
닉이스네임
2018.06.03
1213 개발 buy/sell helper bot.   예전에 https://jubjub.co 만든 사람인데요..   채굴만 하다가 트레이딩도 바이낸스에서 한번 해볼려고 하는데.. 특정모델을 써서 알아서 수익을 내주는 그런 복잡한 algo bot이 아니라 결정은... 3 0 622
gozcl
2018.06.02
1212 개발 [파이썬] 정규식 표현좀 도와주세요ㅠ 안녕하세요 파이썬 작업중에 정규식 표현을 잘 못하여 이렇게 여쭙습니다ㅠ   파싱 후 아래와 같은 값을 얻었는데요,   <div class="PostSummary__header show-for-small-only" data-reactid="18... 3 0 684
억세풀
2018.06.01
1211 개발 현재 채굴풀을 우분투 에 설치 하고 있습니다       채굴풀 공부를 위해 우분투에 오픈 소스를 설치를 완료 하고 채굴을 돌렸으나    /root/.nvm/versions/v0.12.0/bin/node: symbol lookup error: /root/nomp-pool/node_modules/stratum-poo... 1 0 818
날딱
2018.06.01
1210 개발 다른분들 보면서 많이 배움당.....@.@   여기 계시는 선배님들.. 글 올려주시는 분들... 그 중에 뭔가 web 서비스 만드시는 분들께 늘 배웁니다. 이렇게 하면 좀 더 괜찮은게 있을 수도 있는데 너무 편하게만 하려고 했구나.... 싶어... file 0 609
plextor
2018.06.01
1209 개발 빗썸 API 호가 순서가 뒤죽박죽이네요. 안녕하세요.   0.5초 간격으로 호가를 조회해보면 timestamp 감소하는 경우가 매우 자주 있습니다. 분명히 응답이 온 후에 다음 요청을 해도 timestamp가 과거로 가요. ㅎㅎㅎ 그래서 호가 중 1/... 4 1 725
크리
2018.05.31
1208 개발 트위터 모아보기 서비스, 뉴스 모아보기 서비스 오픈했습니다.         http://gazua.co.in/   가즈아 코인 베타 오픈 현재 뉴스 서비스, 트위터 서비스 중입니다.      추후(다음주 예상) 비트코인 기술분석 서비스(매수, 매도추천), 코인 스케쥴 서비스를 ... 1 1 425
래디
2018.05.31
1207 개발 크흐.. 일단 테스트는 잘 되고있는듯(?) 하네욤         일단 Beholder 모니터링쪽에서 각 개별 채굴기기의 hash rate 를 비교한 다음에 기존의 값보다 15% 정도 이하로 채귤 효율이 떨어지는 경우에는 알림이 가도록 되어있는데, 어제 현장에... 3 file 1 771
plextor
2018.05.31
1206 개발 마켓캡 리스트의 작은 차트 이미지 어떻게 가져오는지 아시나요!?!?   취미로 작은 앱 하나 만들고 있습니다..   마켓캡 데이터 중에서 리스트에 보이는 작은 차트 이미지(?)를 가져오고 싶은데 혹시 방법 아시는분 계신가요? 마켓캡이 아니면 다른 사이트에서 제... 2 0 435
비코가뭐임
2018.05.31
1205 질문 ETH와 ETC 주소체계와 충돌 질문드립니다. 안녕하세요. 많은 도움을 얻고있습니다.  쪽지주셨던 분들 다시한번 감사드려요 ㅠㅠ 질문이 있습니다.   (1) ETH 주소 1234 가 생성이 되었고 제가 키를 가지고 있습니다. 이경우에는 ETC 주소 ... 6 0 677
헬프미
2018.05.30
1204 질문 라이트코인 소스로 코인 만들기.. 질문입니다. 안녕하세요? 코인 개발중에 어려움이 닥쳐서 질문드립니다. ㅠ.ㅠ   https://steemit.com/steem/@marsresident/make-your-own-cryptocurrency-video-tutorial   이 영상대로 따라 하다가 2번 마... 10 file 0 1599
비폭력무저항
2018.05.30
1203 개발 마이이더월렛 번역 교정에 참여해주세요~ 국내 유저도 상당히 많이 사용하는 마이이더월렛 번역 PR을 올렸습니다.   마이이더월렛 메인 사이트 https://www.myetherwallet.com/   PR 이슈 https://github.com/kvhnuke/etherwallet/pull/1... 3 file 7 939
ethminer
2018.05.30
1202 개발 빗썸 API (525) Origin SSL Handshake Error??? 안녕하세요.   빗썸 API를 쓰는데 정말 스트레스가 많네요. 지속적으로 "원격 서버에서 (525) Origin SSL Handshake Error 오류를 반환했습니다."라는 오류가 뜹니다. 그냥 호가 데이터만 요청하... 2 0 921
크리
2018.05.29
1201 개발 Beholder Monitoring System 의 두번째 테스트를 진행합니다.   지난번에도 여러분들이 테스트에 참여해주신 덕에 몇가지 버그 및 최적화를 진행할 수 있었습니다. 덕분에 2차테스트를 진행할 수 있게 되었네요. 이번 테스트는 다음의 domain 에서 진행합니... 5 file 0 778
plextor
2018.05.29
Board Pagination Prev 1 ... 27 28 29 30 31 32 33 34 35 36 ... 92 Next
/ 92
default debug random = 0 / type = READ / detected = READ