pool_mining_pool_hub custom_top_html:no
default debug random = 0 / type = READ / detected = READ

*** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. ***
*** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.***

-------------------------------------------------------------------------------

안녕하세요?

마이닝풀허브 운영자 coincoin 입니다.

 

최근 서버 순환 재시작 때문에 불편을 끼쳐 죄송합니다.

 

현재 풀 서버는 여러 메이저 클라우드 업체 것을 조합해서 쓰고 있습니다.

아마존, digitalocean, linode 등 각각의 장단점 특성에 맞게 여러 지역에 분포해서 운영 중입니다.

 

 

 

1. 사건의 발단

 

1월 초 인텔의 보안 취약점 spectre, meltdown 이 공개되었습니다.

개인 사용자에겐 별 영향이 없지만 클라우드 환경에서 유독 큰 피해를 입힐 수 있는 취약점인데요

구글이 2017년 중순쯤 발견한 취약점을 올해 1월에 블로그에 공개하면서 세상에 알려졌습니다.

 

임시적인 1차 패치가 1월 초에 있었고, 이 때 풀의 모든 서버들이 한번씩 업그레이드 과정을 거쳤었습니다.

이번에는 두번째, 좀 더 견고한 패치가 배포되었습니다.

 

풀은 데이터센터 내에 직접 서버를 운영하지 않고 클라우드 업체에 사용료를 지불하고 씁니다.

이번에 일부 클라우드 업체에서 일방적으로 특정일에 패치를 적용하겠다고 공지하였고

이에 따라 몇 몇 서버들을 순환하면서 재시작할 수밖에 없었습니다.

제가 자유자재로 컨트롤할 수 있었다면 좀 더 느슨하게 띄엄띄엄 서버를 재시작했을텐데 선택지가 많지 않았었습니다.

 

 

 

2. 재접속 문제

 

서버가 재시작하면 풀에 연결되었던 모든 마이너는 접속이 끊겼다가 다시 재접속됩니다.

이렇게 자동으로 재접속하는 기능은 모든 마이너의 기본 기능 중 하나입니다.

 

예전엔 버그로 인해 재접속 복구가 안되는 마이너들이 있었습니다.

eth-proxy 라는 것을 쓰던 시절에는 서버와 연결이 한번 끊기고 나면

재접속이 안되서 마이너 앞에 늘 붙어있어야 했습니다.

그 후 zcash 초기 genoil 마이너 프로그램에도 비슷한 버그가 있었구요.

요즘 마이너 프로그램들 대부분은 안정성이 많이 올라갔습니다.

 

 

그럼에도 불구하고 접속 불가능한 경우가 생기는 것은

 

1) 동일 IP 로 수백대가 동시에 접속을 시도해서 자체 네트워크 방화벽이나 인터넷 프로바이더 혹은 풀에서 DDoS 로 보고 임시 차단

2) 풀에서 접속하는 마이너 인증이 느려서 지연

2) 공유기, 허브의 과부하

3) 채굴기의 불안정함

 

4가지 중 하나입니다.

 

-> 채굴장에서 접속을 한다면 외부에서 보이는 채굴장의 마이너들은 모두 하나의 IP 를 공유해서 쓰는 것일 수 있습니다.

이런 경우 동시다발적으로 같은 IP 에서 접속 요청이 가기 때문에 DDoS 로 오인될 수 있습니다.

DDoS 를 판단하는 것은 인터넷 서비스 제공업체일 수도 있고 풀일 수도 있습니다.

IP 할당을 더 받거나 회선 계약을 늘리는게 해결책이 될 수 있습니다.

 

-> 풀에서 접속하는 마이너 인증이 느릴 수 있습니다.

동시에 수천~수만개의 요청이 들어오면 풀에서 처리하는데 좀 걸릴 수 있습니다.

처음엔 접속이 거부될 수 있지만 이는 시간이 지나면 알아서 다음번 접속 시도 때 복구가 됩니다.

 

-> 또 하나는 공유기, 허브의 과부하입니다.

네트워크 장비의 과부하가 발생하면 패킷이 유실됩니다. 접속시도를 한 것으로 보이지만 애초 풀에는 접속 데이터가 오지도 않은 경우입니다.

어떤 공유기의 경우는 한번 과부하가 걸리고 나면 껐다 키지 않으면 절대 안 돌아오는 기기도 있습니다.

처리 용량이 큰 네트워크 장비로 바꾸면 해결될 수 있습니다.

 

-> GPU 가 놀다가 갑자기 다시 일을 시작하면 전력량이 일시적으로 더 들어갑니다.

오버/언더를 간당간당하게 맞춰놓으셨다면 이렇게 재접속시 문제가 생길 수 있습니다.

특히 최적의 해시를 위해 너무 극한까지 세팅해 놓았다면 여름이 올 때 온도 문제가 커집니다.

비교적 보수적으로 세팅해야 채굴기도 오래 쓰고 재접속도 잘 됩니다.

채굴장 전체적으로도 전력량이 갑자기 치솟기 때문에 이에 대한 대비가 필요할 수 있습니다.

 

 

 

 

3. 지난 1차 서버 재시작 때와는 왜 다른가?

 

1) 그 때는 2주 넘게 여유있게 작업을 했습니다. 이렇게 몰아서 패치되지 않았기 때문에 어느 정도 재시작 텀을 둘 수 있었습니다.

 

2) 또, 이번 패치는 I/O 가 비교적 느려지는 현상을 발견해서 다른 클라우드 업체로 이전하는 작업도 하게 되었습니다.

이더리움은 속도가 빠를수록 좋기 때문에 I/O 성능이 느려진다면 클라우드 업체를 바꿔야만 했습니다.

I/O 성능이 낮으면 채굴량이 적게 나오게 됩니다.

이 I/O 문제를 발견하고 강제 서버 패치 작업만이라도 좀 늦춰달라고 클라우드 업체에 실시간 채팅과

문의를 넣었었지만 결과적으로는 수락되지 않았습니다.

접속이 되는 것도 중요하지만 채굴량이 적게 나오게 된다면 그것도 큰 문제기 때문에

부득이하게 서버를 재시작하고 보완하는 과정이 있었습니다.

 

3) parity 이더리움 지갑의 성능 이슈도 있었습니다.

I/O 속도가 느려서 궁여지책으로 캐시 메모리를 훨씬 크게 잡게끔 설정을 바꿨는데

이게 오히려 블럭 파싱 속도를 느리게 만들어 버렸었습니다.

블럭 하나의 파싱이 대략 0.1초 이하면 준수한데 잘못된 옵션으로 바꾸고 나니 0.3~0.5 초로 뛰어올랐습니다.

이 때문에 블럭의 uncle rate 가 평소보다 훨씬 높아졌습니다.

 

4) 풀의 블럭 체크하는 로직 변경건

이더리움의 블럭이 바뀌는 경우 최대한 빨리 정보를 캐치해서 보내줘야 좋습니다.

이더리움 지갑이 풀 소프트웨어에 자동으로 알림을 주는 것과

풀 소프트웨어가 몇 초에 한번씩 이더리움 지갑에 조회하는 2가지 방식이 혼재되어 있는데요

사실 둘 중 하나만 있어도 잘 작동합니다.

 

I/O 문제도 심하고 이더리움 지갑의 부하를 조금이라도 줄여보고자 지갑 조회 간격을 좀 더 늘렸었습니다.

이더리움 지갑이 풀 소프트웨어에 자동으로 알려주는 이 로직이 parity 가 버젼업 하면서 바뀐 것인지

이전보다 훨씬 느리게 온다는 것을 뒤늦게 발견했습니다.

그래서 이것도 원래 설정으로 원복하고 다시 풀 서버를 재시작 했습니다.

이 또한 블럭의 uncle rate 를 평소보다 훨씬 높인 요인 중 하나입니다.

 

이번에 서버 재시작과 함께 채굴량 감소 현상이 나타났는데 이는 높아진 uncle block 요인이 큽니다.

참고로 uncle block 자체가 나쁜 것은 아닙니다.

매우 비효율적이어서 uncle block 이 나올 수도 있고 매우 효율적이어서 uncle block 이 나올 경우일 수도 있습니다.

이번에는 비효율적이어서 정상 block 이 될뻔한 것들이 uncle 판정을 받은 것입니다.

 

 

 

4. 향후 재발 가능성은?

 

풀에서 서버 접속이 끊기는 것은 앞으로도 늘 일어날 수 있는 현상입니다.

그래서 유형과 대처에 대해 상세히 적은 것입니다.

 

안타깝게도 오늘 내일도 마무리 작업 때문에 서버 재시작은 종종 발생할 예정입니다.

접속이 안 끊기도록 하기 보다는 접속이 끊겨도 스스로 잘 복구되도록 만드는게 일반적인 개발 방향입니다.

 

 

하지만 I/O 문제나 기타 다른 성능과 채굴과 관련된 이슈들은 재발하지 않도록 구조를 많이 바꿨습니다.

고성능 프록시와 국내 서버를 시범적으로 도입하였고 시범 기간을 거쳐 괜찮다면 정착할 것입니다.

 

 

5. 이슈 대응

 

서버 차원에서는 재시작 간격을 최대한 넓혀서 너무 몰아서 재시작하지 않도록 하겠습니다.

마이너 분들은 재접속이 잘 되도록 네트워크를 체크하시고

페일오버 설정도 추가하셔서 다른 풀에 붙어서 쭉 이어서 채굴하시기 바랍니다.

 

요즘 진입하신 분들은 페일오버 기능을 잘 안 쓰시는것 같은데요..

페일오버는 1차 풀에 접속이 안될 때 2차, 3차 서버에 자동으로 접속하는 유용한 기능입니다.

대부분의 마이너가 제공하는 기능이기 때문에 한번쯤은 들어보셨을 것입니다.

 

다른 풀 정보를 찾거나 계정 관리가 귀찮다면

마이닝풀허브의 미국이나 유럽 서버라도 넣으시면 훨씬 낫습니다.

 

 

 

 

6. 마무리

 

수익이 걸린 문제라 좀 민감할 수 있는 것을 알고 있습니다.

또 채굴기 관리 때문에 지속적으로 채굴장에 오고가는 분들도 있다는 것도 알고 있구요.

요즘 낮아진 I/O 성능으로 인해 채굴량이 줄어들은 분도 계실 것입니다.

 

불편을 끼쳐 다시 한번 죄송합니다.

 

 

공지가 늦어진 점은 서버 관리 작업과 테스트, 안정화가 오래 걸려서입니다.

실시간으로 블럭 발견하는 통계를 체크하고 어디서 문제가 생겼는지 원인 파악에도 시간이 오래 걸렸구요.

현재 운영하는 서버가 80대가 넘고 그 중 상당수를 순차적으로 옮기거나 재시작을 해야만 했습니다.

4월 30일부터 잠을 제대로 못자고 현재 5월 3일 새벽 4시에도 서버 4대를 추가로 세팅하고 있습니다.

 

개인적으로는 체력적으로도 심적으로도 고단하고 힘듭니다.

예전에도 썼던 적이 있는데 풀에 문제 생기면 빨리 고칠려고 긴장하고 심장이 쿵쾅거리고 그렇습니다;;;

 

 

마이닝풀허브는 늘 더 드리면 드렸지 탐욕적이었던 적은 없었던것 같습니다.

 

이더리움 오출금, 뮤직코인 하드포크, 대시 보너스, 일렉트로니움 재전송, 페더코인 포크이슈 등

풀의 문제인 경우도 있었지만 설사 코인 버그가 있었더라도 풀에서 최대한 보상을 해드렸었습니다.

 

서버 재시작 이슈와 채굴량 감소에 대해 좀 더 자세한 검토 후에 보상안에 대해 공지할 예정입니다.

 

 

덧)

마이닝풀허브에 관련된 것은 여기 게시판에 적어주시기 바랍니다.

마이닝풀허브 게시판에 올리신 글은 제가 다 읽습니다.

채굴 게시판은 일반적인 채굴 관련된 글이기 때문에 제가 읽지 못하고 지나칠 수 있습니다.

 

 

 

감사합니다.

0

coincoin님의 서명

http://miningpoolhub.com 멀티풀을 운영합니다.

 

- 자동 스위칭, 자동 환전 기능을 제공합니다

댓글 119
  • @곰돌이아빠
    넵 감사합니다.
    아이언맨이네요!
  • ?
    제가 얼마전에 글을 썼었습니다.

    https://www.ddengle.com/pool_mining_pool_hub/7262127

    이때도 업데이트, 서버 재시작 중이셨나요?
  • @몰라용
    아니요 4월 9일은 서버 재시작과는 전혀 상관 없는 기간입니다.
    서버 재시작은 4월 말에 시작되었습니다.

    zcoin 은 한 블럭의 시간이 평균 10분입니다.
    그래서 하루에 총 발견되는 블럭 개수 자체가 144개 뿐이고 6개만 놓쳐도 1시간이 지나갑니다.
    그래서 종종 편차의 시간 길이가 더 길어질 때가 있습니다.
    종종 zcoin 자체에 문제가 생겨서 네트워크가 포크되었다가 복구되는데 그러면 그 이후 난이도는 또 심하게 출렁대게 되구요.
    zcoin 때문에 긴급 패치한 것만도 올해 들어서 3~4번이 넘는 것으로 기억하고 있습니다.

    참고로 zcoin 자체가 중국쪽에서 밀고 있는 코인입니다.
    사실 이미 asic 이 개발되어서 어디선가 채굴이 되고 있는것 같은 느낌이 듭니다.
  • ?
    @coincoin
    네.. 오해하게 되어 죄송합니다.
  • @몰라용
    ㅎ아닙니다.
    좋은 하루 되세요~
  • ?
    @coincoin
    안녕하세요 운영자님..

    궁금한것이 있는데요..

    클레이모어에서 제공하는 마이너매니저에 표시되는 토탈 해시량과

    마이닝풀 허브 대시보드에 표시되는 토탈해시량에 차이가 꽤 많이 나는데요..

    일시적인것이 아니라 계속 이런 현상이 있는데요..

    이유를 알 수 있을까요?

    예를 들면.. 실제로는 35000이 넘게 나와야하는데 마이닝풀허브에서는 33500 혹은 34000정도..

    어떤 이유가 있을까요? ㅠ
  • @dskenzo
    몇 시간 채굴을 해도 그래프 페이지에서도 그렇게 나온다면 풀 정보가 좀 더 맞다고 보시면 됩니다.
    마이너가 보여주는 수치는 개발자 수수료로 인해 잠시 쉬는 것이나 작업 리셋 딜레이가 포함되지 않았습니다.
    매 블럭이 바뀔 때마다 풀은 새로운 작업을 보내고 마이너는 기존에 작업하던 것을 멈추고 새로 작업을 시작하는데
    이로 인해 멈추는 시간이 0초에 가까울뿐 0초는 아닙니다. 이런 경우 해시에 영향을 미칩니다.
    너무 극도로 오버한다거나 하면 오히려 해시는 높은데 작업 리셋이
    병목 현상을 일으켜서 유효 해시는 더 내려가는 경우도 있구요.
  • ?
    @coincoin
    답변 감사합니다.
  • ?
    대단하십니다.. 사실 이정도 기간 운영하셨으면 나태해질법도 한데.. 초심으로 일하는것 같은 모습이 많이 보여서 대단하다고 느껴집니다.. 앞으로도 화이팅 하십시오.^^
  • @더메테르
    좀 나태해지긴한거 같습니다;;;
    시스템이 커지니까 뭐 하나 바꾸거나 건드는게 꺼려지네요;;; 테스트 테스트 테스트 많이 합니다ㅎ
  • ?

    수고 많으세요 coincoin님  언제나 늘 감사 합니다.

     

  • @빠삐용
    저도 감사합니다~
  • ?
    항상 고맙습니다.^^ 하지만 지금 코인코인님이 느끼시는 이런부분들 필드에서 진행하면서 많은 다른분들도 느끼고 힘드시다는 것도 생각 해주시면 감사하겠습니다. 그일정 속에 아마 다같이 밤새 고생하셨을겁니다. 그리고 제일먼저 욕먹는것은 필드에 계신분들이니까요.^^
    그래도 항상 마이닝풀허브 응원 하고 있습니다.!!^^
    감사합니다.
  • @자이언츠~~!!
    네 감사합니다.
    필드라면.. 채굴장 관리하는 분들 말씀이신가요?
    아마 뒤에서 저 욕 많이 하셨겠네요ㅎㅎㅎㅎ
    아무튼 최선을 다하겠습니다;;
  • ?
    @coincoin
    네^^ 항상 응원합니다 .. 그리고 감사합니다.!!
  • ?
    아직도 서버 재시작 되고있나요? 어제 09시부터 랜덤으로 헤쉬가 4/1토막난 상태로 돌아가고있네여
    채굴기 재부팅하면 잘되다가 또 안캐고있고 ....
  • @인천채굴초보
    이더리움의 경우 서울 서버의 디도스 방비 설정이 너무 과도하거나 하드웨어 상에 문제가 생긴 것 같습니다.
    상당수는 싱가폴 서버로도 접속하셔서 채굴하고 계십니다.
    문제 원인을 알아보고 개선하도록 하겠습니다.
  • ?
    지금 etn풀도 혹시 재기동중이신건가요?
    풀해시가 내려가더니 마풀허 자체해시가 다 죽은것같아서요
    수고많으십니다 빠른 대처부탁드려요ㅠㅎ
  • @으르렁으어
    etn 은 여전히 일부 서버가 돌아가면서 재시작하고 있습니다만 서버 개수가 많아서 특별히 큰 문제 없이 돌아가고 있습니다.
    현재도 안되시나요?

마이닝 풀 허브

@coincoin 님이 관리하는 마이닝 풀 허브 게시판입니다.

List of Articles
번호 제목 추천 수 조회 수 글쓴이 날짜
공지 "로그인/OTP/PIN 관련 한 번 훑고 지나가주세요" 56 file 21 13710
miningpoolhub_info
2018.02.01
4147 ID 인증 에러가 뜨는데요... ㅜ *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 1 file 0 249
뭐없나
2018.05.03
4146 코다리님 댓글 좀 제대로 다세요 *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 7 6 1319
내이더리움내놔
2018.05.03
4145 마풀허 장애로 짜증나시는건 이해되지만...좀 여유있게.. *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 15 10 1946
꾸향
2018.05.03
마이닝풀허브 서버 순환 재시작에 대한 공지 *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 119 41 15561
coincoin
2018.05.03
4143 etn코인 출금 문제 *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.***   ---------------------------------------------------------... 1 file 0 610
김태균대구맨
2018.05.03
4142 인텔 보안패치 언제쯤 완료가 될까요? *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 11 1 1033
요이츠
2018.05.02
4141 와, 마풀허에서 채굴한 비트코인골드가 제 생애 처음으로 업비트 지갑으로 들어 왔어요! *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 11 file 0 1135
범블비2018
2018.05.02
4140 scryp 채굴이 안되고 있습니다. *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 3 0 401
코인뭐임
2018.05.02
4139 모네로 전송이 안되네요.. *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 2 file 0 658
와니
2018.05.02
4138 마이닝풀허브 출금문제 *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 2 0 503
다바오
2018.05.02
4137 혹시... 32비트 마이너로 채굴 할 수 있는 코인 있나요? *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 2 0 611
cybot
2018.05.02
4136 ccminer 뭐가 문제인지 아시나요? *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 8 file 0 490
원원
2018.05.02
4135 모네로 코인전송 문의. *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 1 file 0 360
잠수함
2018.05.02
4134 요몇일 마이닝풀 해쉬 하락에 관하여~ 많은 분들이 요 며몇이 해쉬가 하락 하는 증상 때문에 고생이 많으실 겁니다. 저도 마찬가지로 잠도 잘 못자고 힘드네요. 이번 서버 패치로 인하여 해쉬가 하락하는 원인에 대하여 나름 분석해 봤습니다. 일딴 엔당은... 7 0 1048
짱구친구맹구
2018.05.02
4133 Otp 관련 질문이요 Otp 설정 시 보안 레벨 관련 질문합니다 1. 로그인 때 otp 로 로그인 하는건가요? 2. 자동환전은 otp 사용시 가능한가요? 3. 출금 주소를 바꿔야할 때도 otp 를 사용해야 하나요? 4. 이건 otp랑 관련 없는 질문인데 ... 3 0 338
광산동산
2018.05.02
4132 마이닝풀허브 오류에 대해서 *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 6 0 707
제우스신
2018.05.02
4131 이더리움 채굴 비상사태 *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 16 2 2731
티라노
2018.05.02
4130 사진 (유) 어제에 이어 또 다른 에러인데.. 뭔가요? *** 답변 댓글이 있을 때 글 내용 삭제시 경고 없이 계정이 정지됩니다. *** *** 개인정보가 포함된 경우 혹은 불법적인 요소의 수정은 가능합니다.*** -----------------------------------------------------------... 4 file 0 699
행운망이
2018.05.02
4129 다들 확인해보세여 마이닝풀허브 이더 이상발생 채굴기 정상작동 워커가 하나씩 죽어 갑니다. 다들 확인 하시고 대피하세요 전 대피 중입니다 23 0 1788
비엔이아
2018.05.02
4128 마이닝풀 이더 이상하네요 한번도 그런적 없는데 채굴가는 정상입니다 그런데 해시가 30퍼센트 이상 빠졌고 워커도 하나 죽은 걸로 나옴네여 채굴기 전채 이상 없습니다 마풀 오류로 보입니다 5 0 957
비엔이아
2018.05.02
Board Pagination Prev 1 ... 60 61 62 63 64 65 66 67 68 69 ... 272 Next
/ 272
default debug random = 0 / type = READ / detected = READ