볼타 아키테쳐가 좋긴 좋네요
볼타 적용된 2060(?) 이나 3060 나오면 이더 30이 기본빵으로 시작할듯 .....
http://www.kbench.com/?q=node/184279
-------------------------------------
꼬리말
* 게시글 내용 삭제시 레벨 강등
* 질문은 각 주제별 게시판에.
비트코인 암호화화폐 커뮤니티 땡글~ 땡글~
-------------------------------------
채굴
2017-12-16 10:02:52
타이탄 새로 나온거 성능 쩌네요
3030 19
댓글 19
-
요거 300이 넘었던거같은데요
-
?
2배 이상 비싼 몸 값이 걸림돌이라는 이야기도 있지만 소비전력 증가 없이 채굴 속도 2배 이상 끌어 올릴 수 있는 획기적인 제품인 만큼 광산행은 피하기 어렵다는 지적이 많다.
ㅋㅋㅋ 아오지 끌려가는거 마냥. 재미있네요 비싸서 못살듯한데;; -
?
130만원대 안착하면 무리해서라도 쓸어와야....
그렇지만 200 넘겠지..라는 생각 해봅니다...ㄷㄷ -
?
공식가격 $2999 입니다..... ㅡㅡ;;;;;;;;
-
?
이런 거 보면 꼭, 세입자가 가게를 오픈해서 대박치면 건물주가 월세 잔득 올리는 거와 같습니다. 사람 심리가 내 덕에 남 잘 되는 꼬라지를 못 보는 것 같습니다.
-
?
@비초이애초에 이건 칩셋 사양만봐도 용도가 개인용 머신러닝 GPU이지 채굴용으로 비싸게 내놓은게 아닙니다. 테슬라 V100이 1500만원이 넘는데 비하면 이건 성능은 메모리 대역폭 제한으로 조금 떨어져도 같은 칩셋 사용한 가격대비 엄청난 성능을 내는 제품인데요...
-
?
@짤막한글물론 채굴용은 아니죠. 그런데 딥러닝 용으로도 가격 거품이 심합니다.
가성비가 높아보이는 건 nvidia 서버용 GPU도 너무 비싸고 잔득 오른 채굴용 카드 가격이 밑에 받쳐줘서 보이는 착시 같은데요.
(서버용은 가격이 투명하지도 않고 볼타 나온 마당에 지금 P100가격도 800~2000이 넘는 것까지 편차가 크네요.)
딥러닝 용 스펙이라면 일단 FP32 성능이 기본이고 P100까지는 정밀도를 줄여서 FP16 성능이 2배 나오는 걸로 벤치해서 홍보합니다.
타이탄급도 안되는 VEGA FE에 FP16 성능이 밀리더니 전용 텐서 코어를 달고 나왔는데, 아직 FP16은 애매하고요.
nvidia에서 내는 벤치마크야 항상 CPU랑 비교하거나 타사, 혹은 기존 자사 FP32 성능이랑 비교하니까 엄청나보이긴 하는데
막상 서버용 먼저 돌려본 친구 얘기도로 생각만큼 성능향상이 안된다더군요.
서버용 말고 타이탄 이하급으로 봐도 지금 타이탄 V100 FP32 성능이 13TFLOPS 정도인데, 1080TI FP32 성능이 11TFLOPS입니다.
https://en.wikipedia.org/wiki/Volta_(microarchitecture)#Products
https://en.wikipedia.org/wiki/GeForce_10_series#GeForce_10_(10xx)_series
메모리 속도나 대역폭도 중요하지만 딥러닝 학습용으로는 메모리 크기가 중요한데, 1080ti가 11GB, 타이탄 V100은 기존 타이탄 XP랑 같은 12GB고요.
그런데 세금도 포함안되는 MSRP로 공개된 가격만 $2,999인데 채굴 때문에 지금도 한참 부풀려져서 판매되는 1080ti의 3배가 넘죠.
감성이 아니고서야 그냥 1080ti 3장 사는게 낫겠네요. -
?
@온사파더뭐 기존 그래픽카드 가격이 전반적으로 오른거에 대한 비판이라면 온사파더님 말씀이 맞겠죠. 근데 현 상황에서 타이탄 V가 그냥 감성뿐인가 하면 애매합니다.
일단 AMD는 대부분 머신러닝 라이브러리가 사용하는 쿠다를 못 쓰니 어쩔 수 없이 기계학습 분야에서 논외일 수 밖에 없구요.
제가 아직 입문 수준으로 TF를 사용하고 있어서 저도 정확하게 이렇다 할 입장은 안되지만, 메모리 용량이 1GB 밖에 차이 안난다고 별 차이 없다하기엔 메모리 대역폭 이점이 상당히 큽니다. 애초에 병목걸려서 코어 가동률이 제대로 안나옵니다.
그리고 무엇보다 문제는 마이닝처럼 GPU를 무한정 꼽을 수가 없습니다. 16레인도 대역폭 부족해서 NVLink가 나오는 판국에, 16레인으로 GPU 2대 꼽을 수 있는 CPU와 칩셋도 가격대가 높고, 프로세서 당 GPU 3개는 다른 IO에 사용되는 PCIE 레인 감안하면 제온 최상위 제품도 불가능입니다.(멀티 CPU 환경에서는 특정 CPU가 3개 장착할 수는 있겠죠) 그렇다고 시스템 여러 대를 굴리기도 어려운게 분산 설계도 되어야하고, 네트워크 비용도 들어갑니다.
이런거 감안하면 타이탄 V로 구성한 시스템 1대로 커버가 되는 규모의 머신러닝이면 1080Ti로 분산 시스템 구성하느라 열심히 삽질하는거보다 효율적이라고 봅니다. -
?
@짤막한글말씀하신대로 올 초만 하더라도 딥러닝하면 S/W 스택 때문에 무조건 nvidia였습니다.
아니 GPGPU자체도 제가 올초에 cuda로 작성된 대용량 ann 처리 엔진 오픈소스 분석하고 있을 때만 해도 그랬죠.
nvidia-docker로 컨테이너 지원하는 것도 amd는 비교가 안됐고요.
그런데 amd도 가만히 있는 건 아닙니다.
7월 쯤에 머신러닝 래딧 스레드에서도 한 블로거가 올린 $3000로 50TFLOPS 짜리 딥러닝 머신 구축하는게 이슈가 되기도 했구요.
https://medium.com/intuitionmachine/building-a-50-teraflops-amd-vega-deep-learning-box-for-under-3k-ebdd60d4a93c
읽어 보시면 nvidia gpu 가격에 얼마나 거품이 끼어 있는지 알게되실겁니다. 채굴 때문에 amd gpu 가격 거품 낀거는 귀여운 수준이에요.
아직은 대부분의 머신러닝 툴킷들이 cuda 스택의 cudnn 기반으로 작성되어 있지만 amd의 ROCm(Radeon Open Compute) 기반의 MIOpen을 지원하는 머신러닝 툴킷들도 늘고 있습니다. caffe는 애초에 지원했고, tensorflow나 caffe2도 개발은 끝난 걸로 알고 있습니다. 그 다음 많이 쓰이는 torch, pytorch, mxnet, cntk 등도 개발 중이구요. docker 컨테이너도 지원합니다.
https://rocm.github.io/dl.html
기업용이라면 사후지원이나 혼자쓰는게 아니니 조직적인 복잡한 문제가 있을 수 있지만 개인 연구용으로 싼값에 높은 성능을 원한다면 amd gpu도 좋을 수도 있습니다.^^ (물론 리눅스 드라이버 지원은 아직 좀 부실하지만요. 그래도 이제 rx vega 지원되긴 합니다.)
음 딥러닝에서 amd는 약간 다른 세상이니 논외로 하구요.
메모리 대역폭 얘기를 하셨는데, 생각하시는 것 만큼 대역폭 차이가 그리 크지도 않습니다.
* 타이탄 V100 : 3072bit 850(1700)MHz = 652.8GB/s
* 1080Ti : D5X 1376(11010)MHz = 484.4GB/s
메모리 크기도 비슷하고 FP32 성능도 비슷하고 FP16 쪽만 텐서 코어를 별도로 달고 나온거죠.
FP32는 기본 시스템 워드 크기지만 FP16은 GPU에서나 별도로 지원하는 타입인데다
tensorflow에서 코드를 따로 수정해줘야 되고 모델에 따라서는 생각만큼 성능향상이 없을 수도 있구요.
스펙상 성능이 1080ti 대비 2~3배 차이 날만 하냐? 아니라는 거죠.
그리고 딥러닝 학습에서는 메모리 대역폭 보다는 용량이 훨씬 중요합니다.
런타임 성능이나 학습 품질이 파라미터 수에서 trade-off가 되고 용량이 커야 더 많은 파라미터를 메모리에 올릴 수 있으니까요.
이미 최적화된 모델을 인퍼런스만 할거라면은 모바일 디바이스도 많고 1w짜리 인텔 추론 디바이스도 있지만
학습과정에서는 모델 종류나 크기를 수시로 바꿔가면서 정확도가 높은 모델을 채택하거나 결합하면서 수 많은 실험들을 해야 하는데 메모리가 부족하면 돌아가지도 않습니다. 돌려보고 정확도가 높게 나와야 최적화를 하든지 말든지 하지요. 1GB 차이밖에 안나면 차라리 1080ti 2~3장을 사는게 낫다봅니다. (참고로 서버용 V100은 HBM2 16GB고 그 이전 M40인지 K80 같은건 24GB씩 합니다.)
GPU의 글로벌 메모리로 학습데이터를 복사하는 latency를 하이딩하는 문제는 batch_size 조절할 수도 있겠고
근본적으로 데이터를 feeding하는 단계에서 multi-thread 프로그래밍으로 파이프라이닝 되게 해버릴 수도 있습니다.
정해진 메모리에 압축해서 구겨 넣으면서 효율을 내는 건 어렵지만 학습 파이프라인 개발하면서 병목 때문에 가동률 안나오는건 프로그래밍으로 해소 하면 되지요. 물론 엔지니어링 경험이 필요하겠지만 요즘 tensorflow에서 제공하는 큐를 쓰면 어느 정도 알아서 되기도 하구요.
그리고 어짜피 mnist 같은 샘플 데이터셋 돌리는게 아니라면 데이터셋 읽어서 변환하는게 GPU 내에서 모델 피팅하는 것보다 배보다 배꼽이 더 클테고요.
NVLink는 GPU간에 데이터를 빠르게 공유할 때 좋을테고 대역폭이야 많으면 많을 수록 좋죠. 비싸서 그렇지..
그렇게 치면 인피니밴드나 10G 같은 것도 5~6년 전부터 말 많았고 ramcloud 같은 분산 메모리 기술도 오래전부터 연구되지만
아직도 그리 널리 쓰이지 않습니다. 현실적으로 대규모 데이터를 처리할 때는 데이터를 덜 공유하고 덜 동기화하는 구조로 아키텍팅하지요.
타이탄 V100이 NVLink 지원되는 것도 아니구요. 똑같이 PCIE에 앞에 말씀드린 대로 대역폭 차이도 그리 크지 않습니다.
마찬가지로 딥러닝에서도 구글처럼 TPU 800장 묶어서 몇달씩 돌려놓고 논문쓸게 아니라면 분산도 고려할 필요는 없습니다.
슬라이나 크로스파이어가 필요한 것도 아니고, 레인수 얘기하셨는데 4way 하면 좋지만 2way씩 PC 여러대 만들어도 충분합니다.
어짜피 요즘 github에 있는 소스 받아서 학습 시켜보면 몇일씩 걸리니 여러 GPU에 나눠서 따로 학습시켜봐도 되고
같은 모델을 앙상블해서 묶어봐도 될테고 GPU야 말로 다다익선이니까요.
IDC에 8way짜리 서버용 GPU 장비도 있지만 연구용으로 우분투 깔아서 막 쓰기 편한 용도로 2way짜리 PC 서버도 여러대 쓰고 있습니다. 올 초에 1080ti 2way 딥러닝 PC도 2대 직접 맞춰 봤는데, 타이탄 V100 가격이면 1080ti 2way 딥러닝 PC 한대 값 나옵니다.
그리고 애초에 타이탄 V100 한대가 1080ti 3장 이상 가격이라는 거지 과연 2장을 커버 할까요? 지금까지 1세대만에 그렇게 급격하게 차이난적이 있었나요? 스팩상으로만 봐도 +xx% 수준으로 봅니다. -
?
@온사파더아 제가 뭐 반박을 할 수 없는 수준이네요. 덕분에 많이 알아갑니다. 이런 이야기를 들을 일이 없다보니 그냥 예전에 다루던 웹서비스용 분산 시스템 정도로만 대충 이렇겠거니 했던것들이 약간 좀 보이는거 같네요. 열심히 공부해봐야겠습니다 ㅎㅎ
제가 말씀드린 부분은 타이탄V가 1080Ti보다 2배 정도 차이 나는게 아니라 그냥 60~70%만 잘 나와줘도 분산처리를 고려하는 것보단 쓸만할거 같다 요정도로 생각한건데요. 아직 분산 처리까지 도전해볼만한 장비도 없어서 이게 과연 수월하게 될지, 효율이 잘 나올지 잘 모르겠더군요. 그런데 말씀하신 것처럼 분산처리가 초거대 시스템이 아닌한 큰 문제가 없다면, 1080Ti 몇개 수준의 시스템은 1080Ti보다 더 스케일 다운하면 비용대비 효율이 더 좋아질 수 있나요?
그리고 혹시 실례가 안된다면 1080Ti 2대 사용하신 시스템 사양 살짝만 알려주실 수 있을까요? 저도 비슷한 사양으로 계획하고 있어서요. -
?
@짤막한글혹시 실 서비스에서 서빙(inference)용 분산 시스템을 구축하시려면 계획하시는 서비스 규모에 따라 업체의 견적을 받아 보셔야 될테구요.
타이탄급 이하 커스터머용 GPU에서 딥러닝 학습(traning) 장비 가성비로 제 사견을 말씀드렸는데요.
무슨 용도로 어느 정도 규모를 생각하시는지 모르겠지만 저라면 1080ti 아래에서는 성능하락 폭이 더 커서 더 스케일 다운 하지 않겠습니다. 메모리 크기도 아쉽구요.
제가 맞췄던 시점은 올 3월이었다는 점을 참고해주세요.
* CPU : 인텔 i7-7700K (384,190)
* M/B : 애즈락 Z270 EXTREME 4 (224,000)
* RAM: 삼성 PC4-19200 16GB (150,380) x4
* VGA: 조텍 GTX1080TI FE 11GB (978,360) x2
* SSD : 삼성 960 EVO M.2 2280 1TB 읽기 3,500MB/s 쓰기 2,100MB/s (620,040)
* HDD : 씨게이트 6TB 바라쿠다 프로 ST6000DM004 (351,400)
* 파워 : FSP AURUM PT 1000W (268,500)
* 케이스 : 브라보텍 스텔스 EX270 (59,000)
램 64GB에 고속 SSD 1TB에 하드도 6TB짜리로 큰걸 달아서 449만원 정도 들었는데,
그 부분 좀 타협하면 100만원 이상 빠질꺼에요.
지금이라면 라이젠 1700으로 가도 괜찮겠네요. -
?
@온사파더자세하게 답변해주셔서 감사합니다.
무엇을 할지 확정하고 구입하는건 아니고, 원래 있던 PC에 싸구려 GPU 달아서 아직은 경험삼아 이것저것 해보는데, 답답하고 한계가 보여서 확 좋은걸로 바꿔보려고 합니다.
인텔 X시리즈로 가면 보드가 10~15만 정도 비싼대신 메모리가 쿼드채널 지원하던데, 쿼드 채널 메모리에 투자하는 의미가 있을까요? -
?
@짤막한글인텔 HEDT에 쿼드채널까지 생각하시면 메모리 뱅크도 8개일텐데 이왕이면 다 꼽고 싶고 램값만 돈백 나오는거아닐까요?
메모리 대역폭이야 초당 메모리를 얼마나 읽는 작업을 하느냐에 달려있지 않을까요?
대용량 데이터 처리를 하면서 로컬리티도 거의 없는 데이터를 여기 저기서 읽어 가면서 메모리에서 읽는 수준으로 빠르게 처리를 할 일이 많다면 크리티컬 할 테고, cpu 캐시 메모리에도 들어올 정도로 그리 크지 않은 데이터를 요리조리 물고 뜯고 씹을 일이 많다면 코어 클럭이 높은 쪽이 낫겠죠.
일단 X 시리즈로 가면 보드도 그렇고 CPU, 메모리 다 가격이 올라가지 않을까요?
무엇을 위해서 투자하시는지가 중요할 것 같습니다.
저도 집에서 라이젠 맞추고 나서 취미로 간단한 사진 분류기나 만들어볼까 하고 VEGA 샀다가
리눅스 드라이버 지원이 제대로 안되길레 rocm 쪽에 버그 리포팅 하고 기다리면서
윈10에서 모네로 캐기 시작했는데, 지금은 마이닝만 하고 있네요-ㅅ- -
?
@온사파더조언 감사합니다. 이제 좀 어떤걸 잘 고려해서 시스템을 구성해야하는지 감이 잡힙니다.
사실 엄청난 양의 데이터를 다루는 쪽은 아니긴한데 좀 더 데이터를 다뤄보면서 고민해봐야겠습니다.
초심자라 굳이 가성비 때문에 어려운 길은 가기 싫기도 하고 범용성도 아직은 쿠다이긴 한데, 좀 더 많이 다뤄보고 엔당이 싫증날때 되면 그 때는 AMD도 쓸만해질거 같네요 -
?
이더가 39이상 나온다고 했던것 같은데요.
-
?
@땡굴이오버하니가 이더가 82.07 나온다네요
순정에서는 69.06 -
?
역시 hbm 의 어마무시한 대역폭은 ethash 알고리즘에서 힘을 발휘하네요.
AMD 는 코어성능이 딸려서.... 퓨리나 베가나 성능이 안나오지만.... -
?
300만원짜리 글카.......... 훠우!
딥러닝용이네.. -
?
https://en.wikipedia.org/wiki/Volta_(microarchitecture)#Products
스펙이나 가격이 그럴만 합니다.
VEGA에 잠깐 후두려 맞더니 작심하고 돈을 발라서 나왔군요.
https://wccftech.com/amd-radeon-vega-nvidia-pascal-gp100-performance-benchmarks/
CUDA 코어 개수도 5120개나 되고 HBM2 적용에 12GB에 텐서 코어까지 추가된거라 가격이 후덜덜하네요.
VEGA는 모네로 용이고 스펙대비 이더 성능이 별로라 모네로에서 비교하면 차이가 더 줄어들지 모르겠네요.
https://en.wikipedia.org/wiki/Nvidia_Tesla
서버용으로 들어온건 16GB 메모리에 300W던데 이건 가격이 더 넘사벽이라..
