Phenquestions
Опитът е жизненоважен за развиване на уменията, необходими за прилагане на дълбокото обучение към нови въпроси. Бързият графичен процесор означава бързо придобиване на практически опит чрез незабавна обратна връзка. GPU съдържат множество ядра за справяне с паралелни изчисления. Те също така включват широка честотна лента на паметта, за да управляват тази информация с лекота.
 |
Имайки предвид това, ние се стремим да отговорим на въпроса: „Коя е най-добрата графична карта за AI, машинно обучение и дълбоко обучение?”Чрез преглед на няколко графични карти, налични в момента през 2021 г. Прегледани карти:
- AMD RX Vega 64
- NVIDIA Tesla V100
- Nvidia Quadro RTX 8000
- GeForce RTX 2080 Ti
- NVIDIA Titan RTX
По-долу са резултатите:
AMD RX Vega 64
Radeon RX Vega 64
Характеристика
- Дата на издаване: 14 август 2017 г
- Вега Архитектура
- PCI Express интерфейс
- Тактова честота: 1247 MHz
- Потокови процесори: 4096
- VRAM: 8 GB
- Пропускателна способност на паметта: 484 GB / s
Преглед
Ако не харесвате графичните процесори на NVIDIA или бюджетът ви не ви позволява да похарчите над $ 500 за графична карта, тогава AMD има интелигентна алтернатива. Разполагайки с прилично количество RAM, бърза честотна лента и повече от достатъчно поточни процесори, RS Vega 64 на AMD е много трудно да се игнорира.
Архитектурата на Vega е надстройка от предишните RX карти. По отношение на производителността този модел е близък до GeForce RTX 1080 Ti, тъй като и двата модела имат подобна VRAM. Освен това Vega поддържа естествена полуточност (FP16). ROCm и TensorFlow работят, но софтуерът не е толкова зрял, както при графичните карти на NVIDIA.
Като цяло Vega 64 е приличен графичен процесор за дълбоко обучение и AI. Този модел струва много под $ 500 USD и свършва работата за начинаещи. За професионални приложения обаче препоръчваме да изберете карта на NVIDIA.
AMD RX Vega 64 Подробности: Amazon
NVIDIA Tesla V100
Tesla V100
Характеристика:
- Дата на издаване: 7 декември 2017 г
- Архитектура на NVIDIA Volta
- PCI-E интерфейс
- 112 TFLOPS Tensor Performance
- 640 тензорни ядра
- 5120 Ядра на NVIDIA CUDA®
- VRAM: 16 GB
- Пропускателна способност на паметта: 900 GB / s
- API за изчисление: CUDA, DirectCompute, OpenCL ™, OpenACC®
Преглед:
NVIDIA Tesla V100 е невероятна и една от най-добрите графични карти за AI, машинно обучение и дълбоко обучение. Тази карта е напълно оптимизирана и е снабдена с всички екстри, които може да са ви необходими за тази цел.
Tesla V100 се предлага в конфигурации памет от 16 GB и 32 GB. С много VRAM, ускорение на AI, висока честотна лента на паметта и специализирани тензорни ядра за дълбоко обучение, можете да бъдете сигурни, че всеки ваш модел на обучение ще работи гладко - и за по-малко време. По-конкретно, Tesla V100 може да осигури 125TFLOPS ефективност на дълбокото обучение както за обучение, така и за заключение [3], което стана възможно благодарение на архитектурата на NVIDIA Volta.
Подробности за NVIDIA Tesla V100: Amazon, (1)
Nvidia Quadro RTX 8000
Nvidia Quadro Rtx 8000
Характеристика:
- Дата на издаване: август 2018 г
- Архитектура на Тюринг
- 576 ядра на тензора
- Ядра на CUDA: 4 608
- VRAM: 48 GB
- Пропускателна способност на паметта: 672 GB / s
- 16.3 TFLOPS
- Системен интерфейс: PCI-Express
Преглед:
Специално създаден за аритметика и изчисления на матрица за дълбоко обучение, Quadro RTX 8000 е най-добрата графична карта. Тъй като тази карта се предлага с голям VRAM капацитет (48 GB), този модел се препоръчва за изследване на изключително големи изчислителни модели. Когато се използва в двойка с NVLink, капацитетът може да се увеличи до 96 GB VRAM. Което е много!
Комбинация от 72 RT и 576 Tensor ядра за подобрени работни потоци води до над 130 TFLOPS производителност. В сравнение с най-скъпата графична карта в нашия списък - Tesla V100 - този модел потенциално предлага 50 процента повече памет и въпреки това успява да струва по-малко. Дори и на инсталирана памет, този модел има изключителна производителност при работа с по-големи партидни размери на един графичен процесор.
Отново, подобно на Tesla V100, този модел е ограничен само от вашия покрив на цената. Въпреки това, ако искате да инвестирате в бъдещето и във висококачествени изчисления, вземете RTX 8000. Кой знае, може да ръководите изследването на ИИ. Tesla V100 се основава на архитектурата на Тюринг, където V100 се основава на архитектурата на Volta, така че Nvidia Quadro RTX 8000 може да се счита за малко по-модерна и малко по-мощна от V100.
Nvidia Quadro RTX 8000 Подробности: Amazon
GeForce RTX 2080 Ti
Geforce RTX 2080 Founders Edition
Характеристика:
- Дата на издаване: 20 септември 2018 г
- Архитектура на Turing GPU и платформата RTX
- Тактова честота: 1350 MHz
- Ядра на CUDA: 4352
- 11 GB ултрабърза GDDR6 памет от следващо поколение
- Пропускателна способност на паметта: 616 GB / s
- Мощност: 260W
Преглед:
GeForce RTX 2080 Ti е бюджетна опция, идеална за малки натоварвания при моделиране, а не за мащабни учебни разработки. Това е така, защото има по-малка GPU памет на карта (само 11 GB). Ограниченията на този модел стават по-очевидни при обучението на някои съвременни NLP модели. Това обаче не означава, че тази карта не може да се състезава. Дизайнът на вентилатора на RTX 2080 позволява много по-плътни системни конфигурации - до четири графични процесора в рамките на една работна станция. Освен това този модел обучава невронни мрежи със 80 процента от скоростите на Tesla V100. Според бенчмарковете за ефективност на дълбокото обучение на LambdaLabs, в сравнение с Tesla V100, RTX 2080 е 73% от скоростта на FP2 и 55% от скоростта на FP16.
Междувременно този модел струва близо 7 пъти по-малко от Tesla V100. От гледна точка на цена и производителност, GeForce RTX 2080 Ti е чудесен графичен процесор за дълбоко обучение и развитие на AI.
GeForce RTX 2080 Ti Подробности: Amazon
NVIDIA Titan RTX
Графика на NVIDIA Titan RTX
Характеристика:
- Дата на издаване: 18 декември 2018 г
- Осъществено от архитектурата на NVIDIA Turing ™, предназначена за AI
- 576 ядра за тензор за ускорение на изкуствения интелект
- 130 teraFLOPS (TFLOPS) за дълбоко обучение
- Ядра на CUDA: 4608
- VRAM: 24 GB
- Пропускателна способност на паметта: 672 GB / s
- Препоръчително захранване 650 вата
Преглед:
NVIDIA Titan RTX е друг графичен процесор от среден клас, използван за сложни операции на дълбоко обучение. 24 GB VRAM на този модел са достатъчни за работа с повечето партидни размери. Ако обаче искате да обучите по-големи модели, сдвоете тази карта с моста NVLink, за да имате ефективно 48 GB VRAM. Тази сума би била достатъчна дори за големи трансформаторни NLP модели. Освен това Titan RTX дава възможност за пълноценно обучение със смесена прецизност за модели (т.е.д., FP 16 заедно с FP32 натрупване). В резултат на това този модел изпълнява приблизително 15 до 20 процента по-бързо в операции, при които се използват ядра Tensor.
Едно ограничение на NVIDIA Titan RTX е дизайнът на двойния вентилатор. Това затруднява по-сложните системни конфигурации, тъй като не може да се опакова в работна станция без съществени модификации на охлаждащия механизъм, което не се препоръчва.
Като цяло Titan е отличен, универсален графичен процесор за почти всякаква задача за задълбочено обучение. В сравнение с други графични карти с общо предназначение, той със сигурност е скъп. Ето защо този модел не се препоръчва за геймърите. Независимо от това, допълнителното VRAM и повишаване на производителността вероятно ще бъдат оценени от изследователите, използващи сложни модели за дълбоко обучение. Цената на Titan RTX е значително по-ниска от показаната по-горе V100 и би била добър избор, ако бюджетът ви не позволява ценообразуването на V100 да прави задълбочено обучение или работното ви натоварване не се нуждае от повече от Titan RTX (вижте интересни критерии)
NVIDIA Titan RTX Подробности: Amazon
Избор на най-добрата графична карта за AI, машинно обучение и задълбочено обучение
AI, машинното обучение и задълбочените задачи обработват купища данни. Тези задачи могат да бъдат много взискателни към вашия хардуер. По-долу са описани функциите, които трябва да имате предвид, преди да закупите графичен процесор.
Ядра
Като просто правило, колкото по-голям е броят на ядрата, толкова по-висока ще бъде производителността на вашата система. Броят на ядрата също трябва да се вземе под внимание, особено ако имате работа с голямо количество данни. NVIDIA нарече своите ядра CUDA, докато AMD нарича техните ядра поточни процесори. Вземете най-големия брой обработващи ядра, които бюджетът ви позволява.
Мощност за обработка
Мощността на обработка на графичния процесор зависи от броя на ядрата в системата, умножен по тактовите честоти, при които работите с ядрата. Колкото по-висока е скоростта и колкото по-голям е броят на ядрата, толкова по-висока ще бъде мощността на обработка, при която вашият графичен процесор може да изчислява данни. Това също определя колко бързо вашата система ще изпълни задача.
VRAM
Видео RAM или VRAM е измерване на количеството данни, които вашата система може да обработва наведнъж. По-високата VRAM е жизненоважна, ако работите с различни модели на Computer Vision или изпълнявате състезания за CV Kaggle. VRAM не е толкова важен за NLP или за работа с други категорични данни.
Пропускателна способност на паметта
Пропускателната способност на паметта е скоростта, с която данните се четат или съхраняват в паметта. С прости думи, това е скоростта на VRAM. Измерено в GB / s, повече честотна лента на паметта означава, че картата може да изтегли повече данни за по-малко време, което се превръща в по-бърза работа.
Охлаждане
Температурата на графичния процесор може да бъде значително препятствие по отношение на производителността. Съвременните графични процесори увеличават скоростта си до максимум, докато изпълняват алгоритъм. Но веднага щом бъде достигнат определен температурен праг, графичният процесор намалява скоростта на обработка, за да се предпази от прегряване.
Дизайнът на вентилатора за въздушни охладители изтласква въздуха извън системата, докато недухащите вентилатори всмукват въздух. В архитектурата, където множество графични процесори са поставени един до друг, недухащите вентилатори ще се нагряват повече. Ако използвате въздушно охлаждане в настройка с 3 до 4 графични процесора, избягвайте недухащи вентилатори.
Водното охлаждане е друга опция. Макар и скъп, този метод е много по-безшумен и гарантира, че дори най-плътните графични настройки остават готини по време на работа.
Заключение
За повечето потребители, които се впускат в задълбочено обучение, RTX 2080 Ti или Titan RTX ще осигурят най-добрия взрив за вашите пари. Единственият недостатък на RTX 2080 Ti е ограничен размер от 11 GB VRAM. Обучението с по-големи партидни размери позволява на моделите да тренират по-бързо и много по-точно, спестявайки много време на потребителя. Това е възможно само когато имате Quadro графични процесори или TITAN RTX. Използването на полупрецизност (FP16) позволява на моделите да се поберат в графичните процесори с недостатъчен размер на VRAM [2]. За по-напредналите потребители обаче Tesla V100 трябва да инвестира. Това е нашият най-добър избор за най-добрата графична карта за AI, машинно обучение и дълбоко обучение. Това е всичко за тази статия. Надяваме се да ви е харесал. До следващия път!
Препратки
- Най-добрите графични процесори за AI, машинно обучение и задълбочено обучение през 2020 г
- Най-добрият графичен процесор за задълбочено обучение през 2020 г
- NVIDIA AI ИНФЕРЕНЦИОННА ПЛАТФОРМА: Гигантски скокове в производителността и ефективността на AI услугите, от центъра за данни до ръба на мрежата
- Графичен процесор NVIDIA V100 TENSOR CORE
- Titan RTX Deep Learning Benchmarks
