Jak dobrać GPU do przemysłowej kontroli wizyjnej AI: Jetson, RTX czy Xeon-6?

Dlaczego "po prostu kup GPU" nie działa

Przemysłowy system wizyjny AI ma trzy twarde ograniczenia: liczbę klatek na sekundę przy prędkości linii, rozmiar modelu (parametry + rozdzielczość obrazu wejściowego) oraz budżet opóźnienia od rejestracji obrazu przez kamerę do decyzji przekazanej do elementu wykonawczego. Zbyt mały układ GPU oznacza gubienie klatek, zbyt duży oznacza przepłacenie i nadmiarowe chłodzenie. Właściwy dobór wynika z tych trzech liczb oraz z prostych obliczeń wydajnościowych.

Obliczenia wydajnościowe w jednym akapicie

Dla pojedynczej kamery pracującej z F FPS i modelu o zmierzonym czasie wnioskowania L ms na obraz na docelowym układzie GPU wykorzystanie GPU przez jedną kamerę wynosi w przybliżeniu F × L / 1000. Kamera 30 FPS z modelem 20 ms wykorzystuje 60% jednego strumienia, a linia z 8 kamerami przy 30 FPS z tym samym modelem potrzebuje około 4,8 strumienia. Niezależnie od docelowego układu GPU należy zweryfikować rzeczywistą wartość L na próbce przed podjęciem decyzji, ponieważ podawane przez producenta wartości MIPS/TOPS nie są czasem wnioskowania.

Trzy poziomy

Poziom 1: klasa Jetson przy kamerze

Moduły NVIDIA Jetson Orin / NX sprawdzają się w inspekcji z jedną kamerą lub z niewielką ich liczbą, gdy GPU znajduje się przy kamerze albo w małej obudowie zainstalowanej w linii. Pobór mocy od około 10 do 60 W, wykonanie bezwentylatorowe lub z cichym wentylatorem, możliwość instalacji w szafach z montażem na szynę DIN lub na ścianie. Najlepsze zastosowania: inspekcja punktowa, proste OCR, kontrola obecności elementu, odczyt wskaźników. Zobacz platformy NVIDIA Solution firmy Avalue, w tym AIB-NIAO-S, AIB-NINX-S oraz AIB-NW01.

Poziom 2: RTX Ada w komputerze typu box do zastosowań AI

W przypadku linii wielokamerowych (od 4 do 8 kamer), obrazu o wysokiej rozdzielczości lub modeli przetwarzających dane 3D optymalnym rozwiązaniem jest przemysłowy komputer typu box z pojedynczą kartą RTX Ada (na przykład RTX 2000E Ada w szczelnej obudowie przemysłowej). Moc karty GPU od około 70 do 200 W, PCIe Gen4 x16, możliwość rozbudowy o karty frame grabber. Do tego poziomu należy MAB-T660D (RTX 2000E Ada, PCIe Gen4 x16). Pełną architekturę opisuje nasz materiał o MAB-T690/T660D.

Poziom 3: serwer Xeon 6 z kartami GPU o podwójnej szerokości

Do scentralizowanych systemów wizyjnych z wieloma kamerami, dużych rekonstrukcji 3D, farm AOI albo trenowania i odświeżania modeli lepiej nadaje się serwer 1U/2U z jedną lub dwiema kartami GPU o podwójnej szerokości i magistralą PCIe Gen5. Portfolio Edge HPC firmy Avalue obejmuje system 1U HPS-GNRU1A z pojedynczym procesorem Intel Xeon 6 (do 350 W TDP) i możliwością instalacji karty GPU FHFL oraz serwer HPS-GNRU4A obsługujący cztery karty GPU o podwójnej szerokości na magistrali PCIe Gen5. Zobacz nasz materiał o Edge HPC.

Jak wybrać

1. Należy wypisać kamery, ich rozdzielczość i liczbę klatek na sekundę.
2. Należy wybrać model kandydujący (YOLO/Mask-RCNN/własny transformer) i zmierzyć czas wnioskowania na kandydującym układzie GPU dla reprezentatywnej partii obrazów.
3. Należy pomnożyć: całkowite zapotrzebowanie na strumienie = Σ (F × L / 1000) dla wszystkich kamer.
4. Należy dodać około 30% zapasu na wstępne przetwarzanie obrazu, dryf oraz przyszłe aktualizacje modelu.
5. Należy wybrać najniższy poziom, który pokrywa zapotrzebowanie i mieści się w budżecie opóźnienia: poziom 1, jeśli suma jest < jednego strumienia Jetson, poziom 2 dla linii wielokamerowych obsługiwanych przez jedną jednostkę, poziom 3 dla scentralizowanych obciążeń obejmujących wiele linii lub trenowanie modeli.

Pułapki, których należy unikać

• Dobór na podstawie TOPS zamiast zmierzonej liczby klatek na sekundę
• Pominięcie zasilania i chłodzenia, karta RTX Ada w szczelnej obudowie może latem ograniczać taktowanie z powodu temperatury
• Wąskie gardło pojedynczej karty GPU, gdy karta frame grabber wymaga przepustowości PCIe Gen5 x16
• Brak ścieżki rozbudowy, gdy rok później model zostanie zastąpiony większym

Rola TSL Automation

TSL Automation dostarcza wszystkie trzy poziomy: platformy AIB klasy Jetson, komputery typu box z kartami RTX Ada oraz serwery GPU z procesorami Xeon 6. Prosimy o kontakt z naszym zespołem i podanie liczby kamer, liczby klatek na sekundę, modelu oraz budżetu opóźnienia, a my wskażemy najniższy poziom, który pokryje te wymagania.