Dimensionnement optimal de votre matériel d'IA Edge
Guide d'optimisation des déploiements de vision par ordinateur
Naviguer dans le paysage dynamique du matériel d'intelligence artificielle (IA) représente un défi de taille. Face à la multitude d'options de calcul et aux considérations logicielles complexes, il peut être difficile d'identifier avec certitude le matériel idéal pour votre déploiement spécifique. Cela se traduit souvent par des solutions d'IA fonctionnant sur du matériel surdimensionné, sous-utilisé, ce qui entraîne des dépenses inutiles bien supérieures au coût d'une solution matérielle d'IA dimensionnée. Ce déséquilibre entre coûts et performances s'accentue avec les déploiements de plus grande envergure, réduisant potentiellement le retour sur investissement global des entreprises à mesure que leurs initiatives d'IA se développent.
Cet article explore les facteurs essentiels pour sélectionner le matériel précis dont votre application d'IA a besoin. Vous obtiendrez des informations précieuses pour optimiser les performances, gérer efficacement les coûts et assurer la viabilité à long terme de votre infrastructure d'IA. Notre objectif est de vous donner les connaissances nécessaires pour prendre des décisions éclairées, adaptées aux exigences spécifiques de votre projet, et ainsi vous aider à atteindre vos objectifs d'IA.
Prêt à exploiter l'IA, mais vous ne savez pas par où commencer ? Contactez notre équipe de conseil en IA dédiée.
Parlez avec un expertDéfinir votre vision de l'IA de pointe : commencer par les objectifs du projet
Avant de choisir le matériel de pointe pour un déploiement d'IA de vision, il est essentiel de définir clairement les objectifs de l'application. Les caractéristiques de performance critiques incluent généralement la latence et le débit d'images du modèle d'IA. Les données d'entrée incluent généralement des facteurs tels que les flux vidéo et la résolution. Les objectifs de votre projet seront souvent mesurés par des indicateurs spécifiques tels que :
Fréquence d'images (ips) : nombre d'images traitées par seconde, essentiel pour les applications temps réel.
La précision : garantir que le modèle d'IA identifie sa cible de manière fiable ; par exemple, un modèle de détection de voitures distinguant précisément les voitures des motos, des camions, des vélos ou même des chevaux.
La latence : la vitesse de traitement et le délai associé au sein de l'application.
Une fois ces objectifs définis, plusieurs variables peuvent être ajustées pour atteindre le résultat souhaité. Dans les sections suivantes, nous explorerons plus précisément l'impact de la taille du modèle d'IA et du type d'appareil sur les performances globales, contribuant ainsi à dimensionner efficacement le matériel d'IA en fonction de vos besoins spécifiques.
Les modèles d'IA Edge produisent des résultats déterministes basés sur les données d'entrée, la taille du modèle et l'appareil d'inférence.
Comprendre la taille des modèles et les compromis de performance
Lorsque l'on considère des modèles d'IA pré-entraînés, comme les cinq tailles différentes proposées par Ultralytics pour YOLO11 (You Only Look Once), il est important de comprendre les caractéristiques clés qui influencent les performances. Celles-ci incluent généralement :
Paramètres : cette métrique indique la taille et la complexité globales du modèle.
les FLOP (opérations en virgule flottante) : les FLOP quantifient la charge de calcul requise pour que le modèle exécute ses tâches.
mAP (précision moyenne moyenne) : pour la détection d'objets, mAP sert de mesure principale de précision, indiquant la précision avec laquelle le modèle identifie et localise les objets.
Pour illustrer ces compromis, prenons les modèles YOLO11n (nano) et YOLO11x (extra-large). Le YOLO11n est le plus petit, avec 2,6 millions de paramètres et 6,5 milliards de FLOP. Cela le rend exceptionnellement rapide pour l'inférence et nécessite une puissance de calcul minimale. Cependant, cette efficacité s'accompagne d'un compromis en termes de précision.
À l'inverse, le YOLO11x est le plus grand modèle, avec 56,9 millions de paramètres et 194,9 milliards de FLOP. Bien que cela représente une augmentation significative des besoins de calcul (près de 30 fois plus de FLOP que le modèle nano), l'amélioration correspondante en termes de précision est relativement modeste. Par exemple, le modèle YOLO11n atteint un mAP de 39,5, tandis que le modèle YOLO11x atteint 54,7, soit une amélioration d'environ 38 %. Cela démontre que, si les modèles plus grands offrent une meilleure précision, les gains diminuent souvent par rapport à l'augmentation considérable des besoins de calcul et à l'impact potentiel sur la vitesse de traitement. Cette compréhension est essentielle pour dimensionner efficacement le matériel d'IA.
Pour illustrer davantage ces compromis, le tableau ci-dessous détaille les caractéristiques et les performances des différentes variantes du modèle YOLO11 :
Une comparaison des tailles du modèle YOLO par rapport à la vitesse et à la précision.
Comprendre les fréquences d'images avec un GPU dédié
Pour de nombreux déploiements d'IA de pointe exigeants, un GPU dédié (dGPU) comme le NVIDIA RTX 4000 Ada SFF est souvent considéré comme une référence en matière de performances. Pour évaluer les capacités de ce matériel sur différentes tailles de modèles d'IA, OnLogic a mené une expérience sur différents types d'appareils.
Nos tests se sont concentrés sur les résultats d'inférence de différents modèles YOLO11, en exploitant NVIDIA TensorRT pour l'optimisation avec un seul flux vidéo 640 x 640. Les données ont révélé des fréquences d'images impressionnantes : le modèle nano a atteint 954 images par seconde (ips), tandis que même le modèle extra-large a atteint 167 ips. Bien que ces résultats aient été obtenus avec un seul flux vidéo basse résolution, cette configuration représente fidèlement de nombreux cas d'utilisation courants de la vision par ordinateur en périphérie.
Ces chiffres convaincants soulèvent une question cruciale pour de nombreux chefs de projet et ingénieurs : un GPU discret hautes performances est-il vraiment nécessaire pour votre application spécifique, en particulier lorsque ce composant peut à lui seul représenter un coût important d'environ 1 500 à 2 000 $ pour un seul nœud ? Cette question souligne l'importance d'un dimensionnement optimal du matériel d'IA afin d'éviter les dépenses inutiles et de garantir une conception optimale du système.
Performances de fréquence d'images et de latence ADA de la NVIDIA RTX 4000 sur tous les modèles, dépassant 100 ips.
Optimisation de la taille pour l'IA en périphérie : des performances optimales sans dépenses excessives
Nombre de nos clients visent environ 30 images par seconde (ips) comme objectif de performance pour diverses applications d'IA en périphérie. Pour démontrer comment y parvenir efficacement, OnLogic a mené des tests supplémentaires sur les modèles YOLO11 small (s), medium (m) et large (l), tous exécutés sur nos ordinateurs industriels Helix série 520.
Nos résultats révèlent que, pour une application de flux vidéo unique, l'utilisation des processeurs Intel Core™ Ultra Series 1 (Meteor Lake) et Core Ultra Series 2 (Arrow Lake) NPU avec OpenVINO™ permet au système d'atteindre, voire de dépasser, cet objectif de 30 ips sans recourir à un accélérateur discret. De fait, l'exécution du modèle sur le GPU intégré (iGPU) du système peut facilement dépasser cette exigence de performance. Pour les applications nécessitant l'utilisation d'un processeur interne, les processeurs Intel Arrow Lake affichent des résultats exceptionnels, atteignant 76 ips avec le NPU et un impressionnant 108 ips avec l'iGPU.
Appareils et modèles atteignant entre 30 et 240 images par seconde. Pour les modèles plus petits, le matériel intégré atteint ces objectifs sans GPU dédié.
Ces résultats mettent en lumière une information cruciale : pour de nombreuses applications à flux vidéo unique, un GPU dédié est souvent inutile et représente probablement une solution surprovisionnée. Le choix entre l'utilisation du NPU ou de l'iGPU devient alors une question d'ajustement précis en fonction de facteurs spécifiques tels que la latence et la consommation d'énergie. De plus, nos tests indiquent que le GPU intégré au processeur Intel peut même surpasser les accélérateurs d'inférence IA dédiés, tels que le Hailo-8 que nous avons inclus dans nos tests.
Cependant, lorsqu'un modèle d'IA plus volumineux est requis pour des applications plus exigeantes ou plus performantes, les GPU discrets (dGPU) s'imposent sans équivoque. Pour les scénarios ciblant des résultats d'inférence supérieurs à 120 ips avec des modèles moyens, grands ou très grands, la puissance d'un dGPU devient évidente. Nos données montrent que la NVIDIA RTX 2000 offre des performances quasiment identiques à celles du format A4500 MXM dans ces scénarios hautes performances.
Dans ce cas, le choix du matériel devient crucial, nécessitant une évaluation minutieuse du compromis entre prix et performances. L'une des principales différences du format MXM réside dans sa température nominale et son isolation thermique plus élevées, ce qui le rend plus résistant aux conditions environnementales défavorables que la RTX 2000. À l'inverse, un système utilisant la RTX 2000 offre généralement un avantage tarifaire. En fin de compte, pour les applications à flux vidéo unique où les objectifs de performances se situent autour de 30 ips, les NPU et les iGPU intégrés sont généralement suffisants, ce qui renforce l'importance de dimensionner correctement le matériel d'IA pour répondre aux exigences précises de votre projet.
Les GPU haut de gamme de type MXM sont comparables aux RTX 2000 ADA ; ils sont particulièrement adaptés aux modèles d'inférence de plus grande envergure dans les applications d'IA en périphérie, où les conditions de fonctionnement peuvent être difficiles.
Du prototypage à l'échelle : un déploiement d'IA rentable
Compte tenu de la grande diversité des performances atteignables avec différents modèles d'IA, entrées, objectifs de précision et appareils, il est primordial d'aborder le déploiement de l'IA de manière responsable sur le plan financier. C'est pourquoi il peut être avantageux de commencer le développement d'applications avec un système équipé d'un GPU discret (dGPU). Cette configuration permet aux ingénieurs de développer, quantifier et optimiser leurs modèles, puis d'expérimenter en toute confiance avec différents appareils pour évaluer les performances.
Par exemple, si un ingénieur valide son application sur un système Helix série 520 équipé d'un GPU NVIDIA RTX 4000 Ada, il devient essentiel de comprendre comment les résultats s'alignent sur les objectifs finaux de l'application. Cette évaluation peut conduire à deux scénarios principaux :
Si la fréquence d'images est nettement supérieure à l'objectif :
Si la fréquence d'images est nettement inférieure à l'objectif :
En règle générale, l'utilisation de modèles plus petits et plus optimisés se traduit directement par des exigences matérielles moins coûteuses. À mesure que les applications d'IA passent de la phase de prototype aux déploiements pilotes, puis au déploiement à grande échelle, l'augmentation du nombre de systèmes peut entraîner une augmentation considérable des coûts si le matériel d'IA n'est pas sélectionné avec soin. Prenons l'exemple d'une application visant 30 ips qui utilise inutilement un GPU discret alors qu'un NPU intégré suffirait. Sur un déploiement de 1 000 appareils, cet oubli apparemment insignifiant peut entraîner une différence considérable de 1,5 million de dollars en dépenses matérielles, sans parler des économies d'énergie substantielles à long terme.
La fréquence d'images est moyenne selon les appareils et les modèles. En général, les modèles plus petits (YOLO11m et inférieurs) peuvent utiliser efficacement les NPU ou iGPU embarqués, tandis que les modèles plus grands (YOLO11l et supérieurs) sont plus performants avec des GPU discrets (MXM ou traditionnels).
En conclusion, le choix du matériel pour les applications d'IA est une responsabilité importante qui mérite une réflexion approfondie. Les GPU discrets sont des outils puissants, mais ils ne constituent pas une solution universelle à tous les problèmes. Il est préférable de trouver une solution adaptée, parfaitement adaptée aux objectifs de performance de votre projet, et de la dimensionner correctement et de l'évaluer minutieusement. Ce choix crucial peut permettre de réaliser d'importantes économies de matériel et d'éviter que des coûts de déploiement prohibitifs ne freinent vos projets, contribuant ainsi à la réussite de vos initiatives d'IA à grande échelle grâce à un dimensionnement optimal du matériel d'IA.
Prêt à découvrir comment le bon matériel peut transformer vos implémentations d'IA, mais vous ne savez pas par où commencer ? Contactez notre équipe de conseil en IA dédiée pour discuter de votre projet.
Parlez avec un expertRemarques sur les tests
Tests réalisés en interne par OnLogic avec les produits OnLogic des séries HX520 et HX600.
Les tests ont été réalisés à température ambiante.
Les tests ont été réalisés avec les modèles de détection Ultralytics YOLO11 et une seule entrée vidéo 640x640.
Tous les tests ont été exécutés avec la précision FP16.
Le débit inclut le temps de prétraitement. Le débit du modèle l'ignore.
NPU n'inclut pas NMS à chaque passe d'inférence.
Tous les tests ont été exécutés en inférence synchrone (une image traitée à la fois, dès que la précédente est terminée).