PersonnelDifficile

Reconnaissance fine de modèles de voitures

Étude de deep learning qui reconnaît le modèle exact d'une voiture sur une photo : un CNN entraîné de zéro, 25 variantes à un seul changement, et un apprentissage par transfert où un ResNet préentraîné sur 1,25 million de photos de voitures atteint 92,2 % sur Stanford Cars, intégré dans une démo iOS qui tourne sur l'appareil.

— Vue d'ensemble

Aperçu de l'architecture

Démo iOS

Notebook

Préentraînement

Jeux de données

224 px, 92,2 %

DVM-CAR
1,45 M photos, 865 modèles

DVM-100
100 modèles

Stanford Cars
196 classes

Notre ResNet
têtes marque, modèle, année, couleur

Tâche 1 : CNN entraîné de zéro

Tâche 2 : 25 variantes à un seul changement

Tâche 3 : 6 configurations de transfert

YOLO trouve la voiture

Le classifieur ONNX la nomme

Un projet individuel de deep learning pour le cours AIDE500 d'un master en Data Engineering à l'Université libanaise : reconnaître le modèle exact d'une voiture sur une photo, par exemple une BMW Série 3 plutôt qu'une Série 5. C'est de la classification fine, où de nombreuses classes partagent un même design et ne diffèrent que par une calandre, un feu ou les proportions de la carrosserie.

L'étude suit les trois tâches du sujet dans un seul notebook. Un CNN simple à 8 couches, entraîné de zéro sur 100 modèles de voitures, fixe la référence à 67,0 % de précision en test, contre 1 % pour le hasard, et ses erreurs sont des paires de modèles ressemblants de la même marque. Vingt-cinq variantes changent ensuite une seule chose chacune, avec les mêmes données, la même graine et le même nombre d'époques, si bien que chaque écart s'explique par ce changement : la batch normalisation se révèle indispensable (sans elle, le réseau reste au niveau du hasard), et retirer des couches coûte bien plus que ce qu'en ajouter rapporte.

Le résultat principal porte sur l'origine du préentraînement. Un ResNet entraîné à partir de poids aléatoires sur l'ensemble de DVM-CAR, environ 1,25 million de photos d'annonces, pendant une douzaine d'heures, se transfère bien mieux sur Stanford Cars que le ResNet-18 d'ImageNet : 89,9 % après fine-tuning à 128 px contre 73,6 %, avec quatre fois moins de poids, et 92,2 % à 224 px. Il dépasse la meilleure précision du réseau entraîné de zéro après deux époques, et, fine-tuné sur un quart des données, il bat encore l'entraînement de zéro sur la totalité. Chaque configuration n'a été entraînée qu'une fois : le notebook traite donc les écarts d'un ou deux points comme du bruit, pas comme des résultats.

Fonctionnalités clés :

  • Découpage par annonce, pour qu'une même voiture ne se retrouve jamais à la fois en entraînement et en test
  • Vingt-cinq variantes à un seul changement couvrant la profondeur, les noyaux, le sous-échantillonnage, la normalisation, l'activation, l'optimiseur et le taux d'apprentissage, les plannings et l'augmentation, dont MixUp et CutMix
  • Un ResNet multi-têtes préentraîné sur DVM-CAR pour la marque, le modèle, l'année et la couleur, à 92,9 % sur 865 modèles
  • Six configurations d'apprentissage par transfert comparées en précision, vitesse de convergence et efficacité en données
  • Évaluation sans boîtes englobantes, plus proche de la photo d'un vrai utilisateur (89,9 % tombe à 80,8 %)
  • Ajustement des logits pour la longue traîne, où 224 des 865 modèles ont moins de 20 photos
  • Démo iOS en Flutter : YOLO trouve la voiture, et le réseau à 224 px, exporté en ONNX, la nomme directement sur l'appareil

Stack technique :

  • Entraînement : Python, PyTorch, torchvision, Apple Silicon (MPS)
  • Analyse : Jupyter, pandas, NumPy, Matplotlib
  • Données : DVM-CAR, Stanford Cars, poids ResNet-18 d'ImageNet
  • Mobile : Flutter avec les widgets Cupertino, Dart, ONNX Runtime, Ultralytics YOLO

Projet universitaire : le dépôt reste privé.

— Stack
PythonPyTorchMachine LearningComputer VisionFlutterDartiOSDeep LearningJupyterONNXYOLOpandasNumPy