PersönlichSchwer

Feingranulare Erkennung von Automodellen

Deep-Learning-Studie, die das genaue Automodell auf einem Foto erkennt: ein von Grund auf trainiertes CNN, 25 Varianten mit je einer Änderung und Transfer Learning, bei dem ein auf 1,25 Millionen Autofotos vortrainiertes ResNet 92,2 % auf Stanford Cars erreicht, eingebaut in eine iOS-Demo, die auf dem Gerät läuft.

— Überblick

Architekturüberblick

iOS-Demo

Notebook

Vortraining

Datensätze

224 px, 92,2 %

DVM-CAR
1,45 Mio. Fotos, 865 Modelle

DVM-100
100 Modelle

Stanford Cars
196 Klassen

Eigenes ResNet
Köpfe für Marke, Modell, Jahr, Farbe

Aufgabe 1: CNN von Grund auf

Aufgabe 2: 25 Varianten mit je einer Änderung

Aufgabe 3: 6 Transfer-Setups

YOLO findet das Auto

ONNX-Klassifikator benennt es

Ein Deep-Learning-Einzelprojekt für den Kurs AIDE500 eines Masters in Data Engineering an der Libanesischen Universität: das genaue Modell eines Autos auf einem Foto erkennen, etwa einen BMW 3er statt eines 5ers. Das ist feingranulare Klassifikation, bei der viele Klassen dasselbe Design teilen und sich nur in einem Kühlergrill, einer Leuchte oder den Proportionen der Karosserie unterscheiden.

Die Studie folgt den drei Aufgaben der Aufgabenstellung in einem einzigen Notebook. Ein einfaches CNN mit acht Schichten, von Grund auf auf 100 Automodellen trainiert, setzt die Baseline bei 67,0 % Testgenauigkeit, gegenüber 1 % beim Raten, und seine Fehler sind ähnlich aussehende Modellpaare derselben Marke. Fünfundzwanzig Varianten ändern dann jeweils genau eine Sache, bei gleichen Daten, gleichem Seed und gleich vielen Epochen, sodass sich jeder Unterschied auf diese Änderung zurückführen lässt: Batch Normalization erweist sich als unverzichtbar (ohne sie bleibt das Netz auf Zufallsniveau), und Schichten wegzunehmen kostet weit mehr, als zusätzliche einbringen.

Das wichtigste Ergebnis betrifft die Frage, woher das Vortraining kommen sollte. Ein ResNet, von Zufallsgewichten aus auf ganz DVM-CAR trainiert, rund 1,25 Millionen Fotos aus Autoinseraten, etwa zwölf Stunden lang, überträgt sich weit besser auf Stanford Cars als das ImageNet-ResNet-18: 89,9 % nach Fine-Tuning bei 128 px gegenüber 73,6 %, mit viermal weniger Gewichten, und 92,2 % bei 224 px. Es übertrifft die beste Genauigkeit des von Grund auf trainierten Netzes schon nach zwei Epochen und schlägt, auf einem Viertel der Daten feinabgestimmt, noch das Training von Grund auf mit allen Daten. Jedes Setup wurde nur einmal trainiert, daher behandelt das Notebook Unterschiede von ein, zwei Punkten als Rauschen, nicht als Befund.

Hauptfunktionen:

  • Aufteilung nach Inserat, sodass Fotos desselben Autos nie zugleich im Training und im Test landen
  • Fünfundzwanzig Ablationen mit je einer Änderung zu Tiefe, Kernelgröße, Downsampling, Normalisierung, Aktivierung, Optimierer und Lernrate, Lernraten-Schedules und Augmentierung einschließlich MixUp und CutMix
  • Ein auf DVM-CAR vortrainiertes Multi-Head-ResNet für Marke, Modell, Baujahr und Farbe, mit 92,9 % auf 865 Automodellen
  • Sechs Transfer-Learning-Setups, verglichen nach Genauigkeit, Konvergenzgeschwindigkeit und Dateneffizienz
  • Auswertung ohne Bounding Boxes, näher am Foto eines echten Nutzers (89,9 % fallen auf 80,8 %)
  • Logit Adjustment für den Long Tail, bei dem 224 der 865 Modelle weniger als 20 Fotos haben
  • Flutter-Demo für iOS: YOLO findet das Auto, und das nach ONNX exportierte 224-px-Netz benennt es direkt auf dem Gerät

Tech-Stack:

  • Training: Python, PyTorch, torchvision, Apple Silicon (MPS)
  • Analyse: Jupyter, pandas, NumPy, Matplotlib
  • Daten: DVM-CAR, Stanford Cars, ImageNet-Gewichte für ResNet-18
  • Mobile: Flutter mit Cupertino-Widgets, Dart, ONNX Runtime, Ultralytics YOLO

Studienarbeit, daher bleibt das Repository privat.

— Stack
PythonPyTorchMaschinelles LernenComputer VisionFlutterDartiOSDeep LearningJupyterONNXYOLOpandasNumPy