Heute beschäftigen wir uns mit der Bewertung von biometrischen Systemen anhand von Vergleichs- und Fehlermetriken.
| Skript-Anfang | bio-B-biometric-performance – Seite 1 |
|---|---|
| Skript-Ende | bio-B-biometric-performance – Seite 53 |
Assessment of Methods and Systems
Metriken
Wie vergleicht man biometrische Systeme?
- Messung der Performanz bzw. Präzision
- Dafür benötigt man Vergleichs- und Fehlermetriken
- Metriken müssen normiert werden, z.B. P-norm (Minkowski metric)
Wofür braucht man eine Normierung?
- Im kartestischen Koordindatensystem bestimmen wird den Abstand über den Satz von Pythagoras
- Normierung des Vektorraums zur Bestimmung des Abstands zwischen zwei Punkten X (x1,…,xn) und Y (y1,…,yn)
- Verallgemeinerte Formel: \( p-Normdistanz = \left ( \sum_{n}^{i=1} |x_i-y_i|^p\right )^\frac{1}{p} \)
Welche Vergleichsmetriken gibt es?
- Eins-zu-Eins Vergleich von zwei biometrischen Referenzen
- Similarity score (steigt mit Ähnlichkeit)
- Distance bzw. dissimilarity score (sinkt mit Ähnlichkeit)
Welche Fehlermetriken gibt es?
| Metrik | Beschreibung | Einordnung |
|---|---|---|
| Failure-to-Capture (FTC) | Es kann kein Sample erhoben werden (Kamera läuft nicht). | FTA |
| Failure-to-eXtract (FTX) | Es können keine Merkmale extrahiert werden (schlechte Qualität, Maske, Unschärfe, Brille). | FTA |
| Failure-to-Acquire (FTA) | Allgemein beim Erheben (FTC + FTX) + es kann kein Vektor erhoben werden. | FTE |
| Failure-to-Enrol (FTE) | FTA + Speichern nicht möglich, Datenbank ist nicht erreichbar oder es gibt keine Referenz. | – |
| False-Match-Rate (FMR) | Unterschiedliche Person werden verglichen und erzeugen Match (Algorithmus akzeptiert zero-effort-imposter) | Algorithm Error Metrics |
| False-Non-Match-Rate (FNMR) | Eine Person mit zwei Bildern erlangt kein Match (Algorithmus weist echte Identität zurück) | Algorithm Error Metrics |
| False acceptance rate (FAR) | Biometrische Behauptung wird fälschlicherweise akzeptiert | System Error Metric |
| False rejection rate (FRR) | Biometrische Behauptung wird fälschlicherweise zurückgewiesen | System Error Metric |
| N | Alle Versuche über alle Personen |
Tests
Welche Testverfahren gibt es?
- Technology testing: Fester Datensatz zum Testen der Algorithmen
- Scenario testing: Prototyp wird geprüft
- Operational testing: Komplette Anwendung testen
Welche Probleme gibt es beim wissenschaftlichen Ansatz?
- Trainingsdaten müssen von Testdaten getrennt werden
- Begrenzte Menge von Testdaten, Probanten (bzgl. Aussagekraft)
- Synthetische Daten sind keine Option für diesen Ansatz
- Falsche Daten (Grundwahrheit ist falsch) durch Mehrfachregistrierung, Falschzuordnungen oder leeres Sample (nur Hintergrund wird erfasst)
- Genauigkeit muss definierbar sein
Welche Datensätze gibt es?
- Closed set: Verifizierung (1:1)
- Open set: Identifizierung (1:n)
Was sind Closed Set-Evaluationsmetriken?
- Kontrolliertes Experiment (fixe Kamera, definierte Abläufe und Verhalten)
- Ausreichend Datensätze vorhanden (min. 1000)
- Authentischer Vergleich (Person = Probe = Referenz bzw. Identät = Identätsbehauptung = Referenz-ID)
- Imposter score: Resultat eines Tests mit falscher Probe
- Je mehr Testsubjekte es gibt, desto höher sind die Fehlerraten
- In der Konfusionsmatrix muss die Summe einer Reihe/Spalte immer 1 ergeben
- Equal-Error-Rate (EER): Schnittpunkt von FMR und FNMR
- Schwellenwerte müssen gut gesetzt werden
Was sind Open Set-Evaluationsmetriken?
- Hier gibt es keine angebliche Identität (id claim), sondern nur ein Bild
- Rückgabewert = 1-n (beizukommen mit Schwellenwert)
- False Positive Identification Rate (FPIR): Anzahl potenzieller Kandidaten, die es nicht sind
CMC(1,N)funktioniert angeblich wie FPIR- Linearer Fehleranstieg
Berichte
Wie funktioniert CMC?
- Wahrscheinlichkeit, dass die gesuchte Person in der Gruppe ist (1:m)
CMC(5,N)gibt die 5 wahrscheinlichsten Resultate zurück- Wenn die gesuchte Person nicht in der DB ist, strebt die Kurve nicht ganz nach 1
Beispiele
- Detection Error Trade-off (DET)-Kurve: Lila ist am Besten
- Receiver Operating Characteristic (ROC)-Kurve: Lila System ist am Besten (99.9% zu 1%)
- Cumulative match curve (CMC): Das grüne System ist am Besten