Experiment · BETA · 2024
Kann ein digitales System auf erlebte statt nur auf gezeigte Emotion reagieren?
MELODEYE kombiniert Gesichtsausdruck, Blickrichtung und Pupillendynamik direkt im Browser. Aus der Differenz zwischen sichtbarer und erlebter Emotion entsteht eine adaptive musikalische Reaktion.
Emotion ist kein einzelner Messwert.
Ein Lächeln kann Freude, Anspannung oder soziale Anpassung bedeuten. Das Experiment untersucht deshalb nicht nur Ausdruck, sondern die Differenz zwischen mehreren Signalen – und hält biometrische Rohdaten auf dem Gerät.
Von multimodalen Signalen zu einer vorsichtigen Reaktion.
Lokale Wahrnehmung
Gesicht, Blick und Pupillendynamik werden im Browser verarbeitet.
Gap-aware interpretation
Das System reagiert auf Abweichungen zwischen sichtbaren und abgeleiteten Signalen.
Adaptive Musik
Die ermittelte Situation steuert Auswahl und Generierung einer musikalischen Antwort.
Wo dieses Prinzip anschlussfähig ist.
Der Case zeigt, wie sensible Signale lokal verarbeitet und in eine zurückhaltende, erklärbare Reaktion übersetzt werden können.
Adaptive Interfaces
Digitale Produkte können ihre Dichte oder Unterstützung an Nutzungssignale anpassen.
Wellbeing
Reflexions- und Entspannungsangebote können kontextbezogener reagieren, ohne Rohdaten zentral zu speichern.
Privacy by design
Sensible Modelle können gezielt auf dem Gerät statt in der Cloud laufen.
Ergebnis und Erkenntnis
Das Projekt untersucht personalisierte Interaktion, ohne biometrische Rohdaten an einen Server zu übertragen.
Multimodale Signale sind aussagekräftiger als ein einzelner Klassifikator – erfordern aber klare Sicherheitslogik und eine bescheidene Interpretation.