Forscher der Carnegie Mellon University haben ein Kamerasystem entwickelt, welches Schallschwingungen mit solcher Präzision und Detailgenauigkeit erkennen kann, dass es in der Lage ist, den Sound eines einzelnen Instruments inmitten eines Orchesters nur per Video zu rekonstruieren. Es funktioniert quasi als optisches Richtmikrophon, das auch auch aus einiger Entfernung eine spezifische Tonquelle aufnehmen kann.
Selbst die leistungsstärksten und am besten ausgerichteten Mikrofone können bei der Aufnahme von Audiosignalen Nebengeräusche, Umgebungsgeräusche und die Auswirkungen der Akustik wie zum Beispiel Hall nicht ausschalten. Das neuartige System dagegen verwendet zwei Kameras, die Video mit 60 bzw. 130 fps aufnehmen können sowie einen schwachen Laser (mit der Lichtstärke eines Standard-Laserpointes), um Oberflächenvibrationen mit hoher Geschwindigkeit und geringer Amplitude zu erfassen, die für das menschliche Auge nicht sichtbar sind. Diese Vibrationen können zur Rekonstruktion des Klangs verwendet werden, wobei isolierte Audiosignale ohne Inferenz oder Mikrofon erfasst werden.
Das Team führte mehrere erfolgreiche Demos durch, um die Funktion des Systems bei der Erfassung von Vibrationen und die Qualität der Klangrekonstruktion zu testen. Dabei kann ebenso ein primäres Instrument als Soundquelle verwendet werden wie auch ein Gegenstand, der nur indirekt vibriert. So wurden erfolgreich isolierte Audiodaten von einzelnen Gitarren, die gleichzeitig spielten, aufgenommen, wie auch von einzelnen Lautsprechern, die simultan unterschiedliche Musik abspielten. Aber der Klang eines Lautsprechers konnte auch indirekt mittels Vibrationen einer Stimmgabel oder einer Chipstüte, die sich in der Nähe des Lautsprechers befanden, analysiert werden.
Das neue System ist eine deutliche Verbesserung gegenüber früheren Versuchen, Ton mit Hilfe von Computer Vision zu erfassen. So werden jetzt zwei gewöhnliche Kameras (eine mit rolling Shutter, eine mit Global Shutter) verwendet, die nur einen Bruchteil der früher verwendeten Hochgeschwindigkeitsversionen kosten, aber jetzt gleichzeitig eine höhere Aufnahmequalität liefern.
Wie arbeitet das optische Mikrofon?
Das System funktioniert, indem es die Unterschiede in den Fleckenmustern von Bildern analysiert, die mit einem Rolling Shutter und einem Global Shutter aufgenommen wurden. Ein Algorithmus berechnet die Unterschiede in diesen Mustern der beiden Videoströme und wandelt diese Unterschiede in Schwingungen um, um den Ton zu rekonstruieren.
Ein Fleckenmuster bezeichnet die Art und Weise, wie sich kohärentes Licht im Raum verhält, nachdem es von einer rauen Oberfläche reflektiert wurde. Das Team erzeugt das Fleckenmuster, indem es einen Laser auf die Oberfläche des Objekts richtet, das die Schwingungen erzeugt, z. B. auf einen Gitarrenkörper. Dieses Fleckenmuster ändert sich mit der Vibration der Oberfläche. Ein Rolling Shutter nimmt ein Bild auf, indem er es schnell abtastet, in der Regel von oben nach unten, wobei das Bild durch Aufeinanderstapeln einer Pixelreihe entsteht. Ein Global Shutter nimmt ein Bild in einem einzigen Augenblick auf.
Was damit gemacht werden kann
Das neue optische Vibrationserkennungssystem könnte es in Zukunft zum Beispiel Toningenieuren ermöglichen, die Musik einzelner Instrumente zu überwachen, um die Gesamtmischung fein abzustimmen. Oder Hersteller könnten das System nutzen, um die Vibrationen einzelner Maschinen in einer Fabrikhalle zu überwachen und so frühzeitig Anzeichen für eine notwendige Wartung zu erkennen. Aber natürlich könnte das neue System auch dazu benutzt werden, um zum Beispiel unerkannt Konversationen aus einer Entfernung aufzuzeichen, wie es jetzt allerdings auch schon mit speziellen lasergestützen Systemen möglich ist.
Die Forschungsarbeit mit dem Titel "Dual-Shutter Optical Vibration Sensing" kann hier heruntergeladen werden.
