Auditory Display…
…ihre Funktion und Sinn in Computeranwendungen
Abstract
Dieses Kapitel setzt sich mit einigen bekannten Auditory Displays in Computeranwendungen auseinander. Einer Vorstellung von ausgewählten Beispielen folgt eine Zusammenfassung ihrer strukturellen Prinzipien sowie einige Gedanken über ihren Sinn, Nutzen / Hilfe und ihre störenden Aspekte.
Generelle Anmerkungen
Mensch – Maschine – Kommunikation
- graphisches System
dient zur Vermittlung von Daten
liefert eine gezielte und punktuelle Information - auditives System
dient zur Wahrnehmung von Dingen, auf die der Mensch sonst seine Aufmerksamkeit nicht unbedingt richtet
Voraussetzungen für einen Einsatz von Auditory Displays
- Analyse der Objekte, Vorgänge, Zustände und Interaktionen, die akustisch repräsentiert werden sollen
- Bestimmung und Klassifikation der Elemente, deren Eigenschaften mittels eines auditiven Signals repräsentiert werden sollen
Problematiken beim Einsatz von Auditory Displays
- Doppelung von Visuellen Eindrücken oder von Interaktionen
(Beispiel: Sonic Finder des Apple Macintosh OS 6, bei dem jedes Objekt und jede Aktion durch einen entsprechenden Sound repräsentiert wurde) - Ausschalten der Audio-Ausgabe
- akustische Belastung der näheren Umgebung
Betriebsbereitschaft
Technisches Geräusch
- Rotation der Festplatte
(Rotation des Lüfters)
Musikalisches Geräusch (musikalischer Klang)
Hardware:
F-dur Akkord, nicht auszuschalten
Software:
Klangteppich, kann ausgeschaltet werden
- Klänge sollen uns Gerätebereitschaft vermitteln
sollen angenehm und einladend wirken
das Einschalten des Computers soll jeden Tag erfreuen
(unterschwellig einigende Wirkung von Computerbenutzern durch die Vorgabe eines unveränderbaren Klanges) - keine Störung
Vertrautheit schaffend - ein nicht ertönender Klang kann irritierend wirken
Warntöne
Beschreibung
- im Computerbereich die am Häufigsten auftretenden akustischen Signale
- Anzeige von Fehlerquellen oder Hinweise (Aufforderungen) durch und für
die Hardware
halbautomatischer Auswurf eines Datenträgers
unsichtbare Hintergrundprozesse
die Software
Maileingang
lange Berechnungen (auch SMS-Versand möglich)
den Benutzer
fehlerhafte Eingaben (falsch gedrückte Tasten, falsche Eingaben)
- oft liegt eine Doppelung durch eine visuelle Anzeige vor, die den Fehler oder den Hinweis näher sepzifiziert
- Warntöne sind zum Teil festgelegt, können jedoch auch frei gewählt und/oder erstellt werden
»Sonic Finder«
Allgemeine Beschreibung
- Sonifizierung von Betriebssystemsereignissen
- Sonifizierung von aktiven Handlungen des Benutzers
»Sonic Finder«
von Apple nie realisiert, da es damals keine befriedigende Datenreduktion für Klänge gab - akustische Doppelung eines grafischen Interface
Einige Beispiele von Macintosh Betriebssystem-Geräuschen:
Ordner öffnen und schließen
Ordner verschieben
Menu aufklappen Menupunkte ansteuern und Menu zuklappen
Ordner in den Papierkorb schieben und Papierkorb löschen
Funktion
- Desktop als virtueller Schreibtisch
- akustische Nachbildungen von virtuellen Handlungen
- akustische Anbindung des Benutzers an die Realität
Brücke zwischen realer und virtueller Handlung
Virtualität ist zunächst stumm, durch akustische Signale wird sie mit Leben erfüllt
virtuelle Ereignisse werden akustisch rückgekoppelt
Strukturierung
- Ordner öffnen: leichtes Crescendo
Ordner schliessen: leicht absteigender Klang - Ordner verschieben: kurze Impulse
- Menu aufklappen: leichtes Crescendo
Menupunkte auswählen: kurze Impulse
Menu schliessen: etwas rastet ein (wie einen Drockknopf schliessen - Klänge für Ordner-Öffnen und Menue-Aufklappen sind sehr ähnlich
- Klänge für Ordner-Verschieben und Menupunkte-Auswählen unterscheiden sich durch eine andere Klangfarbe
- Ordner in der Papierkorb verschieben: identisch mit Ordner verschieben
Ordner im Papierkorb ablegen: stärkerer Impuls als den Ordner auf dem Desktop ablegen - Papierkorb entleeren:
unterteilt in Papierkorb öffnen (ähnlich dem Ordner öffnen und dem Menu öffnen) und dem eigentlichen Entleeren: geräuschhaftes Ausschütten
Klingende Programmfunktionen
Allgemeine Beschreibung
- Sonifizierung von aktiven Handlungen des Benutzers
- akustische Doppelung von vorgenommenen Handlungen
Einige Beispiele von MS-Office Programmfunktions-Geräuschen
Datei öffnen
in Excel etwas löschen
Undo Funktion
Befehl wiederholen
Funktion
- Rückkopplung zwischen Klang und Ereignis wirft Probleme auf
- ebenso die Bedeutung der einzelnen Klänge
- Büroanwendung als Computerspiel
akustisches Umfeld der Bürosituation - Känge als Kontrollfunktion
akustische Vermittlung von »Arbeit«
Strukturierung
- angesichts des hohen Abstraktionsgrades stellt sich die Frage nach der Bedeutung der Klänge innerhalb von Büroanwendungen
- Datei öffnen: hohes »Pling«
- Löschfunktion: leicht absteigendes Glissando
- Undo: etwas hervorholen und hinlegen
- Befehlswiederholung: dumpfes »Pling« mit Verzögerung
»Webmelody«
Webmelody: Sonfication of Web-Servers
- http://isis.dia.unisa.it/projects/SONIFICATION/
- Zustände eines Web-Servers werden mittels einer gezielten Sonifikation übermittelt
zwei Klangbeispiele: »Computermusik« und »Jazz-like«
Beispiel »Computermusik« (Audio-Datei)
Mapping der Events:
- Grand Piano (kritische Fehler)
- Woodblock (Zugriff durch Netscape)
- MusicBox (Zugriff durch Internet Explorer)
- Trompete (Zugriff auf einen Ordner)
- abstrakter Stil
- er soll eine Ermüdung beim Hörer vermeiden
- er soll kein Gefühl für Rhythmus und bekannte musikalische Pattern hervorrufen
- dem Beispiel soll lange und ohne Belästigung zugehört werden können
Beispiel »Jazz-like« (MIDI-Datei)
Mapping der Events:
- konkrete Angabe nur über Fehler (Pauke)
- im Stil einer Jam-Session
- konzipiert für Systemadministratoren
- übermittelte Botschaften wird einer klanglichen Codierung zugeordnet
- Problematik des akustischen Umfeldes
Frage nach der Erkennbarkeit von strukturellen Prinzipien
Strukturierung der hier vorstellten Klangbeispiele
Generelle Anmerkungen
- es überwiegt der geräuschhafte Charakter
- auf eine Gestaltung mit Tonhöhenelementen wird fast durchweg verzichtet
- wenn ein »Rhythmus« in den Klangbeispielen erkennbar wird, ergibt dieser sich aus der Zusammensetzung einzelner Elemente
- zum Teil wird mit Lautstärkeunterschieden gearbeitet
Spezielle Anmerkungen
- Macintosh-Sonifizierung
Geräusche sind aus diversen Einzelteilen zusammengesetzt
jedes Einzelteil versucht quasi onomatopoetisch (lautmalerisch) die Vorgänge nachzubilden
gleiche Funktionen (z.B. »öffnen«) weisen eine fast identische Klangstruktur auf
im Sinne eines realen Desktops finden auf diese Weise eine mehr oder weniger abstrakte Rückkopplung zwischen Klang (Geräusch ) und Ereignis statt
- Office-Sonifizierung
hoher Abstraktionsgrad der Klänge
Klänge wären auch durchaus austauschbar
(keine durchdachte onomatopoetische Strukturierung)
nicht geräuschhafte Elemente überwiegen (Orientierung an Tonhöhen und gleitenden Tonhöhenverläufen)
Frage nach ihrem Sinn, Nutzen/Hilfe oder ihrer Störung
- die Nutzung oder Ablehnung einer auditiven Unterstützung ist prinzipiell eine subjektive Entscheidung
- bei der Arbeit mit einem Computer würde keinem Benutzer einfallen das visuelle Display auszuschalten
hingegen bleibt das auditive Display fast immer ausgeschaltet
der Grund liegt in den schon mehrfach angesprochenen Vor- und Nachteilen, mit denen die Omnipräsenz von akustischen Ereignissen behaftet ist
Vorteil:
Vorrang gegenüber dem Visuellen, das ständigen Blickkontakt erfordert
keine ständige Präsenz des Visuellen
Nachteil:
Ohren können nicht geschlossen werden
ständige Präsenz
Generelle Problematiken beim Einsatz von Auditory Displays
- ist es sinnvoll, dass die Aktivitäten am Computer klanglich umgesetzt werden müssen?
- genügt nicht eine gezielte Sonifizierung von unsichtbaren (Hintergrund)-Vorgängen?
dann, wenn diese Vorgängen – wie in der Medizintechnik angewandt – »aus dem Ruder laufen«? - auditive Ereignisse, zumal wenn sie plötzlich auftreten, leiten die Aufmerksamkeit um
sie lenken von der gerade stattfindenden Tätigkeit ab (siehe auch die akutischen Signale des Telefons, Autohpue etc. oder der akustischen Mitteilung, dass ein E-Mail eingetroffen ist (heute auch fragwürdig angesichts der Überflutung durch Spam-Mails))
sinnvoll sind diese akustischen Signale bei Warnungen - hierbei ist auch immer das akustische Umfeld zu berücksichtigen
- gleichzeitig ist kein Computerspiel ohne Sound denkbar
(die Nachahmung der realen Flippergeräusche bei Pinball oder die Geräusche in diversen Ego-Shootern) - Sonifikation als Navigation
auf Internetseiten fast überhaupt nicht zu finden
wird vorzugsweise in Computerspielen angewandt - Sonifikation als Hilfe für Kinder, Alte, Blinde
Rechtfertigung von (neuen) Technologien durch einen Nutzen für Randgruppen
Vom Auditory Display zur Klanginstallation
- eine Sonifizierung von Zuständen, Handlungen oder Daten stellt in einem gewissen Sinne auch immer eine Musikalisierung dar
- prinzipiell kann jeder Zustand musikalisiert werden
hierbei wird – siehe »Webmelody« – eine höhere Ebene eingenommen - dadurch, dass alle Datenvorkommen (Text, Bild, Musik) in digitaler Form vorliegen, ist ein Umcodieren dieser Daten in eine andere Erscheinungsform jederzeit möglich
Bilder und Texte können erklingen
Musik (Klänge) können zu Bildern werden
bei einer sinnvollen künstlerischen Umcodierung ist die Frage der Zuordung dieser Daten zueinander zu lösen - künstlerische Ansätze dieser Art sind nicht neu und es wird immer wieder versucht solche Ansätze aufzugreifen
Cage: »Music of Changes« (1952)
Sonifizierung des Münzorakels des I Ging (Buch der Wandlungen)
»Webmelody« und moderne (Computer)-Musik
»Webmelody« und bestimmte musikalische Genre (»Jazz-like«)
eigene Klanginstallation mit Kid Pix
Kid Pix als Beispiel für eine gelungene Umsetzung von sonifizierten Programmfunktionen