Übungsaufgaben zur Verarbeitung von Audiodaten

Aufgabe 1: Audiodateien abspielen

• In dieser Übung werden wir den bisher entwickelten Audioplayer weiter verbessern. Dieser soll nun echte Audiodateien abspielen können. Prüfen Sie zunächst in Processing unter Tools > Tools verwalten... > Libraries ob bei Ihnen die Sound-Library und die minim-Library installiert sind. Anderenfalls installieren Sie diese bitte mit Installieren.

  Als nächstes benötigen wir Audiodateien zum Abspielen. Laden Sie sich die ZIP-Datei unter diesem Link herunter, die fünf Audiodateien enthält oder nehmen Sie eigene Audiodateien. Processing unterstützt die Formate WAV, AIF/AIFF und MP3. Wenn es beim Abspielen von MP3-Dateien Probleme gibt, hilft erfahrungsgemäß das Recodieren als WAV-Datei. Entpacken Sie das Archiv in das data-Verzeichnis Ihrer Anwendung, sodass die Audiodateien direkt im data-Verzeichnis liegen.

  Wir verwenden für das Abspielen der Dateien die Funktionalitäten von Processing und nicht die unterlagerten Java-Bibliotheken. Darum werden die Audiodateien durch Aufruf der passenden Processing-Methoden in der draw()-Methode abgespielt. Da Processing automatisch auf sein data-Verzeichnis zugreifen kann, benötigen Sie für den Zugriff auf die Dateien keinen Aufruf der dataPath()-Methode. Wenn Audiodateien aufgerufen werden schaut Processing eigenständig nach, ob diese im Sketch-Verzeichnis oder im Unterverzeichnis data dieses Verzeichnisses liegen.

  Laden Sie die Audiodateien zunächst in der setup()-Methode, wie auf den Vorlesungsfolien beschrieben. Speichern Sie diese am besten in einem Feld und spielen Sie diese dann in der draw()-Methode ab. Nutzen Sie dafür am besten in der draw()-Methode eine switch-Anweisung, in der die jeweilige Audiodatei gemäß ihrer Indexposition im Feld ausgewählt wird. Die Indexposition der aktuell abzuspielenden Datei wird vom Ereignisbehandler gesetzt. Dies geschieht in Abhängigkeit vom jeweils gedrückten Radio Button.

• Bauen Sie Ihren Audioplayer soweit aus, dass folgende Rahmenbedingungen eingehalten werden:

  • Zu jeder Audiodatei gibt es eine Information, die im Textfeld angezeigt wird, sobald die Audiodatei über die Radio Buttons gestartet wird.

    
    

    Verwalten Sie die Informationen am besten in einem Zeichenkettenfeld, sodass sie im Ereignisbehandler mit dem gleichen Indexwert abgerufen werden können, wie die Audiodatei.

  • Sofern eine Audiodatei abgespielt wird, führt das Drücken eines neuen Radio Buttons dazu, dass die gerade laufende Audiodatei durch Aufruf der Methode pause() pausiert wird, bevor die neue Audiodatei abgespielt wird. Dies ist insofern wichtig, weil anderenfalls mehrere Audiodateien gleichzeitig abgespielt würden.

  • Wird der Audioplayer abgeschaltet, so wird eine laufende Audiodatei ebenfalls pausiert. Ganz allgemein ist die Logik der Audiobibliothek so, dass das Abspielen von Audiodateien nicht gestoppt, sondern immer nur pausiert wird. Soll das Abspielen am Anfang einer Datei fortgesetzt werden, so muss der Zeitpunkt des Abspielens mit cue neu gesetzt werden. Lesen Sie hierzu bitte den Abschnitt SoundFile in der Processing-Dokumentation.

Aufgabe 2: Audioplayer verbessern

Bis jetzt ist der Audioplayer nur in der Lage, Audiodateien abzuspielen. Jetzt sollen seine Möglichkeiten dahingehend erweitert werden, dass zusätzlich noch die Lautstärke geregelt und eine beliebige Position in der laufenden Audiodatei angesprungen werden kann.

Erweitern Sie den Audioplayer deswegen um zwei Schieberegler, wie in den Abb. 2 und 3 unten dargestellt.

Schieberegler sind Objekte der Klasse JSlider. Lesen Sie hierzu bitte den Abschnitt How to Use Sliders im Java-Tutorial.

• Schieberegler erzeugen Change Events, die mit import javax.swing.event.*; importiert werden müssen. Entsprechend müssen Sie als Ereignisbehandler einen Change Listener implementieren. Siehe hierzu der Anschnitt How to Write a Change Listener im Java Tutorial.

• Für die Schieberegler soll das gleiche gelten, wie für die anderen Komponenten der grafischen Bedienoberfäche. Sie werden erst aktiviert, wenn der Audioplayer eingeschaltet wird. Im ausgeschalteten Zustand sind sie deaktiviert.

  
  
  

• Die Schieberegler sollen mit Hilfe von JLabel-Komponenten eine Beschriftung ("Volume", "Position") gemäß ihrer Funktion besitzen. Um die Schieberegler und die zugehörenden Beschriftungen in der GUI unterzubringen, müssen Sie diese um eine passende Anzahl von JPanel-Komponenten erweitern. Es reicht, wenn diese mit dem BorderLayout arbeiten.

• Die Schieberegler werden bei ihrer Erstellung im Hinblick auf ihren Startwert und den von ihnen genutzten Wertebereich konfiguriert. Als Wertebereich kann man z. B. Prozentwerte von 0% bis 100% nehmen, wobei bei der Lautstärke der Anfangswert z. B. 50% wäre, bei der Position der Anfangswert hingegen 0%, wie in den Abbildungen oben. Die Schiebereglerwerte müssen dann in passende Werte für die Steuermethoden der SoundFile-Objekte von Processing umgerechnet werden. Schauen Sie hierzu bitte wieder den Abschnitt SoundFile in der Processing-Dokumentation an.

• Ähnlich wie der Ereignisbehandler für die Radio Buttons setzen die Ereignisbehandler der Schieberegler nur die neuen Parameterwerte für die Wiedergabe der Audiodateien. Die eigentliche Verarbeitung der neuen Daten geschieht dann wieder in der draw-Methode von Processing.

Aufgabe 3: Sounds generieren und visualisieren

Neben der Möglichkeit, Audiodateien abzuspielen, bietet Processing auch vielfältige Möglichkeiten, Sounds zu generieren, zu filtern und zu visualisieren.

Probieren Sie dies aus, indem Sie das Beispiel auf der Dokumentationsseite zur Klasse UGen von Minim als Sketch implementieren. Die Steuerung der Anwendung geschieht über die Tastatur und mit Hilfe der Maus. Mit der Tastatur können Sie die Wellenform auswählen (Sinus, Rechteck usw.). Mit der Maus die Frequenz und Lautstärke der erzeugten Welle ändern. Die generierte Welle wird dabei im Grafikfenster von Processing visualisiert und gleichzeitig als Tonsignal hörbar gemacht.

Minim arbeitet mit einem allgemeineren Ansatz hinsichtlich der erzeugten Wellenformen. Im Vergleich zur Sound-Library können hier beliebige Wellenformen konstruiert werden. Die Basiswellen Sinus etc. sind nur Spezialfälle, für die vorgefertigte Wellenformen existieren, was sich an dem Code für die Wahl der Wellenform ablesen lässt:

void keyPressed()
{ 
  switch( key )
  {
    case '1': 
      wave.setWaveform( Waves.SINE );
      break;
     
    case '2':
      wave.setWaveform( Waves.TRIANGLE );
            break;

    // usw.

Aufgabe 4: Frequenzbereich visualisieren

Ändern Sie das Beispiel aus der vorherigen Aufgabe so ab, dass nun nicht mehr die generierte Welle, sondern der Frequenzbereich des Tonsignals mit Hilfe der FFT dargestellt wird:

Wenn ihre Lösung korrekt funktioniert, erhalten sie einen Frequenzbereich, bei dem das Maximum nach rechts oder links wandert, je nachdem, welche Frequenz des Tonsignals mit der Maus gewählt wird.