Luisterleven
Luisteren naar supernova’s: over de zeggingskracht van sonificatie
zondag 24 juni 2018
Wanneer het gaat over de dominantie van het zien in de huidige samenleving, dan denken de meeste mensen in eerste instantie aan de talloze foto’s, filmbeelden, reclamepanelen en digitale schermen die dagelijks hun blikveld vullen. Hoewel zulke mediabeelden inderdaad een directe exponent van de visuele cultuur vormen, wijzen cultuurhistorici en sociologen er vaak op dat de wortels van deze cultuur veel dieper ingebed en verder terug in de tijd liggen. Volgens deze onderzoekers stellen we onze kennis van de wereld namelijk hoofdzakelijk visueel voor, een proces dat reeds enkele eeuwen geleden in gang werd gezet door de opkomst van de empirische wetenschap. Of het nu ging om de botanicus Linnaeus, die teneinde planten en bloemen te classificeren ze uiterst nauwgezet natekende, of om de entomoloog Réaumur die duizenden bijenbewegingen per dag telde en registreerde, de grondleggers van de moderne wetenschappen verbonden het vergaren van kennis steevast aan het scherpen van een opmerkzame blik. Deze nadruk op visuele observatie kreeg bovendien een ongekende impuls met baanbrekende uitvindingen zoals de telescoop en de microscoop, die het bereik en de verfijning van het menselijk gezichtsvermogen met een x-factor deden toenemen. Toch bleef het niet bij observatie alleen, want ook het representeren van de verzamelde gegevens gebeurde almaar meer met behulp van visuele hulpmiddelen. Zo vertalen een kwikthermometer en een barometer niet-visuele input als temperatuur en luchtdruk in visueel afleesbare waarden. Op die manier zijn al vele generaties van jongs af aan gewend aan het gebruik van allerlei instrumenten en informatiedragers die ‘visualiseren’, oftewel, die veelal niet-visuele data omzetten in een voor het oog begrijpelijk beeld. De waslijst is eindeloos: landkaarten, plattegronden, wiskundige grafieken, tabellen, diagrammen, etiketten, prenten, bewegwijzering, menukaarten, dashboards, displays, stappentellers, en ga zo maar door.
Een blinde speurt de sterrenhemel af
Maar wat als je in zo’n door-en–door gevisualiseerde maatschappij niet kunt zien? Die vraag moet de Porto Ricaanse studente Wanda Díaz Merced vaak door het hoofd hebben gespookt, toen omstreeks haar twintigste haar gezichtsvermogen, als gevolg van diabetische retinopathie (DRP), allengs verder achteruitging. Blind worden betekent voor nagenoeg iedereen een lastige transitie, maar voor iemand zoals zij die reeds als kind fantaseerde over ruimtereizen en daarom de studierichting astrofysica had gekozen, leek dit het voortijdige einde van een gedroomde carrière. Geen vakgebied is immers zo visueel georiënteerd als de sterrenkunde. Alle astronomische kennis die de mens in de loop der tijd over het heelal heeft opgebouwd, berust immers op waarnemingen van het licht – zij het dan wel van het volledige elektromagnetische spectrum, waarvan het zichtbare licht amper een minimale fractie uitmaakt. Geluidsgolven verplaatsen zich enkel binnen een atmosfeer, dus in de buitenaardse ruimte zullen we geen geluiden opvangen. Een astronaut die over de maan wandelt, hoort uitsluitend zijn eigen lichaamsgeluiden, verder helemaal niets. Het is dan ook meer dan begrijpelijk dat, zoals Wanda zich in haar TED talk van 2016 herinnert, ze zich wanhopig afvroeg hoe ze als blinde ooit nog ‘de enorme verwondering, de opwinding, de vreugde’ zou kunnen ervaren die het detecteren van titanische ontwikkelingen in de ruimte voorheen in haar teweeg had gebracht.
De jonge astronome verkeerde vooral in de ban van supernova’s: oude, exploderende sterren waarvan de kern ineenstort. Hierbij komen altijd grote hoeveelheden energie vrij, maar in sommige gevallen is de uitbraak van met name gammastraling dermate extreem dat de exploderende ster een uitzonderlijke helderheid verkrijgt, die het ganse sterrenstelsel eromheen in de schaduw stelt. Bij dergelijke ‘gammaflitsen’ wordt binnen een paar minuten méér energie uitgestraald dan onze zon zal voortbrengen in de tien miljard jaar van haar volledige bestaan; daarmee zijn gammaflitsen ook de meest energetische gebeurtenissen die in ons heelal zijn waargenomen.
Teneinde gammaflitsen te bestuderen stellen sterrenkundigen doorgaans curves van lichtintensiteit op, omdat deze hen toelaten de tijdgebonden veranderingen in het licht en derhalve ook de piek van de gammaflits in een diagram weer te geven. Voor de blinde Wanda waren dergelijke diagrammen natuurlijk totaal ontoegankelijk, maar wat haar aanvankelijk een onoverkomelijk probleem toescheen hield op er eén te zijn, toen ze eensklaps inzag dat die diagrammen slechts visualisaties zijn van abstracte data. Niemand, ook een astronoom met perfecte ogen niet, is in staat gammastraling direct waar te nemen; gammastraling wordt namelijk door onze dampkring tegengehouden, zodat ze enkel door middel van ruimtetelescopen kan worden gemeten. Met andere woorden, als er een gammaflits wordt geconstateerd, dan gebeurt dit feitelijk door een aantal formules op de vaststellingen van ruimtetelescopen toe te passen. Voor ziende astronomen is een diagram van een lichtcurve een handig hulpmiddel om de resultaten van deze complexe berekeningen te visualiseren en te verwerken.
Maar, zo vroeg Wanda zich af, zou je de achterliggende getallenreeks niet evengoed in geluid kunnen omzetten? Ze had de oplossing gevonden: sonificatie! Samen met een aantal medewerkers bedacht Wanda vervolgens een techniek om lichtcurves hoorbaar te maken, waarbij de lichtintensiteit aan toonhoogte wordt gekoppeld. Daardoor had ze geen diagrammen meer nodig om gammaflitsen te onderzoeken, want die klonken nu als stijgende toonladders. Dankzij deze ingenieuze vondst is Wanda er niet alleen in geslaagd haar studie met succes af te ronden en zelfs een doctorstitel te behalen. Ze begreep bovendien dat sonificatie hét klavier was waarmee de sterrenhemel ook voor andere blinde mensen tot klinken kon worden gebracht – een nobele taak die ze inmiddels zelf heeft opgepakt. In Kaapstad, waar ze verbonden is aan de South African Astronomical Observatory, leidt ze nu jongeren met een visuele beperking op in het astronomisch luisteren. Maar dat is nog niet alles, aangezien het sonificeren van de data ook voor de sterrenkunde in het algemeen een zeer waardevolle toevoeging is gebleken. Door bijvoorbeeld specifiek te letten op de lage frequenties in de gesonificeerde data-set van gammaflitsen ontdekte Wanda belangwekkende patronen – en voer voor nieuwe hypotheses - die in de gangbare diagrammen onzichtbaar waren gebleven. Kortom, ziende wetenschappers zouden er heel wat van kunnen opsteken, indien ze voor de verandering ook eens hun oor op de data zouden leggen.
Alledaagse sonificatie: van klokken tot prullenbak-iconen
Het verhaal van Wanda Díaz-Merced is een prachtig en bemoedigend voorbeeld van de wijze waarop een ongewone manier van waarnemen en de daarvan afgeleide methoden onverwachte inzichten kunnen opleveren. Sonificatie is zo’n methode die slechts zelden ten volle wordt benut, om de eenvoudige reden dat visualisatie ons als de natuurlijke en enige benadering van kennis voorkomt. Hierdoor zijn we ons veelal niet eens bewust van het bestaan van sonificatie, laat staan van de potentiële zeggingskracht ervan. Met sonificatie wordt – nog even voor alle duidelijkheid – het omzetten van informatie in niet aan spraak gerelateerd geluid bedoeld, zoals tunes of jingles, maar het kan ontelbare andere vormen aannemen.
Voor courante toepassingen van sonificatie hoeven we het hoe dan ook niet zo ver als de sterrenkunde te zoeken. Met de laatste, globale definitie als toetssteen zul je gauw voorbeelden genoeg in je dagelijkse omgeving vinden. Het begon lang geleden al met staande klokken die met een gericht aantal slagen het uur, het kwartier en het halve uur aangaven; later volgde de zak- en polshorloge, die de seconden wegtikten. Hoewel met de digitalisering zulke hoorbare tijdsaanduidingen – op de kerkklokken na – grotendeels zijn verdwenen, sonificeren onder meer timers en kookwekkers nog steeds het verstrijken van de ingestelde tijd. Deze functie tref je overigens ook in veel huishoudtoestellen zoals ovens, magnetrons of wasmachines aan. Het eindsignaal waarschuwt ons wel als het programma voltooid is, zodat we ondertussen iets anders kunnen gaan doen. Zulke waarschuwende geluidjes zijn met name handig, als die andere taak veel aandacht opeist. Zo maken de meeste gps-systemen voor fietsers gebruik van dit principe: bijvoorbeeld eén biepje als je de juiste afslag neemt, drie snelle biepjes na elkaar als je hem gemist hebt en dient om te keren.
Sonificatie fungeert kortom vaak als een simpele waarschuwing. Dit geldt voor het aanhoudende getuut van een achteruitrijdende vrachtwagen, evenals voor de talloze bliepjes en ring tones van mobiele telefoons die de gebruikers op binnenkomende berichten of gesprekken attenderen. Iedere app heeft weliswaar zijn eigen herkenbare tingeltje, zodat je meteen weet of je via facetime dan wel via skype gebeld wordt, maar daar houdt het ongeveer wel op. Dat is jammer, want zoals de Britse blinde ingenieur Tony Stockman uitlegt, zou geluid ons veel meer informatie kunnen verschaffen dan het in de regel doet. Stockman illustreert dit aan de hand van de geluidssignalisatie bij verkeerslichten, die zich beperkt tot een verandering in tempo: traag betekent onveilig voor de voetganger, snel dat hij of zij mag oversteken. Behalve tempo had men, aldus Stockman, echter ook andere indicatoren zoals toonhoogte kunnen aanwenden. In overeenstemming met de display die ziende voetgangers toont hoeveel seconden er nog resteren eer het licht weer zal verspringen, zou een stijgende toon blinden en slechtzienden kunnen vertellen of ze zich al dan niet moeten reppen. Maar vooralsnog is dit nog nergens ingevoerd.
Designers van algemene sonificatietoepassingen deinzen er vaak voor terug geluid te gelaagd en te abstract te maken. Daar hebben ze een goede reden voor, aangezien de meeste mensen geen geoefende luisteraars zijn en daarom de voorkeur lijken te geven aan herkenbare, makkelijk te duiden signalen. Het gevolg hiervan is dat voor alledaagse sonificatie voornamelijk zogenaamde ‘auditory icons’ en ‘earcons’ worden ontwikkeld. Bij de eerste categorie, auditieve iconen, gaat het om geluiden die een directe gelijkenis met het werkelijke object vertonen, zoals wanneer je in Windows op ‘Prullenbak leegmaken’ klikt en die actie ook te horen krijgt. Natuurlijk wordt zo’n auditief icoontje synthetisch geproduceerd en is het dus geen opname van een echte prullenbak, maar de overeenkomst is onmiskenbaar. De tweede categorie van ‘earcons’ – een onvertaalbaar woordgrapje gebaseerd op het Engelse ‘icon = eyecon’ – bestaat eveneens uit combinaties van synthetische tonen, maar zij brengen veeleer bepaalde audioboodschappen over, zoals de boodschap dat een programma geopend of gesloten wordt. Het vroegere opstart- en afsluitriedeltje van Windows bestond uit zulke earcons, en tegenwoordig weerklinkt er ook een kenmerkend geluidje als je je smartphone opent dan wel vergrendelt. Hoewel dergelijke earcons beduidend minder concreet zijn dan auditieve iconen, hebben ze nog steeds een indexicale relatie met het object dat ze representeren. Oftewel, zoals rook een index is van vuur, zo bevatten de voornoemde earcons iets opwekkends dan wel iets afsluitends, zodat de gebruiker ze meteen begrijpt in de context van het openen of beëindigen van een sessie.
Alles wel beschouwd ondervinden we in een alledaagse setting veel praktisch voordeel van sonificatie. De informatiedichtheid van de audio blijft echter vrij laag. Dit blijkt ook uit het feit dat de meeste auditieve iconen en earcons strikt repetitief zijn en zich niet aanpassen aan de omstandigheden. Of je nu een klein of een groot aantal bestanden van je harde schijf wist, het leegmaken van de prullenbak klinkt precies eender. Toch is meer geraffineerde sonificatie wel degelijk mogelijk.
Audificatie: oergeruis van schedels en aardbevingen
Het wordt een stuk uitdagender, als we ons met ‘audificatie’ gaan bezighouden. Audificatie is namelijk een specifieke vorm van sonificatie, waarbij allerlei soorten golven onmiddellijk vertaald worden in geluid. In het geval van Wanda Díaz-Merced en de astronomie waren we in feite al op audificatie gestuit, want zij bestudeerde in geluid vervatte, elektromagnetische golven. Het kan evenwel met nog meer fysische, akoestische of statistische golfdata (denk bij de laatste bijvoorbeeld aan de schommelingen van aandelenkoersen). Het golfkarakter van de desbetreffende gegevens wijst reeds op hun evolutie door de tijd. Daarom is nu juist geluid, dat per definitie temporeel van aard is, zo’n geschikt medium om die anderszins ongrijpbare golfbewegingen waar te nemen, te volgen en te analyseren. Wel heeft men voor audificatie dikwijls bijzondere apparatuur, kennis en luistervaardigheden nodig, zodat het procedé hoofdzakelijk in wetenschappelijke en experimenteel-artistieke domeinen ingang heeft gevonden.
Toch kunnen we nu ook dicht bij huis beginnen, namelijk in het kabinet van de huisarts, die met haar stethoscoop onze longen en andere ingewanden beluistert. Beter gezegd, de geluidsgolven uit ons binnenste – zoals die van de ademhaling en de hartslag – brengen het membraan in de kop van de stethoscoop aan het trillen, zodat die door het membraan versterkte geluiden vervolgens via een slang naar de oren van de arts worden geleid. Hoe simpel en oud ook – het eerste prototype dateert al van 1819 –, de stethoscoop behoort vandaag nog tot de medische standaarduitrusting; onlangs ontwierp de Londense dokter Tarek Loubani zelfs een volledig functioneel model dat voor amper een paar dollar 3D-geprint kan worden, zodat dit essentiële diagnose-instrument ook in de armste gebieden altijd verkrijgbaar is.
Minder bekend is dat, behalve onze romp, ons hoofd evengoed een bron van geluid kan zijn – en dan heb ik het niet over onze spraakorganen. In 1919 speculeerde de dichter Rainer Maria Rilke, in een essay getiteld ‘Ur-Geräusch’, reeds over het oergeruis dat zo mogelijk zou opklinken, indien we een naald door de kroonnaad van onze schedel zouden laten cirkelen, zoals door de groeven van een grammofoonplaat. Rilkes originele gedachte-experiment is bij mijn weten nooit uitgevoerd, maar kort nadien bleek audificatie wel dé manier om onze hersenpan te lichten, in metaforische zin althans. We zijn vertrouwd met het beeld van de elektro-encefalografie (eeg), waarbij elektroden op de hoofdhuid worden aangebracht die de hersenactiviteit meten. Echter, terwijl het elektro-encefalogram zich tegenwoordig op een beeldscherm ontrolt, werd er aanvankelijk ook naar geluisterd. In 1924 beschikte de ontdekker van de eeg, de Duitse neuroloog Hans Berger, nu eenmaal nog niet over gesofisticeerde beeldvormingsapparatuur; verder dan een oscillograaf, een toestel dat het ritme van de elektrische impulsen op papier afdrukte, ging het destijds niet. De audificatie van de eeg viel daarentegen relatief makkelijk te realiseren, door de elektroden en de oscillograaf met een versterker te verbinden waardoor het ritme meteen hoorbaar werd. Het gevolg hiervan was niet alleen dat Berger, al luisterend, het eerste eeg van een mens afnam, hij kwam er bovendien gaandeweg achter dat de elektrische golven in ons brein verschillende frequenties hebben. Zo beschreef Berger de trage alfa-golven (8-12 Hz), die veel voorkomen in een ontspannen toestand, en de snellere bèta-golven (16-38 Hz), die helpen bij probleem oplossend denken maar ook nerveus en angstig kunnen stemmen. Anno 2018 wordt weer volop geëxperimenteerd met het hoorbare eeg, omdat de analyse ervan minder expertise vergt dan de gevisualiseerde variant. Daarom is het hoorbare eeg beter bruikbaar voor paramedici of voor het ontwikkelen van software die de eeg ten dele zou kunnen automatiseren.
Zoals audificatie onze stille gedachtestroom kan doen weerklinken, is deze techniek eveneens bij machte in de diepste geologische lagen door te dringen en de trillingen van de aarde te verklanken. Deze seismische trillingen voltrekken zich met zeer lage frequenties, meer bepaald tussen de 1 en 20 Hz, die normaal gesproken buiten het menselijk gehoor liggen. Maar wanneer de trillingen die door seismografen zijn geregistreerd worden versneld, vallen ze wel auditief te onderzoeken. Volgens geofysicus en audificatie-expert Florian Dombois biedt het oor, ten opzichte van het oog, zekere voordelen om de enorme hoeveelheden data te interpreteren die honderden meetstations over de gehele wereld 24/7 verzamelen. Het oor is namelijk uitstekend in het herkennen van temporele ontwikkelingen, van continuïteit en discontinuïteit in een data-set, evenals in het opsporen van de plaatsen waar de data afwijken van de verwachtingen – alle vaardigheden die zich uitermate goed lenen om seismische constanten te onderkennen en eventuele aardbevingen te voorspellen.
Voor wie het, zoals ondergetekende leek, lastig vindt om zich iets bij seismologische sonifcatie voor te stellen, bestaan er gelukkig wetenschappelijk onderlegde kunstenaars die dit aardgerommel tot avant-gardistische composities weten om te toveren. Luister bijvoorbeeld maar eens naar Ryan McGee’s ‘Sounds of Seismic’ (SOS), een softwaresysteem dat elektroakoestische muziek genereert op basis van continu, seismisch geluid, zoals de aardbeving in het Nieuw-Zeelandse Christchurch van 21 februari 2011.
In The Sonifcation Handbook worden nog tal van andere sonificatietoepassingen besproken, maar het zal inmiddels geen betoog meer behoeven dat het gezichtsvermogen niet de enige weg naar kennis is. Dankzij sonificatie kunnen we zowat ieder proces in de natuur en het menselijk lichaam ontsluiten voor het gehoor, gaande van onmetelijke kettingreacties in de kosmos tot de miniemste hersenspinsels. Geluid is overal, als je er maar oor voor hebt!