Inhoud

Spraakverwerking:

Basisbegrippen van spraakverwerkingalgoritmes worden aangebracht en geanalyseerd.  Het betreft fundamentele begrippen, zoals acquisitie, sampling, quantisatie en reconstructie die zowel in beeld- als audio omgeving worden toegelicht en met elkaar vergeleken. Specifiek voor spraakverwerking wordt dieper ingegaan op frequentie analyse, equalization, spectrogram representatie, het LPC spraakmodel en modellen voor audio effecten. Ook spraakherkenning via deep learning komt aan bod.

Compressie:

Compressie is een bewerking waarbij men afbeeldingen en/of audio in grootte beperkt om opslagcapaciteit te besparen en datatransmissie te versnellen. De manier waarop een originele afbeelding (bitmap bmp) of audiosequentie gecomprimeerd wordt, bepaalt de bestandsindeling. Veelvoorkomende bestandsindelingen voor afbeeldingen zijn JPEG, JPEG2000 en GIF en voor audioinformatie zijn de populaire indelingen MP3 en WMA. Men onderscheidt twee soorten compressietechnieken: met kwaliteitsverlies (lossy) en verliesvrij (lossless). 

Bij beeld- en spraakcompressie zijn de meest voorkomende technieken: 
-Lempel-Zif-Welch: LZW is een verliesvrije compressietechniek ondersteund door TIFF, PDF en GIF. Deze techniek wordt het meest gebruikt voor afbeeldingen met grote éénkleurige oppervlaktes. 
-Entropie encodering: Het principe is gebaseerd op variable length codering waarbij veelvoorkomende symbolen met weinig bits worden voorgesteld en weinig voorkomende symbolen met veel bits. De Huffman codering is hiervan een voorbeeld. 
-Joint Photographic Experts Group: JPEG is een veelgebruikte compressietechniek waarbij men onderscheid kan maken in verliesloze zowel als verlieshebbende kwaliteit van beelden. Deze techniek wordt ondersteund door JPEG en PDF. 
-Run Length Encoding: RLE is een verliesvrije compressietechniek ondersteund door Photoshop en TIFF bestandsformaten. 
-JPEG 2000: Dit is een nieuwe standaard voor compressie van digitale beelden. JPEG 2000 levert superieure codeerprestaties bij lage bitdebieten, de compressie van continue-tint en binaire beelden, een grote dynamische range van de pixels, grote beelden en een groot aantal beeldcomponenten,verliesloze en verlieshebbende compressie, bitdebietoptimalisatie, progressieve transmissie in termen van kwaliteit en resolutie, interesseregio-codering, willekeurige toegang en bewerkingen in het gecomprimeerde domein, object gebaseerde functionaliteit, robuustheid tegen bitfouten (foutresistentie), mogelijkheid tot sequentiële codering, een fileformaat (JPX) en de mogelijkheid tot beeldbeveiliging.
-MP3: perceptuele coding voor audio-signalen

Studiemateriaal

cursustekst/slides van de docent, beschikbaar op Toledo

Toelichting werkvorm

Discussie

Na een reeks klassiek gedoceerde lessen over compressie en de basis van spraakverwerking, hebben de lesmomenten over geavanceerde spraakverwerking een andere invulling. Bij deze lessen moeten de studenten op voorhand een academische publicatie doornemen, waarover we in het lesmoment een klasdiscussie voeren.  

Inhoud

Verschillende algoritmes van spraakverwerking worden met Matlab in de labozittingen geïmplementeerd en gesimuleerd. Daarna werken de studenten individueel een eigen algoritme uit dat ze implementeren en demonstreren.

Studiemateriaal

cursusmateriaal op Toledo

Toelichting werkvorm

Presentatie

Na de geleide oefenzittingen, waar de studenten dezelfde reks algoritmes implementeren, kiest elk van hen een individueel projectonderwerp in het kader van de lesinhoud. Dit onderwerp wordt creatief ingevuld, voor het gekozen algoritme binnen spraakverwerking en compressie werkt de student zelfstandig een implementatie en experimenten uit. Dit presenteert en demonstreert hij/zij in de laatste les.