Offers a vision of the sound organization problem and describes the multisource decoder idea

Ellis, Daniel P. W.

English

Columbia University Academic Commons

 Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 1 / 23 Sound, Mixtures, and Learning:A Perspective on CASA Constraints and Scene AnalysisModel-Based OrganizationEvaluation123 Dan Ellis  <dpwe@ee.columbia.edu>Laboratory for Recognition and Organization of Speech and Audio(Lab ROSA )Columbia University, New Yorkhttp://labrosa.ee.columbia.edu/ Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 2 / 23 Acoustic/Auditory Scene Analysis • Scene analysis is sound understanding - understanding = abstraction • Applications - robust interfaces- robots- indexing/retrieval- prostheses10 2 4 6 8 10 12 time/sfrq/Hz02000100030004000Voice (evil)StabRumble StringsChoirVoice (pleasant)Analysislevel / dB-60-40-200 Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 3 / 23 The Mixture Problem “Imagine two narrow channels dug up from the edge of a lake, with handkerchiefs stretched across each one.  Looking only at the motion of the handkerchiefs, you are to answer questions such as: How many boats are there on the lake and where are they?”    (after Bregman’90) • Objects (sources), not waveforms - .. and only their attributes “of interest” • Seems highly underconstrained• But: Hearing is ecologically grounded - reflects natural scene properties = constraints- subjective, not absolute Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 4 / 23 The Signal Separation Perspective • Search for a representation / parameterization in which sources become separate• Inverse filter & cancel (ICA, beamforming)• TF-mask: find distinct time-freq support• Innate limitations with dense maskerstarget xinterference nn^x^-mix+procmix x+nx^procspectrogrammaskstftistftxFrequency0 dB SNRNoisemixMaskresynth2000400060008000TimeFrequency0 1 2 302000400060008000-12 dB SNRTime0 1 2 3-24 dB SNRTime0 1 2 3 Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 5 / 23 The Pattern Recognition Perspective • Bayes Rule: Event / Model  M , Evidence / observation  x :• Trained signal model  p ( x  |  M ) - fit to training examples of  x  under  M - uncertainty from observation noise / ignorance • Uncertainty in  Pr ( M  |  x ) - from unambiguous separation ...- ... to hopeful guess • Structure of  p ( x  |  M ) ·  Pr ( M ) - the possibilities under consideration- constraints on solutionPr M x( )p x M( ) Pr M( )◊p x( )----------------------------------------= Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 6 / 23 Separation vs. Recognition • Final goal is scene abstraction:Do we need signal separation? - separate-then-recognize is a nice approach – if you can separate- classification is often still possible when separation is hopeless • Classification/Recognition  - can express ambiguous answers- still applicable when data is missing(based on ignorance) • “Perceiving is more than recognizing” - identify class+ extract parameters of instance.. for description of scene Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 7 / 23 Constraints in Scene Analysis  • Learned constraints are central to human speech recognition - click-language example- foreign-language cocktail party- ... not just for speech • Computational systems need similar ‘constraints’ on real-world sounds - hand-specify rules?- or: learn from examples? Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 8 / 23 Outline Constraints and Scene Analysis Model-Based Organization - Missing-Data Recognition- Comparing Segregation Masks- Multi-Source Decoding Evaluation123 Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 9 / 23 Model-based Organization:Sound Fragment Decoding (Cooke et al. ’01; Barker, Cooke & Ellis) • Signal separation is too hard!Instead: - segregate features into partially-observed sources- then classify • Made possible by missing data recognition - integrate over uncertainty in observations • Goal:Relate clean speech models  P ( X | M ) to speech-plus-noise mixture observations - .. and make it tractable2 Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 10 / 23 Missing Data Recognition • Speech models  p ( x | m )  are multidimensional... - i.e. means, variances for every freq. channel- need values for all dimensions to get  p (•) • But: can evaluate over a subset of dimensions  x k • Hence, missing data recognition: - hard part is finding the mask (segregation)xkxuyp(xk,xu)p(xk|xu<y ) p(xk )p xk m( ) p xk xu, m( ) xudÚ=P(x1 | q) P(x | q) = · P(x2 | q) · P(x3 | q) · P(x4 | q) · P(x5 | q) · P(x6 | q) Present data masktime dimension Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 11 / 23Comparing Segregation Masks• Standard classification chooses between models M to match source features X• Mixtures: observed features Y, segregation S, all related by P( X | Y,S ) :• Joint classification of model and segregation:( P(X) no longer constant )M* P M X( )Margmax P X M( ) P M( )P X( )-------------◊Margmax = =freqObservationY(f )Segregation SSourceX(f )P M S Y,( ) P M( ) P X M( ) P X Y S,( )P X( )------------------------◊ XdÚ P S Y( )◊=Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 12 / 23Calculating fragment matches• P(X|M) - the clean-signal feature model• P(X|Y,S)/P(X) - is X ‘visible’ given segregation?• Integration collapses some bands...• P(S|Y) - segregation inferred from observation- just assume uniform, find S for most likely M - or: use extra information in Y to distinguish S’s...• Result: - probabilistically-correct relation between clean-source models P(X|M)and inferred, recognized source + segregation P(M,S|Y)P M S Y,( ) P M( ) P X M( ) P X Y S,( )P X( )------------------------◊ XdÚ P S Y( )◊=Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 13 / 23Using CASA features• P(S|Y) links acoustic information to segregation- is this segregation worth considering?- how likely is it?• Opening for CASA-style local features- periodicity/harmonicity:frequency bands belong together- onset/continuity:time-frequency region must be wholeFrequency Proximity HarmonicityCommon OnsetDan Ellis Sound, Mixtures & Learning 2003-11-02 - 14 / 23Fragment decoding• Limiting S to whole fragments makes hypothesis search tractable:- choice of fragments reflects P(S|Y) · P(X|M)i.e. best combination of segregationand match to speech models• Merging hypotheses limits space demands- .. but erases specific historyFragmentsT1 T2 T3 T4 T5 T6timeHypothesesw1w2w3w4w5w6w7w8Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 15 / 23Speech fragment decoder results• Simple P(S|Y) model forces contiguous regions to stay together- big efficiency gain when searching S space• Clean-models-based recognition rivals trained-in-noise recognition"1754" + noiseSNR maskFragmentsFragmentDecoder "1754"0 5 10 15 20 ∞20406080100Factory NoiseDigit recognition accuracy / %SNR (dB)a priorimultisourcemissing dataMFCC+CMNDan Ellis Sound, Mixtures & Learning 2003-11-02 - 16 / 23Multi-Source Decoding• Match multiple models at once?- disjoint subsets of cells for each source- each model match P(Mx|Sx,Y) is independent- masks are mutually dependent: P(S1,S2|Y)Y(t)S1(t)M1S2(t)M2Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 17 / 23Model-Based Organization:Summary• Results constrained by source model P(X|M)- single, ideal clean-signal model• Local signal cues introduced via P(S|Y)- limited subset of segregations are considered- opening for bottom-up CASA cues• Output is classification M* - could do TF-mask filtering, but not the pointDan Ellis Sound, Mixtures & Learning 2003-11-02 - 18 / 23OutlineConstraints and Scene AnalysisModel-Based OrganizationEvaluation- Tasks- Domains123Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 19 / 23Evaluation: Tasks• Evaluation standardsmake research fundable- sponsors want tangible progress• The DARPA / ASR experience- pro: able to judge relative merits- con: extinction of ‘2nd-best’ techniquesneglected aspects e.g. source separation• Minimize pathologies by:- defining a ‘real’ task - get something useful- allowing ‘ecological niches’3Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 20 / 23Scene Analysis Task Example−70−60−50−40dB200400100020004000f/Hz Noise1200400100020004000f/Hz Noise2,Click1200400100020004000f/Hz City0 1 2 3 4 5 6 7 8 9501002004001000Horn1 (10/10)Crash (10/10)Horn2 (5/10)Truck (7/10)Horn3 (5/10)Squeal (6/10)Horn4 (8/10)Horn5 (10/10)0 1 2 3 4 5 6 7 8 9time/s200400100020004000f/Hz Wefts1−4501002004001000Weft5 Wefts6,7 Weft8 Wefts9−12Dan Ellis Sound, Mixtures & Learning 2003-11-02 - 21 / 23Domains: Personal Audio• LifeLog / MyLifeBits / Remembrance Agent:Easy to record everything you hear• Then what?- prohibitively time consuming to search- but .. applications if access easier• Automatic content analysis / indexing...50 100 150 200 25002414:30 15:00 15:30 16:00 16:30 17:00 17:30 18:00 18:3051015freq / Hzfreq / Barktime / minclock timeDan Ellis Sound, Mixtures & Learning 2003-11-02 - 22 / 23Domains: ICSI Meeting Recorder Corpus• Real meetings, 16 channel recordings,  80 hrs - released through NIST/LDC• Lots of speaker overlap, noise, etc.speakeractivelevel/dBmr 2000 06 30 1600Spkr ASpkr BSpkr CSpkr DSpkr Ebreathnoisecrosstalkinterruptionsspeaker Bcedes floorDan Ellis Sound, Mixtures & Learning 2003-11-02 - 23 / 23Summary• Scene analysis is abstraction of objects• Real-world constraints come from sound models• Speech Fragment Decoding finds best model, best segregation- without too much search• Field needs standardized, ‘real-world’ evaluation task

Sound, Mixtures, and Learning: A Perspective on CASA

Kuntoutus ja erityisesti sosiaalinen kuntoutus on nähty ratkaisuna moniin ajankohtaisiin yhteiskunnallisiin kysymyksiin. Muun muassa työttömyyden patoutuminen tiettyihin ryhmiin, demografinen muutos ja työvoimapula on nähty sellaisina haasteina, joihin kuntoutuksen keinoin on mahdollista vastata. Sosiaalinen kuntoutus onkin määritelty toimenpiteiksi, joilla tuetaan elämänhallintaa ja itsenäistä selviytymistä niiden henkilöiden kohdalla, jotka ovat jääneet työmarkkinoiden ulkopuolelle tai ovat muutoin syrjäytymisvaarassa.

Sosiaalisen kuntoutuksen ohella yhteiskunnallisten palveluiden kehittämisen keskiössä on 2000-luvulla ollut puhe asiakaslähtöisyydestä, josta on myös kuntoutustoiminnan kentällä tullut keskeinen toiminnan lähtökohta. Ajatuksena on ollut, että kun asiakas itse pääsee vaikuttamaan ja osallistumaan kuntoutuksensa suunnitteluun, hänen voimavaransa kasvavat. Asiakaslähtöisyyden taustallakin on siis vaikuttanut puhe aktivoinnista ja siitä, että yksilöt halutaan saada yhä tiukemmin mukaan yhteiskunnalliseen toimintaan.

Ajankohtaisuutensa vuoksi sosiaalinen kuntoutus ja asiakaslähtöisyys ovat valikoituneet myös tämän pro gradu -tutkielman keskeisiksi käsitteiksi. Tutkimuksellisina tavoitteina tässä pro gradu -tutkielmassa onkin tarkastella, millaisten tavoitteiden ja työmuotojen kautta sosiaaliseen kuntoutukseen osallistuneet asiakkaat hahmottavat sosiaalista kuntoutusta? Tutkielmassa pyritään lisäksi selvittämään asiakkaiden kokemuksia asiakaslähtöisyydestä ja sen toteutumisesta sosiaalisen kuntoutuksen yhteydessä. Näihin tutkimuskysymyksiin on tutkielmassa vastattu kvalitatiivisen teemahaastatteluaineiston avulla. Haastatteluja on kerätty sosiaalista kuntoutusta toteuttavaan Koutsi -projektiin osallistuneilta asiakkailta. Haastattelut on analysoitu sisällönanalyyttisen teemoittelun menetelmällä, teoria- ja aineistolähtöistä tarkastelua yhdistellen.

Keskeisimpänä tuloksena analyysissa ovat huomiot siitä, että sosiaalisen kuntoutuksen kenttä on yhden projektin sisälläkin varsin laaja ja vaihtelee yksilöiden elämäntilanteen mukaan.  Keskiöön sosiaalisen kuntoutuksen hahmottamisessa nousevat elämänhallintaan liittyvät teemat, oman tilanteen selvitteleminen ja toisaalta ryhmässä toimimisen tärkeys. Myös asiakaslähtöisyyden toteuttamisessa sosiaalisen kuntoutuksen yhteydessä on tämän tutkielman perusteella onnistuttu, joskin aineisto antaa myös mahdollisuuksia asiakaslähtöisyyden kriittiseen arviointiin. Kaikilla asiakkailla ei näyttäisi olevan voimavaroja vastuun kantamiseen tai oman elämän suunnitteluun, mikä johtaa asiakaslähtöisyyden toteutuessa vastuun katoamiseen.

Asiasanat:sosiaalinen kuntoutus, työttömien kuntoutus, asiakaslähtöisyys, laadullinen tutkimu

HAAPAMÄKI, MIRA

TamPub Julkaisuarkisto - TamPub Institutional Repository

Sosiaalinen kuntoutus ja asiakkaiden vaikutusmahdollisuudet Koutsi -valmennukseen osallistuneiden kertomana

Trepo - Institutional Repository of Tampere University

https://trepo.tuni.fi/bitstream/10024/80732/1/gradu03657.pdf

Sound, Mixtures, and Learning: A Perspective on CASA

Abstract

Similar works

Full text

Available Versions

Columbia University Academic Commons

TamPub Julkaisuarkisto - TamPub Institutional Repository

Trepo - Institutional Repository of Tampere University