Dauxois, Jacques

Fine-Fontan, Jeanne

Pousse, Alain

Numérisation de Documents Anciens Mathématiques

Statistique et analyse des donnéesJACQUES DAUXOISJEANNE FINE-FONTANALAIN POUSSEÉchantillonnage en segmentation. Étude de la convergenceStatistique et analyse des données, tome 4, no 3 (1979), p. 45-53.<http://www.numdam.org/item?id=SAD_1979__4_3_45_0>© Association pour la statistique et ses utilisations, 1979, tous droits réservés.L’accès aux archives de la revue « Statistique et analyse des données » implique l’accord avecles conditions générales d’utilisation (http://www.numdam.org/legal.php). Toute utilisation commer-ciale ou impression systématique est constitutive d’une infraction pénale. Toute copie ou impres-sion de ce fichier doit contenir la présente mention de copyright.Article numérisé dans le cadre du programmeNumérisation de documents anciens mathématiqueshttp://www.numdam.org/Statistique et Analyse des Données 453 - 1979 pp. 45-53ECHANTILLONNAGE EN SEGMENTATIONETUDE DE LA CONVERGENCEJacques DAUXOIS, Jeanne FINE-FONTAN, Alain POUSSELaboratoire de Statistique et ProbabilitésE.R.A. - C.N.R.S. n° 591Université Paul Sabatier - 31077 TOULOUSE Cedex1 - ECHANTILLON STATISTIQUE ET ECHANTILLON DE BASE EN ANALYSE DES DONNEES.Soit (fl,CLiP) un espace probabilisé et X une v.a. définie sur (fi,G,,P) et à valeurs dans unespace probabilisable (&',&»')• On suppose que tu est une tribu qui contient le singleton {x} ,pour tout x de Q : ceci est notamment le cas si fi est fini ou dénombrable et si CL est la tribude ses parties, ou si Q est un espace topologique muni de sa tribu borélienne.On obtient, de façon classique, un échantillon statistique de taille n associé à X à partirde lfespace probabilisé (fi,CL,P) . Pour tout n de |N* et tout i de I » {!,...,n} , on noteII. la ième projection canonique : o> ~ (u).} •* a). . Ces applications (IT.) sont des v.a.à valeurs dans (fi, CL), indépendantes et de même loi P. On pose :V i c In X. - X o ILLes v.a. (X.) forment un échantillon statistique, c'est-à-dire sont indépendantes et de1 ieln fc*même loi P que X. On a par ailleurs, pour tout u) de fi :Si fiW (n e |N , u) e fi ) est le sous-ensemble de fi image de la suite finie (w. ,..., u) ) et si on len I nmunit de la tribu de ses parties, on voit que la valeur en w de la v.a. X. (iel ) est effective-x nment la valeur prise en w. par la restriction Xn de X à fi , ce qui légitime la pratique courantede l'Analyse des Données.Cependant, comme ni P, ni même Pv ne sont connues, on probabilisé (çf*, ZP (ft0* )) par la proba-1 n x n nbilité p^ = — E 6^ , où 6 est la mesure de Dirac au point x (y affecte donc à chaque"individu" (j. un "poids" égal à sa fréquence d'apparition). Cela revient implicitement à considé-i nrer la probabilité v - - E 6 sur (fi, a ) . Or, pour tout A de et:46 v?(A) - i I 1.(0).)--^ S 1. on.(o)) n n . , A i n . . A i i=»I 1=1 La suite {1 o IT.} est une suite de v.a. réelles, indépendantes, de même loi et intégra-A 1 . w_* 1€fcî fa> blés (d'espérance mathématique P(A)), donc, d'après la loi forte des grands nombres, V (A) con-verge presque sûrement vers P(A). La probabilité image de y par X , qui est aussi l'image de v par X, converge donc de la même façon vers P . n A On remarque qu'on peut sans difficulté considérer, non un espace probabilisé (fi,<£L,P), mais une structure statistique (fi,Ct,£P). La formalisation ci-dessus a été implicitement utilisée en [3] pour établir la convergence d'analyses factorielles obtenues par échantillonnage. 2 - LA SEGMENTATION En Analyse des Données, la méthode de segmentation répond au problème suivant : soit un échantillon de taille n sur lequel sont observées p variables statistiques qualitatives X ,...,X , et une variable statistique Y qui peut être qualitative ou quantitative uni- ou multidimensionnelle. On cherche à "expliquer" Y au moyen des autres variables. La segmentation conduit d'une part à une partition de l'échantillon en "segments", chacun le plus homogène pos-sible, et les plus différenciés deux à deux, et d'autre part à un arbre dichotomique dont chaque branche met en évidence une hiérarchie entre les variables explicatives X , ...,X , la première apparue (donc la plus haute dans l'arbre) étant considérée comme la plus liée au critère Y, et ainsi de suite. Soient donc p v.a. X ,..., X sur (fi,6,»P), "qualitatives" (c'est-à-dire que X. est à va-leurs dans un ensemble fini E., muni de la tribu de ses parties), et une v.a. Y de (fi,6-,P) dans (fi',Ûc'). A chaque étape, on va considérer l'une des v.a. (X.) , que l'on notera X. i=li•••»P 2 Soit 3b la sous-tribu de ÛL engendrée par X. En suivant [l] et [2], on se place sur L (fi,Û,P) pour définir la segmentation. Cas où ï est qualitative Q* est alors fini, et Ce' est î P W ) . Soit £ la sous-tribu de €u engendrée par Y. Par définition, une étape de segmentation est la recherche de la v.a. de Bernoulli X' (X' ne prend 2 2 donc que deux valeurs distinctes) de L (fi,35,P), centrée et normée, la plus proche de L (fi,£,P). Comme 3) est finie, il n'existe qu'un nombre fini de v.a. de Bernoulli dans L (fi,3),P), donc le problème admet toujours une solution. La méthode est actuellement utilisée souvent sans aucune contrainte sur les variables explica-tives (quant au nombre de leurs modalités, notamment) ; il nous a donc paru intéressant d'étudier ici la stabilité dans le cadre le plus général. Cas où Y est quantitative * 2 La définition est la même que ci-dessus, en remplaçant L (fi,]?tP) par le sous-espace F__ de 2 Y L (fi,(L»P) des v.a. (centrées) combinaisons linéaires des composantes centrées de Y. On peut considérer qu'on a ainsi défini la "segmentation exacte", qu'on ne peut obtenir que si P est connue (ou au moins P, N ) . 47 On travaille en Analyse des Données à partir d'un échantillon 0).,...,0). On peut alors uti-liser les notations du paragraphe I, que l'on applique aux v.a. X,Y ou Z - (X,Y) . La segmenta-tion est alors obtenue comme ci-dessus en remplaçant (fi,&,P) par (fi , îP(fi), u ), X par X et Y par Y . Elle est implicitement regardée comme une "segmentation approchée par échantillonnage" de la segmentation exacte. On se propose d'examiner ici le bien-fondé de ce point de vue, par une étude de la convergence lorsque la taille n de l'échantillon augmente indéfiniment. 3 - CAS D'UN CRITERE Y QUALITATIF. 2 A chaque étape de la segmentation exacte, soit X1 une v.a. de Bernoulli, de L (fi,#,P), qui engendre la tribu 5) . On note {D.»D2 } la partition de fi qui lui est associée. Il correspond à X' une seule v.a. de Bernoulli Uf centrée et normée qui engendre 3> (au signe près). La tribu fe est engendrée par une partition {C.,...,C } de fi , et on note : l q d'où, de façon classique P j k - P [ D . n C k ] j - 1,2 k - I , . <\k-Pi k + P2k p J - " k ï , Pi" 2 Soit d la distance de U' à L (fi, 2?,P), et p l'unique coefficient de corrélation canonique de l'analyse canonique de 5) et t?(cf. [3] p. 79 à 81 ; on sait qu'on peut alors supposer, sans perte de généralité , que les p .et p. sont non nuls). On a : «K J • d * 1 - p et, d'après [4] ou [3] d'où : 2 2 2 q f P îk 1 i + <f>z = z p? » i + p* - z i f J k 1 p. ^ - Z P - 1  P 2 i=o x j-1 k«l ^ j . F . k 2 2 q P?k d - 2 - Z Z — 1 ^ -Vz P j = l k*l * j . * \ k On peut remarquer que d ne dépend que des tribus 3) et £ , et ne dépend donc de X', v.a. de Bernoulli initiale, que par l'intermédiaire de 3) . Pour la segmentation approchée, on considère la restriction X,n de X* à fiW ; X,n est mesura-ble par rapport à la tribu 35 engendrée par la restriction x" de X à d*. Il lui correspond la partition {D* D"} de d* , où D % D. n d* (j = 1,2), et on pose : C? » C,n fiW (k =» 1,... ,q) ; ' ^ " j j n & K. n la restriction Y de Y à fiQ engendre alors la tribu & n associée à la partition {C?} k » l , . . . , q On note : n(n,o)) o i r _ n „ n . . w r ^ „ , V * ^ C Dj n C k ] = V n C V V et donc : n!n'M> > v" (D.) n("'u) = vU [ C ] j • n j .K n K . * D'après le paragraphe 1, pour tout couple (j,k), et pour presque tout 0) de fi : 48 u . n J X > > - P [ D . n c k ] = p j k , . «(njO)) _ . «(n.o)) lim II. * ' - p. lim Iï . ' * p . Comme p. et p sont non nuls, il existe n tel que n-*03 e t II , sont non nuls, presque J • "K- O j . .K sûrement, pour n > n . Si V est une v.a. de Bernoulli centrée et normée associée à X,n, sa « o n distance d à L (R ,fe , y ) vérifie, comme ci-dessus : n,o) n w n 2 2 * cn{î'u)]2 d - 2 - Z Z — 4 £ n n'u j-i k-i nîn»u) n*?'"0 J. .k IN* On en déduit, pour presque tout 0) de fi : lim d « d En considérant toutes les sous-tribus 3) a e Bernoulli de ($ , qui sont en nombre fini (on peut les indexer par i variant dans I), on obtient toutes les sous-tribus S)11 de Bernoulli de fà Donc, pour presque tout o), il existe n. (o)) tel que : V n > n, (o)) inf d1 - inf d1 1 ici n'W ici La sous-tribu $) "optimale" induit alors sur fi*0 la sous-tribu oDn "optimale". n On voit ainsi que, pour presque tout u>, il existe n (o)) tel que, pour tout n supérieur ou égal à nj(uj), la segmentation sur l'échantillon "coïncide" avec la segmentation exacte. 4 - CAS D'UN CRITERE Y QUANTITATIF UNIDIMENSIONNEL Comme précédemment, à chaque étape de la segmentation exacte, on note X' une v.a. de 2 Bernoulli centrée normée de L (fi,iB,P), et {D|tD2> la partition de ù associée à la tribu 3) engendrée par X'. Soit Y une v.a. réelle sur (fi,CL,P), de carré intégrable. Le sous-espace F est alors de dimension 1, et engendré par Y-E(Y). Soit W le vecteur unitaire de F égal à *Zl£Q • Y ||Y-E(Y)|| Minimiser la distance de X' à Fy est équivalent à maximiser la valeur absolue du coefficient de corrélation de X' et W. Or, X' s'écrit : X' - a 1D] + b . Û 2 avec, comme X' est centrée et normée : Le coefficient de corrélation est donc : < X \ W > = a J W d P + b j WdP W e s t centrée, d'où : a-VpTDfr • b--Vp(Dpr D i D" j W dP => J WdP + [ w n Dj D 2 dP 49 et ainsi IV P(D.) V P(D_) J 1 •P(D.)P(D.) J < x'.w > - iv^y+VpTï ïT • ' wdP • ' WdP "Ll "I Pour expliciter la segmentation approchée, on reprend les notations du paragraphe 3. Soit v Yn- E (Yn) la v.a. - , où E est l'intégrale sur d1* pour la probabilité u , et ||-|| la ||Yn- E(Yn)|! n n n n n n norme de L (fiW, J^ fi*11) ,uW ) . On cherche la partition {A? , A" } de fiW qui maximise, comme ci-n n n 1 z n dessus, la valeur absolue de : V O),.n x 0) ,An v „ n , o ) T / A n A n \ V dun - I ( A j f A 2 ) A chaque p a r t i t i o n {D, ,D„ } de Qt on a s s o c i e D? • D, n fi e t D- - D. n fi . i z i i n z z n D'après le paragraphe 1, pour i » 1 ou 2 : y^D?) * vW(D.) et lim vW(D.) » P(D.) presque sûrement • n x n L tr^+oo n x x De plus En(Yn) Y ndy u -n tf» n Y dVW - - Z Y O TT.(O)) n n . . i i»! Comme Y appartient à L (fi, Cu,P), on déduit de la loi forte des grands nombres la convergence presque sure de E (Y ) vers E(Y). En outre : || Yn - E (Yn) || " = var Y « E [ Y2 ] - [ E (Y ) ] 2 , " n "n n n n n n n ' ^ 2 qui converge presque sûrement (loi forte appliquée à Y cette fois) vers E(Y2) - [E(Y)] 2 Y- E(Y)| Enfin, la loi forte appliquée à Y 1 établit la convergence presque sure de 1 Y dp * I Y dv 1 «n n Ks n f Di Dl vers YdP. Comme I(D",D 2) s'écrit : 1 1 I(Dn,Dn) , . — f Yn du" - En(Yn) li>*)l »T?"V»*>"V '1 n ^nv on en déduit la convergence presque sure, lorsque n augmente indéfiniment, de I(D ,D~) vers V? <VpuV L dP. 50 De la même façon qu'au paragraphe 3, on voit donc que, si { D ,D. } est la partition optimale de la segmentation exacte, la segmentation approchée, pour n suffisamment grand, conduit presque sûrement à la partition {D",DÎJ } , où D? est la trace de D. sur d0 (i«l,2). 5 - CAS D'UN CRITERE QUANTITATIF MULTIDIMENSIONNEL. Dans le cadre du paragraphe précédent, on peut voir que la distance d de X' I F . vérifie : |Y-E(Y)||2 d2 « J (Y-Yj)2 dP + j (Y-Y2)2 dP DI D 2 I TJ YdP et Vpifcrl YdP *1 P<D , j «. . . . . , Dl D 2 En effet, si Z est Y-E(Y), on a : .2 | (Y-Yj)2 dP - | (2-Zj)2 dP - J Z2 dP - jfej (J Z dP)2 Dl Dl Dl ' Dl d'où, comme Z est centrée |2 a f Jl M 1 , f „ MX2 1 2 | r-d' - i * dP " p(Dlip(D?) <j ZdP)' c'est-à-dire, puisque Z - W |lz| i2 « C 1 - < X',W > 2 ] , d'où le résultat. C'est la généralisation de cette expression qui va être utilisée dans le cas d'un critère multidimens ionne1• Soit, pour q dans M* » Y * (Y ,... ,Y ) une v.a. sur (fi,û,P), à valeurs dans ( ]R q,3 ) où $ _ est la tribu borêlienne de R q. On suppose que chaque composante Y. de Y est de carré inté-|Rq * grable. Etant donné la définition de F , on ne restreint pas la généralité en supposant Y centrée. Soit A la matrice des covariances de Y ; on suppose Y.,...,Y linéairement indépendantes dans L (fi, ô.,P) (cas auquel on se ramène systématiquement par suppression éventuelle de certaines va-riables qui, étant combinaisons linéaires des autres, n'apportent aucune information supplémen-taire pour la segmentation) ; cela implique que A est inversible. On munit alors |Rq de la "métrique de Mahalanobis", de matrice A~ , et on sait (cf Cl]) que minimiser la distance de X' à F Y équivaut à minimiser sur t D.»D 2^ ' P a r t i t i o n de n * l'expression : °2- l où Y. est l'élément de Kq : p ' j YdP (j -1 ,2) Y-Yjl 2 dP + j | |Y-Y2 | |2 dP D, A"1 D2 A"1 J D. J 51 La segmentation approchée conduit à minimiser sur {A., A» } * partition de fi A» A- An A où, pour j a 1,2 YV = —- I Y" dy J w/AnN J n " n < V Û? et où A est la matrice des covariances de Y (matrice que l'on suppose provisoirement inversi-n —l —1 ble). Si on note m., (resp. m..) (1 1 i £ q, ] s j £ q) le terme général de A (resp. A ) , on a : | |Y-Y ||2 - 5 m (Y-Y ) . ( Y - Y , ) -d'où z m.. r ( Y - Y j ) ( Y - Y ) dP + i j ( Y - Y _ ) ( Y - Y ) dP~| 2i 2 j -I et, de la même façon : D2 - Z m?. F n . . . ij (yn . -n } ( Y n . - n ) dyto + (Yn-Y^)(Yn-Y°) dujf] Or, pour k - 1,2, si D? = D. n d* k k n - f Y. Y. dv10 - A * ) (Y?) (Y?) J i j a n k k . k . r» 1 J avec, d'après la loi forte des grands nombres (Y. et Y. appartiennent à L , donc Y. Y. est inté-grable, ainsi que Y. 1 , Y. 1_ et Y. Y. 1_ ) : 1 Dk J Dk X ^ Dk V i,j = l,...,q lim Y. Y. dvW = Y. Y. dP presque sûrement Vi-I,...,q lim Y. dvW = f Y. «-*» J L n J L n - W TX TX dP presque sûrement lim V-(Dk) = P(Dk) n-*» presque sûrement 52 V i = 1 , . . . , q lim (Y£) - lim n-*» i n-*00 — ! f Y. dv° » ' . f Y. d P - ( Y - ) presque v « J i n P(Dk) J 1 1 k . s £ r e m e n t ' n w k ' D, ce qui entraine : V i,j = l,...,q lim f (Y n-Y n) (Yn-Y*) du"- [ (Y-Yfc) (Y-Yk) dP presque sûrement.. Par ailleurs, le terme général de A est : X?. - < Y? , Y? > - f Y? Y? du" « f Y. Y. dv" ij i ' j n J i j *n J x j n d'où lim A. . n-*» 1J f Y. Y. J ^ J dP X.. presque sûrement Le déterminant de A converge donc vers celui de A, qui est non nul puisque A est inversible. Donc, pour n suffisamment grand, le déterminant de A est non nul, et A est inversible (ce qui justifie l'hypothèse faite plus haut) ; comme on l'obtient par composition d'applications conti-nues à partir des X.., chaque terme m. . de A converge donc presque sûrement vers le terme cor-respondant m. . de A . On en déduit : lim n-*-K© 2 2 D « D^ n presque sûrement, Il y a un nombre fini de partitions { D ,D?} de fi qui conduisent, par restriction, à toutes les partitions {D ,D2) de Q ; ceci démontre, comme au § 3. , mais ici dans le cas d'un critère Y multidimensionnel, que, pour presque tout u>, il existe encore n. (w) tel que, pour tout n supé-rieur ou égal à n.(a)), la segmentation sur l'échantillon coïncide avec la segmentation exacte. CONCLUSION On a établi, dans tous les cas, la convergence par échantillonnage, et donc la stabilité pour un échantillon de taille suffisamment grande, de la méthode de segmentation, à chacune des étapes. Cependant, il demeure qu'une modification minime à une étape peut avoir des répercussions très importantes sur les étapes suivantes, n faut noter qu'on obtient ici presque sûrement, à partir d'un certain rang n , non une approximation, mais précisément la restriction à Q de la va-° n riable X et de la dichotomie { D ,D- } correspondant à la segmentation exacte : cela parce qu'il y a un nombre fini de v.a. explicatives X., ayant chacune un nombre fini de modalités. Pour un échantillon de taille supérieure à n , le risque de perturbation des étapes suivantes est donc nul, presque sûrement. 53 BIBLIOGRAPHIE [1] À. BACCINI et A. POUSSE - Segmentation aux moindres carrés : un aspect synthétique -Revue de Statistique Appliquée. 1975. Vol. XXIII N°3. [2] A. BACCINI - Aspect synthétique de la segmentation et traitement de variables qualitatives à modalités ordonnées. Thèse de 3ème cycle - Université Paul Sabatier -r Toulouse - 1975. [3] J. DAUXOISetA. POUSSE - Les analyses factorielles en Calcul des Probabilités et en Statistique : essai d'étude synthétique. Thèse - Université Paul Sabatier - Toulouse - 1976. [4] H.O. LANCASTER - The Chi-squared Distribution - Wiley Publications in Statistics - 1969. 

Échantillonnage en segmentation. Étude de la convergence

Abstract

Similar works

Full text

Available Versions

Numérisation de Documents Anciens Mathématiques