Les vagues et les ondes internes de gravité ont un impact important surl’hydrodynamique et l’hydrologie de la zone côtière. Les vagues extrêmes sontparticulièrement intéressantes à étudier, car elles sont une menace sérieuse pour letransport maritime, les plates-formes pétrolières, les installations portuaires et leszones touristiques de la côte. Ces ondes entravent aussi les activités humainesdéveloppées à la côte. Les ondes internes non linéaires affectent la biosphèreaquatique, notamment le transport de sédiments et créent des affouillements à labase des plates-formes et des pipelines. Elles affectent également la propagationdes signaux acoustiques. Les vagues scélérates provoquent d’importants dégâtsmatériels et de nombreuses pertes en vies humaines. Par conséquent, l’étude de laformation des ondes scélérates dans la zone côtière est d’une importance capitale.L'objectif principal de la thèse est l'étude de la formation d’ondes océaniquesanormales dans la zone côtières pour différentes profondeurs d’eau et différentschamps d'ondes. Il est montré que le mécanisme de focalisation dispersive àl’origine de la formation d’ondes scélérates est pertinent quand les ondesinteragissent avec une paroi verticale. Il est démontré que juste avant la formationde l’onde maximale, celle-ci change rapidement de forme, d'une haute crête vers uncreux profond. La durée de vie de l’onde scélérate augmente avec le nombred’ondes individuelles contenues dans le paquet d'ondes anormales et lorsque laprofondeur de l'eau diminue.Il est démontré que l'interaction de paires de solitons unipolaires conduit à unediminution des facteurs de dissymétrie et d’aplatissement du champ d'ondes. Il estprouvé que dans le cas d'interactions hétéropolaires de solitons, le facteurd’aplatissement augmente.La dynamique non linéaire de champs de solitons unipolaires aléatoires estétudiée dans le cadre de l’équation de Korteweg - de Vries (KdV) et de l’équationde Korteweg - de Vries modifiée (mKdV). Il est montré que les coefficients dedissymétrie et d'aplatissement du gaz de solitons sont réduits à la suite de collisionsde solitons. Les fonctions de distribution des amplitudes des ondes sont obtenues.Le comportement des champs solitoniques dans le cadre de ces modèles estqualitativement similaire. Il est démontré que l'amplitude des ondes extrêmesdiminue en moyenne en raison des interactions entre multi-solitons.Dans le cadre de l'équation de Korteweg-de Vries modifiée, les interactionsnon linéaires entre le soliton de plus petite amplitude et les autres solitons du gazont pour effet de réduire sa célérité qui devient négative et de modifier ainsi sadirection de propagation.A partir de l'équation de Korteweg-de Vries modifiée, il est prouvé que dans ungaz de solitons héteropolaires, des ondes scélérates peuvent se former. Laprobabilité d’occurrence et l’amplitude des ondes scélérates dans de tels systèmesaugmente avec la densité du gaz de solitons.Surface and internal gravity waves have an important impact on the hydrological regime ofthe coastal zone. Intensive surface waves are particularly interesting to study because they canbe a serious threat to ships, oil platforms, port facilities and tourist areas on the coast; suchwaves hampered the implementation of human activities on the shelf. Nonlinear internal wavesaffect the underwater biosphere and cause sediment transport, they create washouts soil at thebase of platforms and pipelines, affect the propagation of acoustic signals. Freak waves have aparticularly strong impact, and they are studied in this thesis. Therefore, the study of freak waveformation in the coastal zone is relevant and practically significant.The main goal of the thesis is the study of particularities of abnormal wave formation incoastal zones under different assumptions on the water depth and wave field form. In particular,it is demonstrated that the mechanism of dispersion focusing of freak wave formation "works"for waves interacting with a vertical barrier. It is shown that just before the maximum waveformation a freak wave quickly changes its shape from a high ridge to a deep depression.Lifetime of freak wave increases with the growth of number of individual waves in anomalouswave packet, and lifetime of freak wave increases with water depth decreasing.It is demonstrated that pair interaction of unipolar solitons leads to decrease of the thirdand fourth moments of the wave field. It is shown that in the case of heteropolar solitoninteraction the fourth moment increases.The nonlinear dynamics of ensembles of random unipolar solitons in the framework of theKorteweg - de Vries equation and the modified Korteweg - de Vries equation is studied. It isshown that the coefficients of skewness and kurtosis of the soliton gas are reduced as a resultof soliton collision, the distribution function of wave amplitudes are defined. The behavior ofsoliton fields in the framework of these models is qualitatively similar. It is shown that in thesefields the amplitude of the big waves is decreased in average due to multi-soliton interactions.A new braking effect of soliton with a small amplitude and even changing of its direction inmulti-soliton gas as a result of nonlinear interaction with other solitons is found in the frameworkof the modified Korteweg-de Vries equation.It is shown that in heteropolar soliton gas abnormally big waves (freak waves) appear inthe frameworks of the modified Korteweg - de Vries equation. With increasing of soliton gasdensity the probability and intensity of freak waves in such systems increases