Il est bien connu que les plasmas froids magnétisés dans des dispositifs tels que les propulseurs Hall et les sources d'ions montrent souvent l'émergence d'instabilités qui peuvent provoquer des phénomènes de transport anormaux et affecter fortement le fonctionnement du dispositif. Dans cette thèse, nous étudions les possibilités de simuler ces instabilités de manière auto-cohérente par la modélisation fluide. Cela n'a jamais été fait auparavant pour ces conditions de plasma froid, mais cela présente un grand intérêt potentiel pour l'ingénierie. Nous avons utilisé un code fluide quasi-neutre développé au laboratoire LAPLACE, appelé MAGNIS (MAGnetized Ion Source), qui résout un ensemble d'équations fluides pour les électrons et les ions dans un domaine 2D perpendiculaire au champ magnétique. On a constaté que dans de nombreux cas d'intérêt pratique, les simulations MAGNIS produisent des instabilités et des fluctuations du plasma. Un premier objectif de cette thèse est de comprendre l'origine de ces instabilités observées dans MAGNIS et de s'assurer qu'elles sont un résultat physique et non un artefact numérique. Pour ce faire, nous avons effectué une analyse de stabilité linéaire basée sur des relations de dispersion, dont les taux de croissance et les fréquences qui en sont issus analyse ont été comparés avec succès à ceux mesurés dans les simulations de MAGNIS pour des configurations simples et forcés à rester dans un régime linéaire. Nous avons ensuite identifié les principaux modes et mécanismes de ces instabilités (induits par les champs électrique et magnétique, le gradient de densité et l’inertie), connus de la littérature, susceptibles de se produire dans ces simulations de fluides. Par la suite, nous avons simulé l'évolution non-linéaire et la saturation des instabilités et quantifié le transport anormal généré dans différents cas relatifs aux sources d'ions en fonction de divers paramètres clés du système (champs électriques et magnétiques et température des électrons). Enfin, nous avons mis en évidence plusieurs limitations de MAGNIS, et plus généralement de modèles fluides, dues aux approximations physiques (quasi-neutralité, absence d'effets cinétiques). Nous avons montré que les modes fluides sont parfois les plus instables à des échelles infiniment petites où la théorie n'est plus valable et ne peuvent donc être résolues numériquement. Nous avons proposé différentes manières de remédier à ce problème par l’introduction de termes diffusifs inspirés de la physique à petite échelle (non-neutralité, rayon de Larmor), que nous avons ensuite testés dans MAGNIS.It is well known from experiments that magnetized low-temperature plasmas in devices such as Hall thrusters and ion sources often show the emergence of instabilities that can cause anomalous transport phenomena and strongly affect the device operation. In this thesis we investigate the possibilities to simulate these instabilities self-consistently by fluid modeling. This is of great potential interest for engineering. We used a quasineutral fluid code developed at the LAPLACE laboratory, called MAGNIS (MAGnetized Ion Source), solving a set of fluid equations for electrons and ions in a 2D domain perpendicular to the magnetic field lines. It was found that in many cases of practical interest, MAGNIS simulations show plasma instabilities and fluctuations. A first goal of this thesis is to understand the origin of the instabilities observed in MAGNIS and make sure that they are a physical result and not numerical artifacts. For this purpose, we carried out a detailed linear stability analysis based on dispersion relations, from which analytical growth rates and frequencies were successfully compared with those measured in MAGNIS simulations for simple configurations forced to remain in a linear regime. We then identified these linear unstable modes and their responsible mechanisms (involving parameters such as the density gradient, electric and magnetic fields and inertia), known from the literature, that are likely to occur in these fluid simulations. Subsequently, we simulated the nonlinear evolution and saturation of the instabilities and quantified the anomalous transport generated in different cases relevant to ion sources, depending on various key parameters of the system (electric and magnetic fields and electron temperature). Finally, we highlighted several limitations of MAGNIS, and more generally of fluid models, due to the physical approximations made (quasineutrality, absence of kinetic effects). We showed that the fluid modes are sometimes most unstable at infinitely small scales for which the theory is no longer valid and which cannot be resolved numerically. We proposed, and tested in MAGNIS, ways to overcome this problem by introducing effective diffusion terms representing small scale processes (non-neutrality, Larmor radius)