Typannot: a glyphic system for the transcription of handshapes

International audienc

Annotating sign language using a dedicated glyph system (the project Typannot)

International audienc

Annotating Sign Language using a dedicated glyph System

International audienc

Systèmes graphématiques et écritures des langues signées

International audienceOver the last few decades, various writing systems for sign languages (SLs) have been developed in a context where vocal languages (VLs) obviously prevail. In fact, VLs are characterized by a switch of modality between writing and speaking, while SLs present a brand new situation with the possibility of sharing modalities. Indeed, in the act of speaking and writing, SLs use similar modalities (upper body limbs movement) and reception (vision). This unprecedented situation of shared visuo-gestural modalities allows writing and speaking to meet in a form of cohabitation, sharing semiotic features. Scripturality may emerge from the formal (highly graphical in many situations) and gestural dimensions that are inherent to oral expression in SLs. The goal of this article is to establish an approach that links visuo-gestual modalities. On one hand, this approach is founded in ‘orality,’ i.e., in gesture; on the other hand, this approach is rooted in the act of drawing (tracing) as a link between language and writing. Similarly to the way SLs are able to assign meaning to movements, the meaning represented in the marks intended to be read can be back-traced to the body in action. To consider the scriptural experience in this way resonates with the cognitive theory of enaction (Varela et al., 1991) and, more broadly, with the hypotheses of embodied cognition.First we will present the three main notation systems that are used—almost exclusively—among researchers in linguistics studies of SLs. We will discuss their specific characteristics: the visual principles on which they are built in regard to their legibility, and also their ability to be written and used (focusing on the principle of linearity found in other writing systems). In the second part, we will explore in detail some issues of writing SLs such as: how can we articulate the modalities of the act of writing with the semiotic modalities of language itself? What are the analogies available to build a glyphic system? Can the act of tracing and the trace itself boost new semiotic relations in the writing of SLs? In the third part, we will look at some theoretical aspects of existing writing systems and put them into the perspective of the writing of SLs. Finally, this matter will be dealt with through the presentation of Typannot, a notation system on which we are currently working. We will focus on describing the graphematic and typographic principles of this new system. Several conceptual levels are envisioned in order to justify the coupling between technical aspects and writing/tracing activity, with the goal of obtaining a system aimed at: readability, modularity, writability and searchability. These criteria are an attempt to translate concepts of writing systems in VLs for specific issues related to the visual and gestural modalities of SLs.Depuis quelques décennies, les langues des signes (LS) connaissent l’apparition de systèmes de notations qui s’inscrivent dans une pratique dominée par les écritures de langues vocales (LV). Alors que ces dernières sont caractérisées par une rupture de modalité entre l’écrit et l’oral, les LS introduisent la situation inédite d’un possible partage des modalités en convoquant dans leur production les mêmes articulateurs (le membre supérieur) et dans leur réception la même modalité visuelle. Ces circonstances de partage des mêmes modalités gestuo-visuelle placent l’écriture et l’oralité des LS dans un rapport de coexistence, voire de sémiotiques partagées. L’acte d’écrire peut alors se manifester comme une inscription des dimensions formelles (parfois hautement graphiques) et gestuelles intrinsèques de l’oralité et de l’expression des LS. Nous chercherons dans cet article à développer les fondements d’une approche analogique visuo-gestuelle ancrée d’une part dans l’oralité, c’est à dire le geste, et d’autre part dans le tracé comme vecteur de sens communs à la langue et son écriture. Considérer ainsi l’expérience scripturale trouve un écho dans la théorie cognitive de l’énaction (Varela et al., 1991) ou plus généralement dans les hypothèses portant sur la cognition incarnée.Nous présenterons trois des principaux systèmes de notation actuellement en usage, dont l’usage est le plus souvent limité aux chercheurs en linguistique de ces langues. Les principales caractéristiques de ces systèmes de notation seront abordées ; il s’agit de leur lisibilité en lien avec le formalisme sur lequel ils s’appuient, et aussi de leur capacité à être écrits et maniés (en particulier au regard du principe de linéarité des écritures existantes). Dans une deuxième partie, les problématiques que l’écriture des LS posent seront exposées en détails : l’articulation des modalités de production et des modalités sémiotique orale/écrite, les domaines analogiques exploitables dans la construction des principes glyphiques et les rapports sémiotiques nouveaux entre traces et tracés qu’apporte l’écriture des LS. Dans la troisième partie, quelques éléments des théories sur l’écriture seront examinés au regard de ce qu’une écriture des LS apporte. Ils seront illustrés par le système de notation pour les LS appelé « Typannot » (sur lequel les auteurs du présent article travaillent) et plus spécifiquement par ses choix graphématiques et typographiques. Nous développons pour cela une réflexion à plusieurs niveaux rendant compte de ce couplage entre la technique et notre activité scripturale, portant sur la lisibilité, la modularité, la scripturalité et l’automatisation (requêtabilité). Ces critères constituent le cadre d’une réflexion prenant racine dans les systèmes d’écriture des LV pour évoluer vers des problématiques proprement liées aux modalités gestuelles et formelles des LS

Typannot: a glyphic system for the transcription of handshapes

International audienc

Annotating sign language using a dedicated glyph system (the project Typannot)

International audienc

Structuration phonologique d’un système glyphique pour annoter les langues des signes : Typannot

International audienc

Strutturazione fonologica di un sistema di glifi per annotare le lingue dei segni: Typannot

DOPPIONE con HAL-01297193Les systèmes d’écriture existants pour les Langues des Signes (LS) (SignWriting [Sutton 1974], Hamnosys [Prillwitz et al. 1989], SIS5) n’ont que très peu pris en compte les résultats de la phonologie des LS. Pourtant la diversité des approches en phonologie et la portée des résultats notamment pour les configurations (conformation stabilisée de la main et des doigts) sont très riches et couvrent parfois de nombreuses langues (Sandler 2012, Johnson & Liddell 2011, Ann 2005, Eccarius & Brentari 2008). Nous exposons ici les règles de construction d’un système graphématique capable de couvrir l’ensemble des configurations des LS du monde, composé de tracés modulaires, basée sur la description phonologique de Brentari (modèle prosodique), offrant une lecture aisée (legibility, McMonnies 1999), une écriture simple, non ambiguë et requêtable, réalisée dans le cadre d’un projet pluridisciplinaire convoquant linguistes et designers typographes.237 handshapes sont représentées sur la base de la description phonologique d’Eccarius & Brentari faite pour 9 LS (2008). Le système de description phonologique initial est réduit à 9 règles ; ceci permet de diminuer le nombre d’informations nécessaire à la graphie/lecture. Le système graphématique et glyphique, modulable, est extensible à de nouvelles configurations si besoin, incluant potentiellement les 120 LS du monde (recensement Ethnologue.org). Notons que la description adoptée -Eccarius & Brentari- assure une couverture assez complète des configurations existantes dans les LS (237 ici contre 250 pour SignWriting basé sur une combinatoire théorique).Certaines relations entre phonologie et substrat phonétique sont interrogées dans cette présentation ; notamment, l’appréciation de l’influence qu’exerce la praxis gestuelle sur la gestuelle symbolique. Quels rôles les configurations de préhension (Napier 1956) jouent-elles sur les configurations dans les LS ? Pour cela nous nous intéressons dans un premier temps aux flexions des doigts (prises digito-palmaires), puis au verrouillage avec le pouce (pouce opposé). La distribution de la sélection des doigts et l’autonomie de chacun seront abordées, ainsi que leur comportement (flexion, extension, écartement) jusqu’à savoir sur quelle(s) phalange(s) la flexion opère.Parmi les 4 doigts, hormis le pouce donc, un gradient croissant de sélection allant de l’auriculaire à l’index se dessine, marquant une sélection préférentielle pour l’index et le majeur. Ces quatre doigts ne présentent pas la même autonomie. Sans réelle surprise, l’index est le doigt qui présente le plus grand nombre d’occurrences lorsqu’il apparaît seul, même si son association avec d’autres doigts est assez équilibrée. A l’inverse, l’annulaire n’est absolument pas autonome. De plus il n’apparaît que très peu lié à un autre doigt adjacent -auriculaire ou majeur-, mais est plutôt sélectionné avec deux autres doigts adjacents et très majoritairement avec les trois autres doigts. L’autonomie des doigts est donc très contrastée comme on le voit d’ailleurs dans les tâches de saisie d’objets. Elle n’est pas en rapport avec le nombre de sélection des doigts et laisse présager que le gradient de sélection intervient hiérarchiquement avant l'autonomie des doigts.Les doigts sont sélectionnés de manière ordonnée et croissante, ils ne présentent pas la même autonomie les uns par rapport aux autres. Ont-ils malgré cela, un comportement similaire (mêmes traits) ? Cette question revient à savoir si l’autonomie a un impact sur le comportement. Ce n’est pas le cas ; les doigts présentent le même comportement. Cette similarité ne dépend pas d’un type de configuration en particulier (‘’B’’ [sélection des 4 doigts] ou ‘’U’’ [sélection du majeur et de l’index] par exemple). Par contre le comportement diffère selon qu’on s’intéresse aux premières phalanges ou aux deuxièmes et troisièmes. En résumé, la sélection des doigts répond à un gradient croissant de l’auriculaire à l’index correspondant à ce qu’on remarque dans le recrutement des doigts pour la préhension. Le comportement des doigts est similaire en termes de flexion et d’extension montrant ainsi une absence de spécialisation comportementale d’un des quatre doigts, contrairement à ce qu’on pourrait attendre de l’index par exemple (configuration ‘’1’’), souvent présenté dans les études sur les langues signées comme spécialisé dans le pointage (extension). Les lieux de changements concernent les phalanges quels que soient les doigts. De ce point de vue l’approche phonologique plus précise de Johnson & Liddell (2011) notant jusqu’aux phalanges est pertinente. Toutefois, par delà la dimension phonologique, il semble que le niveau phonétique, c’est-à-dire ici la préhension, part praxique de la gestuelle, joue un rôle prépondérant dans l’inventaire des configurations pour les langues signées.L’étude sur le pouce qui sera également présentée ici corrobore l’incorporation de la préhension dans les configurations symboliques.Certains éléments saillants -souvent liés à cette préhension sous-jacente- ont guidé les choix graphiques des glyphes du système d’annotation Typannot. Le comportement identique des quatre doigts nous a poussé à ne pas les différencier graphiquement (contrairement à SignWriting). La flexion/extension de certaines phalanges oriente la représentation glyphique des configurations (de face versus de trois-quarts face). La flexion maximale de l’ensemble des phalanges lorsque les doigts ne sont pas sélectionnés n’est pas marquée, par contre elle l’est graphiquement lorsqu’il s’agit de l’extension. Eccarius & Brentari quant à elles, marquent les deux. L’accolement des doigts (versus leur écartement latéral) est traité graphiquement comme un tout par un contour enveloppant l’ensemble des doigts accolés renvoyant à la massivité vs la dispersion de la prise ; en référence aux deux catégories de préhension de Napier : saisie de force avec des doigts accolés versus de précision (doigts écartés).Ainsi on peut dire que la phonologie a structuré le système glyphique Typannot dans son ensemble y compris dans ses allers-retours vers la phonétique.RéférencesAnn, Jean. « A functional explanation of Taiwan Sign Language handshape frequency ». Language and Linguistics - Taipei 6, n° 2 (2005): 217.Eccarius, Petra, et Diane Brentari. « Handshape coding made easier; a theoretically based notation for phonological transcription ». Sign Language & Linguistics 11, n° 1 (2008): 69-101.Johnson, Robert E., et Scott K. Liddell. « Toward a phonetic representation of hand configuration: the fingers ». Sign Language Studies 12, n° 1 (2011): 5-45. doi: 10.1353/sls.2011.0013.McMonnies, Charles W. « Chart construction and letter legibility/readability ». Ophthalmic and Physiological Optics 19, no 6 (1999): 498-506. doi: 10.1046/j.1475-1313.1999.00460.x.Napier, John R. « The prehensile movements of the human hand ». Journal of Bone and Joint Surgery 38, n° 4 (1956): 902-913.Prillwitz S., R. Leven, H. Zienert, T. Hanke, et J. Henning. Hamburg notation system for sign languages: an introductory guide. Signum Press, Hamburg, 1989.Sandler, Wendy. « The phonological organization of Sign Languages: Sign Language phonology ». Language and Linguistics Compass 6, n° 3 (mars 2012): 162-82. doi: 10.1002/lnc3.326.Sutton, Valery. « SignWriting for Sign Languages ». Consulté le 26 octobre 2013. http://www.signwriting.org

Gestual Script

(poster

Typannot: un sistema glifico per la trascrizione di lingue dei segni

(similar to C036)International audienceExisting writing systems for Sign Language (SL) (SignWriting [Sutton,2015]; HamNoSys [Prillwitz et al. 1989]) have seldom taken into account the results of the phonology of SL. Yet, the diversity of phonological approaches and the scope of the results, especially for handshapes, are very rich and may cover many languages [Johnson & Liddell 2011a, 2011b; Ann 2005; Eccarius & Brentari 2008]. In the context of SL study, three distinct functions can mainly define a writing system: the readibility, the writability and the searchability. None of the existing systems offers a good compromise. In this work, we present the construction of a graphematic system able to cover all SL handshapes existing in the world, consisting of features based on a phonological description [Eccarius & Brentari 2008]. This multidisciplinary project, summoning linguists and type designers, aims at producing a readable and stable, unambiguous and fully searchable glyphic system that provides a relevant solution for the transcription of SL and for a forthcoming writing. The graphematic and the glyphic systems (237 glyphs) are modular and adaptable to new configurations as needed, potentially including all the 120 SLs found in the world. The conception of the glyphs was equally guided by the highlighted phonological/phonetical features (graphematic system) and the graphical and scriptural rules (glyph formula) [Bringshurst 2004; Billeter 2010].We consider that the phonetics for handshapes is praxis: beside a linguistic use, phonetic doesn’t exist for signs independently from manual activities. The influence of the gestural praxis on the symbolic gestures is investigated here (connection between phonology and phonetics). What roles do the handshapes of prehension play [Napier 1956] on SL handshapes [Marzke & Shackley 1986]? The distribution of the selection of the fingers, the independence of each finger, and the behavior of each phalanx have been studied. The results challenge the ideas developped by [Ann 2005] in favour of Napier’s hypothesis of power and precise grips. This analysis suggests an influence of phonetics on the phonology of the handshapes. These features helped designing the shapes and the graphematic system we use and on which we build the glyph formula.Following this work, and according to the phonological graphematic description of handshapes by [Eccarius & Brentari 2008], a modular graphic system based on phonological key components was devised. This approach allowed an economical and visual, yet rigorous, design process. After this first phase we are organizing and encoding the glyphs in order for them to be fully searchable through the Unicode standard.Bibliography:[1] Sutton, Valery. “SignWriting for sign languages”. checked online 13/11/2015. http://www.signwriting.org/[2] Prillwitz, Siegmund, Regina Leven, Heiko Zienert, Thomas Hanke & Jan Henning. “Hamburg notation system for sign languages: an introductory guide”. Signum Press. Hamburg, 1989.[3] Johnson, Robert E. & Scott K. Liddell. “Toward a phonetic representation of hand configuration: the fingers”. Sign Language Studies 12, no° 1 (2011a): 5-45. doi: 10.1353/sls.2011.0013[4] Johnson, Robert E. & Scott K. Liddell. “Toward a phonetic representation of hand configuration: the thumb”. Sign Language Studies 12, no° 2 (2011b): 316-333. doi: 10.1353/sls.2011.0020[5] Ann, Jean. “A functional explanation of Taiwan Sign Language handshape frequency”. Language and Linguistics (Taipei) 6, no° 2 (2005): 217.[6] Eccarius, Petra & Brentari, Diane. “Handshape coding made easier: a theoretically based notation for phonological transcription”. Sign Language & Linguistics 11, no° 1 (2008): 69-101.[7] Bringshurst, Robert. The solid form of language: an essay on writing and meaning. 2004, Gaspereau.[8] Billeter, Jean-François. Essai sur l’art chinois de l’écriture et ses fondements, Paris, Allia,‎ 2010, 416 p.[9] Napier, John R. “The prehensile movements of the human hand”. Journal of Bone and Joint Surgery 38, n° 4 (1956): 902-913.[10] Marzke, Mary W. & M. Steven Shackley. “Hominid hand use in the Pliocene and Pleistocene: evidence from experimental archaeology and comparative morphology”. Journal of Human Evolution 15, no 6 (septembre 1986): 439-460. doi: 10.1016/S0047-2484(86)80027-6