You are on page 1of 243

Universidade Estadual de Campinas Faculdade de Engenharia Eltrica e lide Computao Departamento de Engenharia de Computao e Automao Industrial

Sistema de transcrio da lngua brasileira de sinais voltado produo de contedo sinalizado por avatares 3D
Autora: Wanessa Machado do Amaral Orientador: Prof. Dr. Jos Mario De Martino

Tese de Doutorado apresentada Faculdade de Engenharia Eltrica e de Computao como parte dos requisitos para obteno do ttulo de Doutor em Engenharia Eltrica. rea de concentrao: Engenharia de Computao.

Banca Examinadora
Prof. Dr. Jos Mario De Martino ...........................................................DCA/FEEC/Unicamp Prof. Dr. Lo Pini Magalhes .................................................................DCA/FEEC/Unicamp Prof. Dr. Plinio Almeida Barbosa...........................................................IEL/Unicamp Prof. Dr. Leland McCleary......................................................................FFLCH/USP Prof. Dr. Luciana Porcher Nedel ............................................................INF/UFRGS

Campinas, SP 24 de setembo de 2012

FICHA CATALOGRFICA ELABORADA PELA BIBLIOTECA DA REA DE ENGENHARIA E ARQUITETURA - BAE - UNICAMP

Am13s

Amaral, Wanessa Machado do Sistema de transcrio da lngua brasileira de sinais voltado produo de contedo sinalizado por avatares 3D / Wanessa Machado do Amaral. --Campinas, SP: [s.n.], 2012. Orientador: Jos Mario De Martino. Tese de Doutorado - Universidade Estadual de Campinas, Faculdade de Engenharia Eltrica e de Computao. 1. Computao grfica. 2. Lngua brasileira de sinais. 3. Lngua de sinais. I. De Martino, Jos Mario, 1958-. II. Universidade Estadual de Campinas. Faculdade de Engenharia Eltrica e de Computao. III. Ttulo. Ttulo em Ingls: Transcription system of brazilian sign language to create signed content by 3D avatars Palavras-chave em Ingls: Computer graphics, Brazilian sign language, Sign languages rea de concentrao: Engenharia da Computao Titulao: Doutora em Engenharia Eltrica Banca examinadora: Lo Pini Magalhes, Plinio Almeida Barbosa, Leland McCleary, Luciana Porcher Nedel Data da defesa: 24-09-2012 Programa de Ps Graduao: Engenharia Eltrica

ii

iii

iv

Resumo
Acessibilidade uma preocupao crescente em computao. Uma vez que as informaes em ambientes computacionais so apresentadas em sua maioria por meios visuais, pode-se ter a falsa impresso de que a acessibilidade para deficientes auditivos no um problema. No entanto, para pessoas que adquirem a surdez antes da alfabetizao, materiais escritos so, em geral, menos acessveis do que se apresentados em lnguas de sinais. Para o deficiente auditivo a lngua de sinais geralmente a primeira lngua adquirida, e ler um texto em uma lngua escrita o equivalente a utilizar uma lngua estrangeira. Apesar de um surdo poder ser fluente em portugus assim como o ouvinte pode ser fluente em lngua de sinais, a lngua oral e escrita comumente no sua primeira lngua. possvel aprimorar a interao homem-mquina de portadores de deficincia auditiva adequando as respostas dos sistemas computacionais s necessidades dos surdos. A libras, lngua brasileira de sinais, utiliza gestos e expresses faciais para a comunicao, sendo utilizada pela comunidade brasileira de surdos e reconhecida como lngua oficial do Brasil. Para criar contedo virtual em lngua de sinais, de maneira automtica, faz-se necessria a utilizao de uma notao capaz de descrever os sinais. Sistemas de transcrio foram desenvolvidos para as lnguas de sinais. Porm, uma vez que no foram criados com o intuito de gerar animaes por computador, estes sistemas de transcrio possuem limitaes, tais como ambiguidades ou omisso de informaes, dificultando seu uso para os propsitos deste trabalho. Em geral, o reconhecimento e a reproduo de um sinal com o uso dos sistemas de transcries existentes so possveis apenas por intrpretes experientes ou por profundos conhecedores da notao. Este trabalho prope um sistema de transcrio para a reproduo computacional e em tempo real de contedo em lngua de sinais atravs de um agente virtual sinalizador, modelo tridimensional que representa uma figura humana e que articula os sinais da libras. Para isso necessrio registrar explicitamente quantidade suficiente de informaes para que a reproduo seja prxima realidade. Apesar dos estudos das lnguas de sinais existirem por quase meio sculo, o problema de transcrio continua um desafio. Dessa forma, a proposta de uma notao para descrever, armazenar e reproduzir contedo em libras por um agente virtual sinalizador em tempo real oferece uma ferramenta poderosa de estudo e pesquisa, que contribui para um melhor entendimento da lngua brasileira de sinais, uma vez que ainda se conhece pouco sobre sua estrutura, gramtica e fontica, quando comparado ao conhecimento adquirido ao longo dos sculos pelos estudos das lnguas orais. Palavras-chave: computao grfica, libras, lngua de sinais, XML, acessibilidade, realidade virtual, sintetizao de animao, avatar, notao, sistema de transcrio.

vi

Abstract
Accessibility is a growing concern in computer science. As virtual information is mostly presented visually, it may seem that the access for deaf people is not an issue. However, for prelingually deaf individuals, those who were deaf since before learning any language, written information is less accessible than if it was presented in sign language. Further, sign language is the first language deaf people learn, and reading a text in spoken language is akin to using a foreign language. The deaf can be fluent in Portuguese, as well as the listener can be fluent in sign language. Nevertheless, an oral language is a foreign language for the deaf. It is possible to improve the human-machine interaction for deaf people adapting computer systems to their needs. Libras, Brazilian sign language, uses gestures and facial expressions to convey meaning. It is used by deaf communities in Brazil and it is recognized as an official language. To generate signed content on virtual environment, automatically, it is necessary to describe all relevant characteristics of the signs. Many transcription systems have been developed to describe sign languages. However, since these systems were not originally designed to generate computer animation, they present many limitations. In general, the recognition and reproduction of the signs using these systems is possible only for those who deeply know the notation. This thesis presents a transcription system to provide signed content on a virtual environment, in real time, through a virtual agent, tri dimensional model that represents a human character and articulates signs in libras. To animate a virtual character, a transcription system requires enough explicit information, in order to generate intelligible articulation. Although sign language studies have been published for half century, the transcription problem remains a challenge. Hence, a transcription system to describe, store and play signed content on virtual environments offers a powerful study and research tool, which may help linguists to understand sign languages structure and grammar. Keywords: computer graphics, sign language, XML, accessibility, virtual reality, animation synthesis, avatar, notation, transcription system.

vii

viii

Para Penlope e Felipe.

ix

Agradecimentos

Em primeiro lugar agradeo a Deus, por conduzir meus passos at aqui e por jamais me abandonar. Agradeo ao meu orientador, Prof. Dr. Jos Mario De Martino, pela orientao e dedicao. Agradeo a minha famlia, que sempre me incentivou e acreditou em mim, s vezes mais do que eu mesma. Agradeo em especial aos meus pais Regina e Jos Luis, ao meu irmo Wagner, ao meu esposo Enzo e aos meus dois queridos filhos, Penlope e Felipe. Agradeo minha amiga Michelli Pohl, por me ajudar no abstract e tambm pelas conversas descontradas. Agradeo aos meus amigos, por me apoiarem em todos os momentos. Agradeo aos colegas do LCA/DCA, que deixaram os momentos de trabalho mais agradveis e menos solitrios. Agradeo aos funcionrios da FEEC/Unicamp, pelo auxlio nas questes administrativas. Agradeo equipe do CEPRE/FCM/Unicamp e tambm da FE/Unicamp, por me apoiarem nos testes com os deficientes auditivos. Agradeo a todos os intrpretes, professores e fonoaudilogos que aceitaram participar dos testes e que com muita dedicao e carinho avaliaram e sugeriram melhorias no decorrer do trabalho. Em especial agradeo Luciana Martinati Tetzner e Samantha Camargo Daroque, pela valiosa ajuda. Agradeo a CAPES, pelo apoio financeiro.

xi

xii

Sumrio
Lista de Figuras Glossrio e lista de abreviaturas e siglas Trabalhos relacionados publicados pela autora xvii xxiii xxv

Introduo 1 1.1 Motivao...............................................................................................................................1 1.1.1 Relevncia das lnguas de sinais......................................................................................1 1.1.2 Lnguas de sinais nos computadores...............................................................................3 1.1.3 Relevncia de um sistema de transcrio das lnguas de sinais.......................................5 1.2 Objetivo .................................................................................................................................8 1.3 Contribuies .........................................................................................................................9 1.4 Organizao do texto..............................................................................................................9 Reviso dos sistemas de transcrio existentes 11 2.1 Introduo ............................................................................................................................11 2.2 Notao de Stokoe e suas extenses....................................................................................15 2.2.1 Extenses da notao de Stokoe....................................................................................19 2.2.2 HamNoSys.....................................................................................................................19 2.3 Notao de West...................................................................................................................20 2.4 Papaspyrou............................................................................................................................21 2.5 Eshkol-Wachmann................................................................................................................21 2.6 Jouison..................................................................................................................................21 2.7 SignFont................................................................................................................................22 2.8 SignWriting..........................................................................................................................22 2.9 Notaes de Laban e de Farnell............................................................................................25 2.10 Liddell & Johnson..............................................................................................................30 2.11 Sistema de notao por glosas ...........................................................................................32 2.12 Formalismos para descrio de humanos virtuais..............................................................34 2.13 Consideraes finais...........................................................................................................37 Sistema de transcrio proposto 39 3.1 Introduo.............................................................................................................................39 3.2 Viso geral do sistema..........................................................................................................40 3.3 Elementos e atributos do sistema de transcrio..................................................................43 3.3.1 Configurao de mo.....................................................................................................46 3.3.2 Orientao da palma da mo ........................................................................................52 3.3.3 Punho.............................................................................................................................55 3.3.4 Localizao....................................................................................................................58 3.3.5 Posio da face durante a pose do sinal.........................................................................69 3.3.6 Posio do corpo durante a pose do sinal......................................................................71 3.3.7 Movimentos...................................................................................................................76 3.3.8 Sinais compostos...........................................................................................................82 3.4 Sequencialidade....................................................................................................................83 3.5 Exemplo de transcrio........................................................................................................85 3.6 Consideraes finais.............................................................................................................87

xiii

Transcrio de enunciados em lngua de sinais 89 4.1 Introduo.............................................................................................................................89 4.2 Flexo de palavras nas lnguas orais.....................................................................................90 4.3 Flexo nas lnguas de sinais..................................................................................................93 4.3.1 Flexo de artigos ...........................................................................................................95 4.3.2 Flexo de adjetivos .......................................................................................................95 4.3.3 Flexo de pronomes ......................................................................................................96 4.3.4 Flexo de numerais .....................................................................................................101 4.3.5 Flexo de substantivos ................................................................................................102 4.3.6 Flexo de verbos .........................................................................................................102 4.4 Expressividade....................................................................................................................110 4.5 Segmentao.......................................................................................................................111 4.6 Coarticulao......................................................................................................................112 4.7 Arquitetura do sistema de transcrio de enunciados.........................................................115 4.8 Consideraes finais...........................................................................................................125 Implementao do sistema de transcrio 127 5.1 Introduo...........................................................................................................................127 5.2 Funcionamento geral do programa.....................................................................................127 5.3 Entrada do programa..........................................................................................................128 5.4 Modelo................................................................................................................................130 5.5 Pontos de localizao..........................................................................................................136 5.6 Transcrio dos sinais.........................................................................................................142 5.7 Transcrio da configurao de mo..................................................................................144 5.8 Processamento....................................................................................................................145 5.9 Animao............................................................................................................................151 5.10 Consideraes finais.........................................................................................................153 Teste de inteligibilidade do sinalizador 155 6.1 Introduo...........................................................................................................................155 6.2 Preparao do material de teste..........................................................................................155 6.3 Protocolo de teste................................................................................................................159 6.4 Sobre os participantes.........................................................................................................161 6.5 Resultados...........................................................................................................................162 6.5.1 Avaliao das configuraes de mo...........................................................................162 6.5.2 Avaliao de sinais......................................................................................................163 6.5.3 Avaliao de enunciados.............................................................................................167 6.6 Consideraes Finais..........................................................................................................170 Concluses e trabalhos futuros Referncias bibliogrficas Apndice I Gramtica formal para o sistema de transcrio proposto Apndice II Schema dos arquivos XML Apndice III Transcrio dos sinais utilizados na avaliao Apndice IV Parecer Consubstanciado do CEP 173 179 185 191 201 215

xiv

Apndice V TCLE

217

xv

xvi

Lista de Figuras
Figura 2.1: Arvore genealgica dos sistemas de transcrio (Miller, 1994)..................................15 Figura 2.2: Sinal CASA da ASL....................................................................................................18 Figura 2.3: Sinal CASA escrito no sistema de transcrio Stokoe.................................................18 Figura 2.4: Configurao de mo B................................................................................................18 Figura 2.5: Representao de mos em SignWriting.....................................................................22 Figura 2.6: sinal CASA escrito em Signwriting.............................................................................23 Figura 2.7: Smbolo para lado da mo em SignWriting e ilustrao correspondente (Stumpf).....23 Figura 2.8: Smbolo para movimento para baixo na diagonal em SignWriting (Stumpf)..............24 Figura 2.9: Smbolo para movimento curvo para cima em SignWriting (Stumpf)........................24 Figura 2.10: Direes espaciais......................................................................................................25 Figura 2.11: Nveis para os braos.................................................................................................26 Figura 2.12: Diviso dos elementos na notao de Laban (Cordeiro, 1998)..................................27 Figura 2.13: Exemplo simples da Labanotation.............................................................................27 Figura 2.14: Smbolo de descrio dos cotovelos..........................................................................28 Figura 2.15: Smbolo de flexo na descrio dos cotovelos...........................................................29 Figura 2.16: Representao de suspenso e movimento no modelo de Liddell e Johnson............31 Figura 2.17: Sinal LEITE da libras (Capovilla et al., 2009)...........................................................31 Figura 2.18: Representao (parcial) do sinal LEITE no modelo de Liddell & Johnson (1989) (Xavier, 2006).................................................................................................................................32 Figura 2.19: Sintaxe AML..............................................................................................................35 Figura 2.20: Sintaxe VHML...........................................................................................................36 Figura 2.21: Sintaxe CML..............................................................................................................36 Figura 3.1: Animao por keyframe..............................................................................................40 Figura 3.2: Ilustrao do sistema de transcrio proposto para descrever sinais da libras.............42 Figura 3.3: Sinal LNGUA DE SINAIS (Capovilla et al., 2009)...................................................45 Figura 3.4: Alfabeto manual (Capovilla et al., 2009).....................................................................47 Figura 3.5: Nmeros em libras (Capovilla et al., 2009).................................................................48 Figura 3.6: Configuraes adicionais em libras (Capovilla et al., 2009).......................................48 Figura 3.7: Juntas da mo humana ................................................................................................49 Figura 3.8: Rotaes do metacarpo do polegar..............................................................................50 Figura 3.9: Transcrio de configuraes de mo..........................................................................50 Figura 3.10: Distino da junta medial e distal na configurao de mo.......................................51 Figura 3.11: Sinal NO (Capovilla et al., 2009)............................................................................52 Figura 3.12: Sinal UM(Capovilla et al., 2009)...............................................................................52 Figura 3.13: Ossos do antebrao (adaptado de McFarlane, 2010). ...............................................53 Figura 3.14: Movimentos do antebrao: (a) supinao, (b) neutro e (c) pronao ........................54 Figura 3.15: Extenso do punho, movimento para cima, ou rotao do punho no eixo Z.........55 Figura 3.16: Rotaes do punho no eixo Z.....................................................................................56 Figura 3.17: Sinal MOTO (Capovilla et al., 2009).........................................................................57 Figura 3.18: Rotao do punho no eixo X. Desvio radial..............................................................57 Figura 3.19: Rotaes do punho no eixo X....................................................................................58

xvii

Figura 3.20: Modelo simplificado de um brao humano com 7 graus de liberdade, sistemas de coordenadas e eixos de rotao (Mihelj, 2006)..............................................................................60 Figura 3.21: Duas possveis rotaes de ombro e cotovelo para atingir o mesmo ponto...............61 Figura 3.22: Modelo de localizao da mo no espao de sinalizao, com 5 graus de liberdade. ........................................................................................................................................................62 Figura 3.23: Mo direita localizada no ponto 0_30_-85_135_0....................................................62 Figura 3.24: Proporcionalidade do corpo.......................................................................................63 Figura 3.25: Pontos de localizao de contato com o rosto mapeados por Liddell & Johnson (1989)..............................................................................................................................................65 Figura 3.26: Pontos de localizao de contato com o corpo mapeados por Liddell & Johnson (1989)..............................................................................................................................................66 Figura 3.27: Proporcionalidade do rosto........................................................................................67 Figura 3.28: Pontos na mo que realizam contato..........................................................................68 Figura 3.29: Cabea e ombros no sistema cartesiano.....................................................................73 Figura 3.30: Translao da cabea.................................................................................................73 Figura 3.31: Rotao da cabea no eixo X.....................................................................................74 Figura 3.32: Rotao da cabea no eixo Y.....................................................................................74 Figura 3.33: Rotao da cabea no eixo Z......................................................................................75 Figura 3.34: Posicionamento de tronco..........................................................................................75 Figura 3.35: Sinal MACIO (Capovilla et al., 2009).......................................................................78 Figura 3.36: Sinal DEUS (Capovilla et al., 2009)..........................................................................82 Figura 3.37: Sinal SILNCIO da libras (Capovilla et al., 2009)....................................................83 Figura 3.38: Sinal CACHORRO da libras (Capovilla et al., 2009)................................................84 Figura 3.39: Exemplo de transcrio do sinal CACHORRO da libras..........................................85 Figura 3.40: Alternativa de transcrio do sinal CACHORRO da libras.......................................87 Figura 4.1: Formas de primeira pessoa da ASL (Moreira, 2008)...................................................98 Figura 4.2: Formas de no-primeira pessoa da ASL (Moreira, 2008)............................................98 Figura 4.3: Pronomes pessoais da libras (Moreira, 2008)..............................................................99 Figura 4.4: Sinal AVISAR da libras (Capovilla et al., 2009).......................................................103 Figura 4.5: Sinal PERGUNTAR da libras (Capovilla et al., 2009)..............................................105 Figura 4.6: Sinal ANDAR (pessoa) da libras (Capovilla et al., 2009).........................................107 Figura 4.7: Sinal ANDAR (animal) da libras (Capovilla et al., 2009).........................................107 Figura 4.8: Sinal ANDAR (carro) da libras (Capovilla et al., 2009)............................................108 Figura 4.9: Sinal MEU da libras (Capovilla et al., 2009).............................................................111 Figura 4.10: Sinal NO da libras (Capovilla et al., 2009)...........................................................113 Figura 4.11: Sinal PRECISAR da libras (Capovilla et al., 2009).................................................113 Figura 4.12: sinal ARVORE da libras (Capovilla et al., 2009)....................................................114 Figura 4.13: Sinal PEGAR da libras (Capovilla et al., 2009)......................................................114 Figura 4.14: Sinal BICICLETA da libras (Capovilla et al., 2009)...............................................115 Figura 4.15: Flexes no sistema proposto (parte 1)......................................................................117 Figura 4.16: Flexes no sistema proposto (parte 2)......................................................................118 Figura 4.17: Sistema de transcrio de enunciados......................................................................121 Figura 5.1: Arquitetura do programa............................................................................................128 Figura 5.2: Modelo batizado de Alicia.........................................................................................130 Figura 5.3: Sistema de coordenadas 2D.......................................................................................131 Figura 5.4: Sistema de coordenadaas 3D......................................................................................132

xviii

Figura 5.5: Posio inicial do modelo..........................................................................................132 Figura 5.6: Juntas utilizadas na mo do modelo...........................................................................133 Figura 5.7: Juntas utilizadas no corpo do modelo........................................................................134 Figura 5.8: Juntas utilizadas no corpo do modelo........................................................................135 Figura 5.9: Location = 30_0_0_0_0. Ombro rotacionado em 30 no eixo X...............................137 Figura 5.10: Location =0_45_0_0_0. Ombro rotacionado em 45 no eixo Y..............................138 Figura 5.11: Location =0_0_-60_0_0. Ombro rotacionado em -60 no eixo Z...........................139 Figura 5.12: Location = 0_0_0_45_0. Cotovelo rotacionado em 45 no eixo Y..........................140 Figura 5.13: Location =0_0_0_0_-20. Cotovelo rotacionado em -20 no eixo Z.........................140 Figura 5.14: Location = 0_0_85_0_0. Posio de repouso. ........................................................141 Figura 5.15: Tela para gerar a posio das mos. Neste exemplo, rotao apenas no eixo Z de 85 no ombro para o brao direito.......................................................................................................142 Figura 5.16: Sinal SURDO da libras (Capovilla et al., 2009)......................................................143 Figura 5.17: Configurao de mo da letra A..............................................................................144 Figura 5.18: Ciclo de vida do processamento do programa.........................................................146 Figura 5.19: Exemplo de movimentao do personagem.............................................................147 Figura 5.20: Exemplo de movimentao do antebrao................................................................149 Figura 5.21: Exemplo de movimentao do punho......................................................................150 Figura 5.22: Rotaes do punho...................................................................................................151 Figura 5.23: Interface do programa..............................................................................................152 Figura 6.1: Sinais utilizados no teste de inteligibilidade do avatar..............................................157 Figura 6.2: Tela da ferramenta utilizada para o teste de inteligibilidade do sinalizador virtual...160 Figura 6.3: Taxa de acertos e erros no teste de legibilidade do avatar.........................................163 Figura 6.4: Taxa de acertos e erros no teste de legibilidade dos vdeos reais..............................164 Figura 6.5: Porcentagem de acertos e erros no teste de legibilidade do sinalizador virtual.........165 Figura 6.6: Taxa de acertos e erros no teste de legibilidade das datilologias do avatar...............167

xix

xx

Lista de tabelas
Tabela 4.1: Exemplos de flexo de gnero.....................................................................................93 Tabela 4.2: Exemplos de intensificadores por repetio................................................................94 Tabela 4.3: Concordncia verbal na libras segundo Brito (1995)................................................109 Tabela 4.4: Exemplos da utilizao de advrbios de tempo na libras ........................................110 Tabela 5.1: Rotaes do antebrao...............................................................................................148 Tabela 5.2: Rotaes do punho no eixo Z....................................................................................150 Tabela 5.3: Rotaes do punho no eixo X....................................................................................150 Tabela 6.1: Resultados normalizados do teste de inteligibilidade................................................166

xxi

xxii

Glossrio e lista de abreviaturas e siglas


3D ASL AVATAR CEP CEPRE Tridimensional. American Sign Language. Representao de uma pessoa virtual, figura criada imagem do usurio, permitindo sua personalizao no computador. Comit de tica em Pesquisa. Centro de Estudos e Pesquisas em Reabilitao

CONSTITUINTE Neste trabalho o termo utilizado para designar uma parte constituinte de uma frase. DATILOLOGIA Soletrao de palavra com o uso do alfabeto manual de uma lngua de sinais. FCM Faculdade de Cincias Mdicas da Unicamp

FRASE Sequncia linear de palavras que ocorrem numa determinada ordem, sendo que cada lngua estipula essa ordem. FE GLOSA LIBRAS TCLE VISEMA Faculdade de Educao da Unicamp Palavra da lngua oral que identifica de forma escrita um sinal de uma lngua sinalizada. Lngua Brasileira de Sinais. Termo de consentimento livre e esclarecido Postura labial esttica que visualmente contrastiva a outra e que pode ser associada realizao acstica de um fonema.

xxiii

xxiv

Trabalhos relacionados publicados pela autora


Artigos Publicados em Congressos
Amaral, W. M., Angare, L., De Martino, J. M. (2011). Sign Language 3D Virtual Agent. International Conference on Education and Information Systems, Technologies and Applications (EISTA 2011). Florida, USA. Amaral, W. M., Angare, L., Bezerra, J., De Martino, J. M., Franchi Jr, G. O. (2011). Agente Virtual 3D Sinalizador libras. VI Congreso Iberoamericano Sobre Tecnologas de Apoyo a la Discapacidad (Iberdiscap 2011). Espanha. Amaral, W. M., De Martino, J. M. Towards a Transcription System of Sign Language for 3D Virtual Agents. In: Tarek Sobh, Khaled Elleithy. (Org.). http://www.springer.com/computer/swe/book/978-90-481-9111-6. Bridgeport: Springer, 2010, v. 1, p. 85-90. Amaral, W. M., De Martino, J. M. Modelo de transcrio da Lngua de Sinais Brasileira voltado a implementao de agentes virtuais sinalizadores, Interaction 09 | South Amrica. So Paulo, 2009.

Pedido de Depsito de Patente


DE MARTINO J. M.; AMARAL,W. M. Sistema e mtodo para gerao de contedo em lngua de sinais apresentado por agente virtual tridimensional. Data do depsito junto ao INPI: 27 de outubro de 2011. N do Protocolo: 018110042192 PI. Nmero PI: PI1104855-7.

xxv

xxvi

Captulo 1 Introduo

1.1 Motivao

1.1.1 Relevncia das lnguas de sinais

De acordo com o IBGE (Censo 2010), o Brasil possui 9,7 milhes de brasileiros com algum grau de deficincia auditiva, mais de cinco por cento da populao. A deficincia auditiva severa, pessoas com grande dificuldade ou incapazes de ouvir, foi declarada por 2,1 milhes de pessoas. As lnguas de sinais so utilizadas pelos surdos para a comunicao. A legislao brasileira reconhece, pela Lei 10.436/2002, que a libras uma lngua oficial do Brasil. O ensino bilngue reconhecido por Lei inclui o ensino de libras como disciplina curricular nos cursos de fonoaudiologia, pedagogia, educao especial e licenciaturas. A libras portanto no a simples gesticulao da lngua portuguesa, nem tampouco articulaes mmicas, e sim uma lngua distinta, que possui as suas caractersticas prprias e composta por todos os nveis lingusticos: o fonolgico, o morfolgico, o sinttico e o semntico, como qualquer outra lngua. Aquele que sabe o portugus e a libras considerado uma pessoa bilngue. Cada pas possui a sua lngua de sinais, por exemplo, o ASL (American Sign Language) nos Estados Unidos, o LFS (Langue des signes Franaise) na Frana e o LSI (Lingua di Segnale Italiana) na Itlia. A lngua de sinal de um pas tipicamente independente da lngua local utilizada pelos ouvintes. Isso fica claro quando analisamos por exemplo os pases lusfonos. No Brasil existe a Lngua Brasileira de Sinais, em Portugal, a Lngua Gestual Portuguesa, em Angola existe a

Captulo 1 Introduo Lngua Angolana de Sinais, em Moambique existe a Lngua Moambicana de Sinais e em Guin-Bissau existe a Lngua de Sinais Guineense. Dentro de um mesmo pas a lngua de sinais pode possuir dialetos, o que ocorre inclusive com a libras. O surdo no possui necessariamente um entendimento claro do portugus escrito, uma vez que sua lngua materna, geralmente, a lngua de sinais. Estudos (Kennaway et al.,2007) demonstram que o desempenho de leitura de crianas surdas geralmente inferior quando comparado ao desempenho de leitura de crianas com audio normal. Nestes estudos, adolescentes entre sete e vinte anos obtiveram desempenho mdio equivalente a uma criana de sete anos sem deficincia auditiva. Apenas vinte e cinco por cento tiveram desempenho igual ou superior ao de uma criana de nove anos com audio normal. Assim, em situaes em que as informaes so apresentadas de maneira escrita, essa parcela da populao encontra-se em posio desfavorvel. A insistncia na oralizao pode atrasar a aquisio de uma lingua pelo indivduo que nasceu surdo, dificultando assim a insero de uma lngua sinalizada, chegando a levar o deficiente auditivo a um atraso cognitivo (Nader, 2011). A aquisio tardia de uma lngua restringe as possibilidades comunicativas da criana em alguns crculos sociais e ainda dificulta a aprendizagem de contedos veiculados pela lngua formal (oral ou de sinais), fundamentais para o desenvolvimento cognitivo. O estudo de Nader (2011), fundamentado na neurolingustica, demonstra a importncia da aquisio da lngua de sinais desde a primeira infncia pelos surdos e a relao entre surdez e atraso cognitivo. Segundo Nader (2011) existe a ideia preconceituosa que atribui aos surdos uma incapacidade cognitiva. No entanto, o trabalho esclarece a impossibilidade de desenvolvimento cognitivo de qualquer ser humano na ausncia de uma lngua. O trabalho apresenta discusses referentes ao funcionamento neurofisiolgico na surdez, e aponta outros trabalhos que comprovam o efeito da plasticidade do crebro quando uma das vias sensoriais no caso a auditiva est ausente. Pesquisas com neuroimagem tm revelado que as reas mais especializadas para as associaes auditivas so ocupadas por funes visuoespaciais, em crianas que aprendem lnguas de sinais na primeira infncia. Este um funcionamento diferente, mas que permite que pessoas surdas desenvolvam todas as atividades lingustico-cognitivas mais complexas, porm com o uso de lngua de sinais.

Captulo 1 Introduo

1.1.2 Lnguas de sinais nos computadores

Como mencionado na seo anterior, pessoas com deficincia auditiva, sobretudo aquelas que nasceram surdas ou que no foram alfabetizadas antes de adquirir a deficincia, enfrentam dificuldades no acesso ao contedo escrito. Este contedo abrange desde livros at contedo digital. Os computadores e sobretudo a internet so utilizados atualmente na criao e divulgao de contedo em diversas reas, entre elas ferramentas de apoio educao, ensino distncia, entretenimento, divulgao de informao, para citar algumas. As informaes so apresentadas no computador, de maneira geral, de forma escrita ou atravs de udio e vdeo, algumas vezes legendados. Existem iniciativas de oferecer acessibilidade computacional aos deficientes auditivos, porm este campo de pesquisa encontrase em fase inicial, e nenhuma ferramenta amplamente aceita e utilizada pelos surdos. Uma forma de apresentar contedo sinalizado atravs de vdeos, gravando a sinalizao de um surdo ou intrprete real. Arquivos de vdeo digital so formas de armazenamento conhecidas universalmente. A produo de contedo utilizando computadores bem como a reproduo atravs da World Wide Web esto se tornando amplamente disponveis. Como resultado, a criao e distribuio de contedo de vdeo em lngua de sinais esto acessveis no apenas para grandes empresas mas tambm para usurios utilizando computadores residenciais. A criao de mdia de vdeo utilizada atualmente no s para apresentao de contedo como tambm para o ensino da lngua de sinais. Essa opo porm possui desvantagens, entre as quais destacam-se: Custo. Uma vez que se faz necessrio o uso de infraestrutura fsica especfica, como cmera de vdeo, sala apropriada para gravao, com iluminao e fundo adequados. Participao de pessoas treinadas que conheam em detalhes a lngua de sinais. Para gravar contedo de vdeo em lngua de sinais necessria a participao de pelo menos um intrprete experiente.

Captulo 1 Introduo Manuteno. Para a criao de um vdeo consistente necessrio haver continuidade, utilizando a mesma pessoa para reproduzir os sinais, com as mesmas roupas e o mesmo fundo. Dessa forma, criar pequenas partes de vdeo e depois agrup-las para formar um nico material no tarefa trivial. A cada detalhe alterado no contedo, novo vdeo tem de ser produzido, tornando difcil a manuteno do material e aumentando os custos. Atualizao de contedo. Por exemplo, se um website constantemente atualizado, o uso de vdeo com intrpretes para traduzir o mesmo contedo pode ser pouco eficiente, pois ser necessrio regravar o vdeo frequentemente. Transmisso e armazenamento. Trabalhar com arquivos de vdeo outra dificuldade, uma vez que geralmente so arquivos grandes. necessria uma conexo de internet rpida e estvel para a transmisso e recepo de vdeos. Para armazenamento, preciso utilizar unidades de disco rgido ou DVD. Por exemplo, um vdeo de 2 minutos em formato MPEG-4 contendo o alfabeto em ASL ( American Sign Language) ocupa 6,62 MB de espao em disco, o equivalente a 6.946.816 bytes. Um arquivo de texto contendo a descrio do mesmo contedo no sistema de transcrio proposto pelo presente trabalho ocupa 4 KB, o equivalente a 4.096 bytes. Neste caso, o arquivo de vdeo cerca de 1696 vezes maior do que o arquivo de texto que descreve o mesmo contedo, para apenas 2 minutos de sinalizao. Indexao. Para posterior busca pelo contedo de vdeo necessrio que o material seja indexado, caso contrrio, existe a possibilidade de se obter um excesso de informaes desorganizadas, de difcil acesso e sem possibilidade de pesquisas e buscas. Um agente virtual sinalizador um modelo tridimensional que representa uma figura humana e
que articula em lngua de sinais. Esta opo mostra-se como uma alternativa conveniente ao uso de

vdeos. Entre as vantagens, destaca-se que a criao de contedo em lngua de sinais poder ser realizada por uma nica pessoa utilizando um computador, sem a necessidade de equipamentos especiais para captura e processamento de vdeos. O contedo tambm pode ser criado mais facilmente, por pessoas no necessariamente treinadas e com fluncia em lngua de sinais. H a possibilidade de gerao de contedo em tempo real. Dessa forma, a continuidade tambm deixa de ser um problema, uma vez que o contedo poder ser alterado a qualquer momento, sem a necessidade de regravar a sequncia de sinalizao inteira. O armazenamento do contedo outra

Captulo 1 Introduo vantagem. O espao em disco no computador requerido para armazenar a descrio dos sinais bastante inferior se comparado ao armazenamento de arquivos de vdeo. A transmisso do contedo tambm facilitada, uma vez que o contedo transcrito pode ser armazenado em arquivos de texto, que so menores e mais fceis de serem transmitidos em comparao arquivos de vdeo. Existe ainda a possibilidade de oferecer ao usurio controle adicional sobre o material transmitido, como alterao do ponto de vista durante a reproduo para que o sinal seja mais bem visualizado, o que impossvel na reproduo por vdeo. A animao de lngua de sinais por meio de agentes virtuais portanto uma alternativa ao uso de vdeos de intrpretes reais. Os agentes virtuais, ou avatares, fazem parte de pesquisas que buscam aumentar a acessibilidade computacional dos deficientes auditivos. No entanto, as solues apresentadas na literatura at o momento para a animao de agentes virtuais sinalizadores possuem limitaes. Para reproduzir virtualmente a sinalizao de lnguas de sinais necessrio conhecimento profundo da estrutura lingustica dos sinais, a fim de recriar todos os detalhes relevantes para o entendimento dos sinais pela comunidade de surdos. Para uma sinalizao realista e mais prxima da lngua utilizada pelos surdos no basta manter um dicionrio de sinais e reproduzi-los em sequencia. Faz-se necessria a incorporao de outras caractersticas da sinalizao, como coproduo por exemplo, no agente virtual sinalizador. Em outras palavras, necessrio utilizar um sistema de transcrio das lnguas de sinais, a fim de registrar as informaes necessrias para gerar animao computacional por meio de avatares.

1.1.3 Relevncia de um sistema de transcrio das lnguas de sinais

Com o intuito de implementar um agente virtual sinalizador necessrio utilizar um sistema de transcrio de lngua de sinais que registre todos os detalhes relevantes com o objetivo de reproduzir a naturalidade e espontaneidade presentes no trabalho do intrprete real, na tentativa de garantir o entendimento do sinal reproduzido. Os sistemas de transcrio tradicionais, como Stokoe, SignWriting e HamNoSys, que sero apresentados no Captulo 2, no foram desenvolvidos com o intuito de gerar animaes, nem tampouco registrar frases inteiras, mas apenas sinais isolados. E mesmo assim, muitas informaes importantes para a reproduo do sinal so omitidas. Algumas informaes

Captulo 1 Introduo implcitas podem facilmente ser deduzidas por intrpretes reais, mas o mesmo no acontece com o uso de um intrprete virtual. Apesar dos esforos na rea, ainda no h consenso sobre a estrutura das lnguas de sinais (McCLeary & Viotti, 2007). Os linguistas da rea buscam entender quais informaes so relevantes e devem ser registradas nas transcries. No entanto, as pesquisas lingusticas sobre lngua de sinais existem h pouco mais de meio sculo, tendo como pioneiro o trabalho de Stokoe (1960). Diferentemente das lnguas orais, que h milhares de anos tm sido representadas por um sistema quase-fonolgico, o alfabtico, as lnguas sinalizadas carecem de qualquer sistema de escrita largamente aceito, que possa servir como base de uma transcrio prpria. Desse modo, ainda no existe um sistema de transcrio tradicional e consolidado para a descrio das lnguas de sinais, muito menos voltado para fins computacionais. Surge ento a necessidade da criao de um sistema de transcrio abrangente, contendo o maior nmero de informaes relevantes, para garantir a animao automtica, e sobretudo realista, de agentes virtuais sinalizadores. Dentre as contribuies que o sistema de transcrio proposto pelo presente trabalho busca oferecer, destacam-se como principais a possibilidade de: Gerar contedo, de forma automtica, e em tempo real. No presente trabalho no existe nenhuma animao pr-gravada. Apenas as descries dos sinais so armazenadas. Dessa forma, a animao do personagem gerada toda vez que o usurio, atravs da interface do programa, solicitar visualizar a animao. Diz-se portanto que a animao gerada de forma automtica (sem a interferncia do usurio no processo de gerar a animao) e em tempo real (ao clicar do mouse). Um sistema de transcrio que detalhe as caractersticas dos sinais possibilita o desenvolvimento de ferramentas que, a partir do contedo transcrito, gere animaes em qualquer lngua de sinais. Transcrever, alm de sinais isolados, frases em lngua de sinais, prevendo a sinalizao de coarticulao e a inflexo de verbos. Indexar e compartilhar material j existente. Um sistema de transcrio para lngua de sinais pode ser utilizado para catalogar material existente, oferecendo uma maneira eficiente de compartilhar dados sobre o material publicado com outros pesquisadores.

Captulo 1 Introduo Criar um dicionrio de sinais classificado por traos distintivos. possvel classificar os sinais atravs de suas caractersticas indivisveis, por exemplo, sinais de uma ou duas mos, com ou sem movimento, assim por diante. Para se produzir um dicionrio de lngua de sinais que permita ao utilizador procurar um sinal por diferentes caractersticas, um banco de dados organizado ao longo das linhas fonolgicas indispensvel. Realizar manipulaes estatsticas dos sinais. Ter um banco de dados de sinais com suas respectivas descries fonolgicas pode tornar mais fcil para um usurio executar automaticamente diversos tipos de manipulaes estatsticas dos dados. Embora seja possvel armazenar descries fonolgicas na forma de prosa, uma abreviao dessa descrio atravs do uso de um sistema de transcrio ocupar menos espao de armazenamento e facilitar posteriores buscas pelo contedo (Miller 1994). Dar um passo em busca de uma notao padro para as lnguas de sinais. Uma vez que ainda se conhece pouco sobre a estrutura das lnguas de sinais, todo trabalho que busca descrev-la, pode resultar em uma melhor compreenso das lnguas gestuais-visuais. Poupar tempo e esforo dos pesquisadores. Com o uso de um sistema de transcrio possvel diminuir o tempo gasto na produo de fotografias, desenhos e vdeos para a descrio das mos e ao mesmo tempo permitir que os pesquisadores apresentem de forma explcita as caractersticas dos sinais que so relevantes s suas aplicaes. Facilitar o acesso dos usurios surdos ao contedo em lngua de sinais. A apresentao de informaes em uma notao padro que seja amplamente conhecida entre os pesquisadores de lngua de sinais evita que os leitores de sinais tenham que aprender vrios sistemas de transcrio a fim de acompanhar os dados das publicaes disponveis. Reproduzir os sinais da libras em qualquer dispositivo digital. Dessa maneira, as transmissoras de TV digital, por exemplo, podem se beneficiar do sistema para aumentar a acessibilidade dos deficientes auditivos oferecendo uma alternativa ao sistema Closed Caption utilizado atualmente. importante ressaltar a relevncia social deste trabalho, que visa no somente oferecer uma ferramenta computacional para sinalizao da libras e incluso digital dos surdos, mas um sistema de transcrio das lnguas de sinais, em particular da libras. Este trabalho possui um

Captulo 1 Introduo carter multidisciplinar, cujo resultado auxiliar tambm nas pesquisas lingusticas das lnguas de sinais.

1.2 Objetivo
Este trabalho tem por objetivo apresentar um sistema de transcrio para descrever as lnguas de sinais com o intuito de gerar animao por computador. O segundo objetivo criar um programa de computador que gere a animao em libras atravs de um avatar 3D por meio do sistema de transcrio proposto. Analisando os elementos dos sistemas de transcrio existentes, foram observadas algumas informaes inexistentes ou incompletas, que so imprescindveis para a reproduo computacional de contedo em lngua de sinais e sero includas neste trabalho. Dessa forma, podemos resumir o objetivo do trabalho como sendo criar um sistema de transcrio das lnguas de sinais para fins computacionais que contenha as seguintes caractersticas: Estruturao das caractersticas descritivas dos sinais de maneira organizada e hierrquica. Descrio explcita de simultaneidade e sequencialidade dentro de um sinal. Contextualizao e parametrizao de sinais, como um primeiro passo na criao de um sistema de transcrio para criao de contedo sinalizado. Descrio detalhada de expresses no manuais, como faciais e corporais. Utilizao do principio da simetria, que torna a descrio mais compacta e diminui a chance de falhas. Descrio de configurao de mo, pontos de localizao no espao de sinalizao e outras caractersticas, de um ponto de vista geomtrico. Descrio de sinais compostos. Descrio de configurao de mo utilizando as trs juntas, proximal, medial e distal. Utilizao de uma notao textual, mais adequada para fins computacionais, tornando sua implementao por programa de computadores mais fcil e direta. 8

Captulo 1 Introduo

1.3 Contribuies
De forma sucinta, esta seo aponta as contribuies diretas deste trabalho. Em primeiro lugar, uma contribuio a anlise e o levantamento de quais caractersticas so necessrias e suficientes para a descrio de sinais da libras para posterior animao de personagens 3D. Segundo, o trabalho oferece um sistema de transcrio da libras que descreve os sinais atravs das caractersticas identificadas, organizando as informaes de forma hierrquica e explcita. Em terceiro lugar, foi implementada uma ferramenta que l os sinais transcritos pelo sistema proposto e gera contedo sinalizado. A ferramenta independente de personagem 3D e foi avaliada, pelos prprios deficientes auditivos, sendo que os resultados revelaram que os sinais transcritos e animados pelo personagem 3D so inteligveis.

1.4 Organizao do texto


Este trabalho est organizado da seguinte maneira. No Captulo 2 realizada uma reviso bibliogrfica dos sistemas de transcrio existentes na literatura. No Captulo 3 apresentado o sistema de transcrio de sinais. No Captulo 4 apresentado o sistema de transcrio de enunciados. No Captulo 5 so apresentados detalhes da implementao do agente virtual sinalizador, que utiliza o sistema de transcrio proposto para realizar a animao do modelo. No Captulo 6, so apresentados os resultados das avaliaes realizadas. No Captulo 7, so apresentadas as concluses finais e trabalhos futuros.

Captulo 1 Introduo

10

Captulo 2 Reviso dos sistemas de transcrio existentes

2.1 Introduo
O estudo dos movimentos do corpo e das expresses faciais humanas no um campo novo de pesquisa. Movimentos e expresses faciais so utilizados h sculos por artistas em geral, como atores, danarinos e pintores, para atribuir realismo e sentimento s suas obras. Mais recentemente, designers grficos e de animao por computador tambm estudam as expresses corporais e faciais, a fim de transmitir emoo e personalidade a personagens virtuais. Desde meados de 1950 estudiosos tentam criar sistemas de transcrio para descrever movimentos. Um dos primeiros registros de um sistema de transcrio para lngua de sinais de Stokoe (1960). Uma grande variedade de sistemas de transcrio surgiram desde ento. Porm, segundo McCleary & Viotti (2007), os sistemas de transcrio disponveis atualmente no tm atingido aceitao ampla na literatura lingustica pela dificuldade de leitura que apresentam para pessoas no especialmente treinadas. Apesar de as lnguas sinalizadas serem estudadas pelos linguistas por mais de meio sculo, o problema de sua transcrio continua sendo um desafio sem soluo clara. Miller (1994) aponta algumas deficincias dos principais sistemas de transcrio das lnguas de sinais. Em particular, para os propsitos do presente trabalho, interessante listar as principais dificuldades em se adaptar os sistemas de transcrio existentes para produo automatizada de contedo sinalizado com o uso de programas de computador. So elas: Sequencialidade. Incapacidade de descrever vrios acontecimentos que ocorrem simultaneamente. Falta de descrio de localizao de um ponto de vista geomtrico.

11

Captulo 2 - Reviso dos sistemas de transcrio existentes Uso de descrio icnicas/imagticas ao invs de textual. Dessa forma a transcrio dos sinais para uma aplicao computacional dificultada. Falta de descrio de expresses no manuais, como as faciais: piscar de olhos e movimentao da boca, entre outras. As expresses faciais so importantes e muitas vezes fundamentais para a interpretao correta de uma sinalizao. Para melhor exemplificar o problema da descrio de lngua de sinais para uso computacional esta seo aponta quais as caractersticas um sistema de transcrio precisa ter para ser interpretado por um programa de computador. Ou melhor, traado um perfil esperado de um sistema de transcrio para que o mesmo seja compatvel com a implementao de avatares sinalizadores. Em primeiro lugar, como aponta Miller (1994), um sistema de transcrio para fins computacionais deve ser capaz de descrever eventos que ocorram simultaneamente. Por outro lado, algumas caractersticas do sinal devem ser reproduzidas em sequncia. Por exemplo, um sinal pode iniciar com uma configurao de mo A, em seguida realizar um movimento com a mesma mo e finalizar o sinal com uma configurao de mo B. Esta sequencialidade de eventos no pode ser alterada, pois caso contrrio a sinalizao resultante no passar o mesmo significado. Portanto, o sistema de transcrio deve obrigatoriamente distinguir entre sequencialidade e simultaneidade de eventos. Em outras palavras, algumas caractersticas do sinal devem ser claramente descritas como sendo simultneas, enquanto outras devem ser descritas de forma sequencial. Identificar quais so estas caractersticas tarefa indispensvel para a criao de uma notao consistente. Outro ponto importante a ser considerado que para criar contedo sinalizado no basta descrever sinais isolados. necessrio descrever tambm a maneira como esses sinais comportam-se quando contextualizados. Em sinalizaes reais geralmente os sinais so parametrizados de alguma maneira para que faam sentido no contexto da frase. Por exemplo, existe a flexo verbal na libras, que altera caractersticas do sinal, como localizao, orientao ou nmero de repeties do movimento de um sinal. desejvel que estas e outras parametrizaes do sinal sejam descritas em um sistema para produo automtica de contedo sinalizado. A descrio de frases em libras ser detalhada no Captulo 4.

12

Captulo 2 - Reviso dos sistemas de transcrio existentes Outra caracterstica necessria de um sistema de transcrio de lngua de sinais para fins computacionais a descrio detalhada de expresses no manuais, como movimentos de cabea, tronco e face. O sistema de transcrio deve tambm descrever, de forma nica e no ambgua, as configuraes de mo, para que as juntas dos dedos sejam corretamente manipuladas a fim de alcanar a pose desejada. A configurao de mo de extrema importncia no entendimento de um sinal, de maneira que alguns sinais distinguem-se apenas por esta caracterstica. Um sistema de transcrio para fins computacionais deve tambm conter informaes que descrevam detalhadamente a movimentao do personagem virtual. A velocidade do movimento uma dessas informaes. Os sinais apresentam velocidade de sinalizao diferentes, ou seja, as mos movem-se de maneira mais rpida ou mais lenta de acordo com o sinal. H situaes em que em um mesmo sinal existe variao de velocidade das mos, acelerando ou desacelerando o movimento. E a velocidade de sinalizao pode variar tambm com a contextualizao dos sinais dentro de uma frase. A repetio do movimento outra informao importante para criar uma boa sinalizao virtual. Alguns movimentos repetem-se por um nmero varivel de vezes. Outros porm repetem-se por um nmero fixo de vezes. E existem situaes em que o movimento se repete at que uma condio seja satisfeita. Por exemplo, alguns sinais movimentam os dedos enquanto a mo tambm se movimenta, deslocando-se pelo espao. Neste caso, no existe um nmero exato de vezes em que o movimento dos dedos se repete, ou seja, o movimento de dedos vai se repetindo at que a mo pare de se movimentar pelo espao. Ainda em relao ao movimento, temos a dinmica das mos, ou seja, se as mos movemse juntas, espelhadas ou alternadas, por exemplo. Esta informao tambm deve estar contida no sistema de transcrio. Miller (1994) aponta ainda duas caractersticas importantes de uma notao: a descrio da localizao das mos de um ponto de vista geomtrico e a utilizao de uma notao textual, em contraste com a notao icnicas/imagticas comumente utilizada pelos sistemas de transcries. Em resumo, as caractersticas mnimas necessrias de um sistema de transcrio para fins computacionais so listadas a seguir: simultaneidade e sequencialidade de aes

13

Captulo 2 - Reviso dos sistemas de transcrio existentes contextualizao e parametrizao de sinais expresses no manuais, como faciais e corporais configurao de mo velocidade de movimento repetio de movimento dinmica de movimento pontos de localizao no espao tridimensional de um ponto de vista geomtrico notao textual. Alm das caractersticas listadas acima existem outras que, embora no sejam indispensveis, auxiliam e facilitam a descrio de um sinal. Alguns sinais so chamados de compostos por serem formados pela juno de dois ou mais sinais. Para uma descrio computacional de sinais compostos desejvel que o sistema de transcrio seja capaz de citar os dois sinais componentes, dispensando o usurio de descrev-los novamente. Outra caracterstica desejvel em um sistema de transcrio a possibilidade de descrever a condio de simetria das mos, caso ela esteja presente em um sinal. Existem sinais que possuem configurao de mo e movimentos simtricos. Para estes sinais interessante permitir ao usurio descrever a configurao de mo e movimento de apenas uma das mos, e indicar que para a outra mo a sinalizao deve ser simtrica. Dessa forma, alm das caractersticas necessrias de um sistema de transcrio, podemos listas as caractersticas desejveis, como segue: descrio de sinais compostos descrio de condio de simetria das mos Com as caractersticas necessrias somadas s caractersticas desejveis possvel traar um perfil desejvel de um sistema de transcrio para que o mesmo seja implementado com sucesso em um sinalizador virtual das lnguas de sinais.

14

Captulo 2 - Reviso dos sistemas de transcrio existentes Miller (1994) estabeleceu uma relao entre os principais sistemas de transcrio, ilustrada na Figura 2.1.

Figura 2.1: Arvore genealgica dos sistemas de transcrio (Miller, 1994).

As prximas sesses discutem os sistemas da Figura 2.1 e outros recursos adicionais utilizados pelos linguistas para descrever contedo sinalizado.

2.2 Notao de Stokoe e suas extenses


Um dos primeiros trabalhos voltados anlise e registro de uma lngua de sinais foi apresentado em 1960 por Stokoe (Stokoe, 1960).

15

Captulo 2 - Reviso dos sistemas de transcrio existentes O sistema de transcrio de Stokoe baseado no alfabeto latino e foi criado para descrever a lngua de sinais americana ASL na busca de mostrar que ela seria uma lngua natural. Stokoe demonstrou que, ao contrrio do que se pensava na poca, os sinais no so gestos e mmicas. Os itens lexicais da ASL, e por extenso das demais lnguas de sinais, so, assim como as palavras das lnguas orais, passveis de decomposio em unidades menores. Stokoe props que essas unidades, que chamou de querema - chereme, do grego khir, mos (Leite, 2008) - ocorrem simultaneamente e so de trs tipos: Designator: configurao de mo. Disposio dos dedos durante a produo dos sinais. Tabula : localizao. Lugar no corpo ou em frente a ele em que os sinais so realizados. Signation: movimento. Forma como a mo se desloca no espao para articular um sinal. Stokoe referiu-se aos queremas como sendo elementos sem significado que combinados formam os sinais de uma lngua, analogamente aos fonemas das lnguas faladas (Liddell & Johnson, 1989). O termo querema acabou sendo abandonado por pesquisadores das lnguas de sinais, sendo chamados atualmente de traos dos sinais (Leite 2008). Pela Figura 2.1 possvel notar que o sistema de transcrio proposto por Stokoe gerou extenses e algumas adaptaes foram propostas. No entanto, para os propsitos deste trabalho, a notao de Stokoe foi considerada insuficiente. Comparando a notao com o perfil traado na seo 2.1, possvel apontar algumas dificuldades em sua utilizao como um sistema de transcrio de contedo em lngua de sinais para fins computacionais. Uma grande dificuldade de utilizar a notao de Stokoe para gerar contedo de forma automtica sua caracterstica sequencial. Stokoe no descreve explicitamente a simultaneidade de eventos que ocorrem nas lnguas gestuais. Esta estrutura sequencial de Stokoe dificulta a compreenso dos sinais pela leitura da transcrio. Para conhecedores da transcrio de Stokoe e das lnguas de sinais, a reproduo dos sinais atravs de uma descrio textual pode no ser complicada. No entanto, para criar um programa de computador que realize a sinalizao automaticamente, a sequencialidade da transcrio dificulta o trabalho, uma vez que para a reproduo deve-se considerar que os sinais so compostos por Designator (configurao), Tabula (localizao) e Signation (movimento) ocorrendo simultaneamente.

16

Captulo 2 - Reviso dos sistemas de transcrio existentes Por outro lado, a estrutura interna dos sinais nem sempre simultnea (Leite, 2008). Por exemplo, o sinal SURDO da libras envolve dois toques com o dedo indicador no rosto, um primeiro toque na regio abaixo da orelha e um segundo na regio ao lado da boca, com a trajetria em arco entre os dois pontos. Trocar a ordem desses movimentos resulta em um sinal inexistente na libras. Dessa maneira, o sinal SURDO apresenta uma sequencialidade que no pode ser ignorada no sistema de transcrio proposto. A notao de Stokoe no representa de maneira adequada a simultaneidade e sequencialidade de eventos que ocorre nas sinalizaes. Outra restrio de Stokoe o fato de trabalhar com um nmero finito de configuraes de mos, atribuindo a cada uma um smbolo. Dessa forma, para descrever uma nova configurao de mo, um smbolo j existente e que mais se aproxime nova configurao utilizado. Uma vez que a lngua de sinais no esttica, ou seja, novos sinais podem surgir necessitando de configuraes no existentes, a limitao das configuraes de mo um problema. Outra limitao do sistema de transcrio de Stokoe a falta de representao de expresses no manuais, que so fundamentais para o entendimento de muitos sinais, como por exemplo a representao de expresses faciais. O trabalho de Liddell (1978) mostra que para reproduzir uma histria com personagens sem nome, os sinalizadores podem utilizar expresses da face distintas para atribuir os sinais reproduzidos aos diferentes personagens. No entanto, outras expresses no manuais tambm podem ser utilizadas durante a sinalizao. Para exemplificar a notao de Stokoe considere o sinal CASA da ASL articulado com as duas mos planas apontadas para cima e com a ponta dos dedos de ambas as mos se tocando, conforme ilustra a Figura 2.2. Desta posio, as mos se separam e movem-se na diagonal para baixo por uma pequena distncia, e depois continuam descendo, mas em linha reta. Este movimento traa o contorno do telhado e das paredes de uma casa. A Figura 2.3 mostra o sinal CASA escrito no sistema de transcrio de Stokoe. O sinal articulado com as duas mos, com a mesma configurao de mo utilizada na letra B, mo plana (Figura Figura 2.41). Por isso a descrio de CASA comea com duas letras B.

http://www.acessobrasil.org.br/libras/ Acessado em: 01/05/2011.

17

Captulo 2 - Reviso dos sistemas de transcrio existentes

Figura 2.2: Sinal CASA da ASL.2 Sinal CASA (ASL): Mos em configurao de B, pontas dos dedos das duas mos se tocam. Mos movem-se separadamente, de maneira espelhada, afastando-se uma da outra com um movimento para baixo e na diagonal. Depois de um tempo, as mos continuam a descer, mas num movimento reto, no mais na diagonal. O movimento realizado lembra o contorno do telhado e das paredes de uma casa.

Figura 2.3: Sinal CASA escrito no sistema de transcrio Stokoe.

Figura 2.4: Configurao de mo B.

As mos apontam para cima, por isso o sinal de ^ subscrito na letra B. O apstrofo sobrescrito na letra B (') indica next to, ou seja, os dedos das mos se tocam. O sinal de indica que as mos movem-se separadamente (Stokoe 1960) e o sinal de v indica que esse movimento para baixo. No entanto a notao no descreve que o movimento para baixo primeiro na diagonal e depois reto. No descrito tambm como ocorre o contato entre as duas mos, qual parte dos dedos toca qual parte da outra mo, por exemplo. Outra caracterstica da notao de Stokoe a descrio apenas de sinais isolados sem a opo de contextualizao de sinais para criar contedo.
2

http://www.signingsavvy.com/sign >. Acessado em: 01/05/2011.

18

Captulo 2 - Reviso dos sistemas de transcrio existentes

2.2.1 Extenses da notao de Stokoe

Quando o estudo de Stokoe (1960) foi publicado, a existncia de uma notao para registrar sua estrutura fonolgica era argumento importante para garantir s lnguas de sinais o status de lngua verdadeira. O fato de que uma lngua de sinais poderia ser representada na forma escrita como sendo composta de um conjunto de subpartes sistematicamente estruturadas foi argumento para o reconhecimento de seu status lingustico (Miller, 1994). A primeira notao fonolgica das lnguas de sinais que se tornou conhecida foi descrita em Stokoe (1960) e no Dicionrio de Lngua Gestual Americana sobre princpios lingusticos (Stokoe et al., 1965). Desde ento Stokoe tem inspirado extenses e adaptaes da notao para outras lnguas de sinais diferentes da ASL: pesquisadores da Universidade da Califrnia em Berkeley (Friedman 1976, Mandel 1981); Bergman (1979) para a lngua de sinais sueca; Schermer(1990) para a lngua de sinais da Holanda; Corazza (1990) para a lngua de sinais italiana; Kyle & Woll(1985) para a lngua de sinais britnica e HamNoSys, desenvolvida na Alemanha, porm com o objetivo de ser utilizada universalmente. Revises independentes em diferentes pases tm dado origem a uma famlia de sistemas de notao baseadas na notao de Stokoe. No entanto, o resultado que no existe mais uma verso nica e universalmente aceita da notao de Stokoe. Entre as extenses e adaptaes citadas acima, apenas HamNoSys resultou em publicaes e se tornou conhecida fora de seu pas de origem. A notao de HamNoSys descrita na seo a seguir (Miller, 1994).

2.2.2 HamNoSys

HamNoSys sigla de Hamburg Sign Language Notation System (Prillwitz et al, 1989). Este sistema, derivado de Stokoe formado por aproximadamente duzentos smbolos representando os traos dos sinais, ou seja, configurao de mo, localizao e movimentao. Segundo Miller (1994), as notaes derivadas de Stokoe, em especial HamNoSys, so as mais utilizadas pelos pesquisadores atualmente.

19

Captulo 2 - Reviso dos sistemas de transcrio existentes Uma limitao de HamNoSys, que tambm ocorre em Stokoe, a falta de estrutura para a representao de sinais no manuais. A sequencialidade da notao tambm uma desvantagem, pelo fato de no representar de forma no ambgua a simultaneidade da sinalizao. Existem estudos utilizando a notao HamNoSys com o objetivo de gerar animaes tridimensionais para os sinais. O projeto eSign (Kennaway 2007) utiliza uma notao XML chamada SiGML, baseada em HamNoSys. O trabalho prope um plugin para navegadores de internet capaz de traduzir contedo escrito e reproduzir o correspondente em lngua de sinais. O sistema independente de modelo, ou seja, no faz referncia direta s dimenses de um modelo em particular. Segundo os autores do projeto (Kennaway 2004) a notao HamNoSys teve de ser adaptada para ser utilizada em ambientes computacionais e criar o SiGML, e mesmo assim o SiGML possui limitaes. A notao SiGML descreve a velocidade de execuo dos sinais apenas como rpido, devagar ou velocidade mdia. No entanto, se ocorrer a necessidade de variar a velocidade durante a sinalizao, no possvel realizar tal descrio. Por exemplo, um sinal pode comear a ser executado com velocidade normal e ter velocidade de execuo rpida ao final da sinalizao. Novamente no existe descrio de contextualizao de sinais em HamNoSys, nem tampouco descrio de sinais compostos ou de condio de simetria.

2.3 Notao de West


Em 1960, mesmo ano em que Stokoe publicou sua notao, LaMont West, em sua tese de doutorado sobre Plains Indian Sign Language, desenvolveu um outro sistema de notao baseado em princpios semelhantes aos de Stokoe. Uma diferena significativa entre as duas notaes que, enquanto Stokoe buscava dar a seus smbolos um valor mnemnico (ou seja, formas de mo representados por letras, nmeros correspondentes ao alfabeto manual e valores numricos; movimentos e partes do corpo representados iconicamente), West adota, numa base essencialmente arbitrria, letras impressas e alguns smbolos emprestados da transcrio fontica das lnguas orais para representar partes do corpo, configurao de mo e direo, sem distino entre estas caractersticas. As nicas distines na notao de West so: smbolos de consoantes surdas (com ou sem diacrticos)

20

Captulo 2 - Reviso dos sistemas de transcrio existentes representam formas de mo, consoantes sonoras representam localizao (parte do corpo ou espacial), vogais representam direo espacial e tipos de movimento so representados por smbolos de consoantes nasais. Provavelmente pelo trabalho de West ser a descrio de um sistema lingustico secundrio com uma comunidade limitada de usurios, ao contrrio do trabalho Stokoe, que descreveu o idioma principal da grande comunidade de surdos dos Estados Unidos e de parte do Canad, West recebeu pouca ateno entre os linguistas da poca e teve, assim, praticamente nenhuma influncia sobre pesquisas posteriores.

2.4 Papaspyrou
Este sistema foi proposto em 1990 como tese de doutorado de Papaspyrou. Assim como West, este sistema baseado em smbolos alfabticos, ao contrrio das notaes derivadas de Stokoe, e no em princpios mnemnicos. Tambm no h registros de extenses ou grande aceitao pelos linguistas.

2.5 Eshkol-Wachmann
Cohen et al (1977) utilizou uma notao de dana criada em Israel por Noa Eshkol e Avraham Wachman para criar um dicionrio da lngua de sinais de Israel. Infelizmente no foram encontradas publicaes para uma anlise detalhada desta notao.

2.6 Jouison
Apresentado em Jouison (1990), esta notao descreve movimentos, no necessariamente de lngua de sinais. A notao de Jouison tem por objetivo transcrever todos os comportamentos comunicativos do intrprete, sem se preocupar se a comunicao feita atravs de lngua de sinais ou por mmica, com o intuito de possibilitar posterior anlise do contedo sinalizado sem contaminar a descrio dos movimentos (Miller, 1994). 21

Captulo 2 - Reviso dos sistemas de transcrio existentes

2.7 SignFont
SignFont uma fonte para Windows e Macintosh desenvolvida para transcrever contedo sinalizado em documentos de computador. Os smbolos so icnicos, com figuras de mos para representar configuraes de mo. Inclui smbolos para expresses no manuais e pontos de localizao no espao. uma notao linear e possui repertrio limitado de smbolos.

2.8 SignWriting

O sistema de transcrio SignWriting (Sutton, 1999) foi criado em 1974 com o objetivo de capturar o movimento que estava sendo executado na lngua de sinal e represent-lo, sem a preocupao de fazer uma anlise das lnguas de sinais. SignWriting definida por trs estruturas bsicas: configurao de mo, contato e movimento. Em SignWriting a posio das mos pode ser fechada, aberta ou mo plana, ilustradas na Figura 2.5 a, b e c, respectivamente. Os sinais so escritos com a perspectiva de quem est sinalizando, ou seja, olhando as prprias mos. Dessa forma, podem ser representadas a palma, dorso ou o lado da mo. O espao de sinalizao representado em SignWriting com o uso de setas.

(a)

(b)

(c)

Figura 2.5: Representao de mos em SignWriting

22

Captulo 2 - Reviso dos sistemas de transcrio existentes

Um grande diferencial de SignWriting, alm da representao de expresses faciais, a descrio da dinmica dos movimentos. Em SignWriting existem smbolos de dinmica que podem ser adicionados aos smbolos de movimento ou de expresses faciais para representar simultaneidade, como por exemplo quando ambas as mos movem-se ao mesmo tempo, movimentos alternados, movimento rpido, suave, tenso e relaxado. A Figura 2.6 mostra o sinal CASA (Figura 2.2) descrito em SignWriting.

Figura 2.6: sinal CASA escrito em Signwriting

Em SignWriting, o smbolo da Figura 2.7 (a) usado para representar sinais articulados com a palma da mo voltada para o lado, como ilustra a Figura 2.7 (b).

Figura 2.7: Smbolo para lado da mo em SignWriting e ilustrao correspondente (Stumpf)

Como as mos esto inclinadas no sinal CASA, o smbolo que aparece na descrio deste sinal inclinado. O asterisco no topo da notao indica que existe o contato ali, entre as pontas dos dedos. Os sinais de flecha para baixo (Figura 2.8) indicam o movimento que as mos fazem 23

Captulo 2 - Reviso dos sistemas de transcrio existentes na diagonal e para baixo, como se estivessem contornando o telhado de uma casa. A seta correspondente mo direita preenchida (seta escura) e mo esquerda no preenchida (seta branca).

Figura 2.8: Smbolo para movimento para baixo na diagonal em SignWriting (Stumpf)

Finalmente o sinal de parnteses na horizontal, que aparece abaixo das setas, indica que o movimento realizado simultaneamente. Vale ressaltar que novamente no descrito como ocorre o contato entre as duas mos, ou seja, qual parte dos dedos toca qual parte da outra mo. Apesar de bastante abrangente, SignWriting no detalhada o suficiente para a reproduo computacional dos sinais. SignWriting icnicas/imagticas e portanto no descreve os sinais de forma geomtrica. Descreve apenas sinais isolados, sem contextualizao. SignWriting descreve repetio de movimento atravs da duplicao do smbolo de movimento. Por exemplo, uma seta semicircular como da Figura 2.9 (a) indica movimento curvo para cima. O smbolo ao lado (Figura 2.9 b) representa o mesmo movimento, porm repetido, ou seja, articulado duas vezes. No entanto, como discutido anteriormente, alguns sinais repete movimentos por incontveis vezes, ou at que outro movimento termine.

Figura 2.9: Smbolo para movimento curvo para cima em SignWriting (Stumpf)

O sistema de transcrio SignWriting no suporta tambm a descrio de sinais compostos, de condio de simetria e a parametrizao e contextualizao de sinais.

24

Captulo 2 - Reviso dos sistemas de transcrio existentes

2.9 Notaes de Laban e de Farnell


Rudolf Laban foi um dos primeiros tericos de dana, e dedicou sua vida anlise e registro dos movimentos corporais. Desenvolveu uma notao de movimento intitulada Kinetography Laban, conhecida nos Estados Unidos como Labanotation (Laban, 1978). Laban analisou os elementos que constituem o movimento levando em conta aspectos psquicos e fisiolgicos, e seus estudos so hoje aplicados em diversas reas como artes, educao, trabalhos manuais, psicologia e sociologia, por exemplo. Labanotation possui smbolos para descrever a direo do movimento como ilustrado na Figura 2.10.

Figura 2.10: Direes espaciais.

O tipo de sombreado do smbolo representa o nvel do membro do corpo. Por exemplo, um elemento preenchido representa nvel baixo. Elemento mdio representado por elemento em branco com um ponto no meio. Nvel alto representado por um elemento hachurado. A Figura 2.11 ilustra algumas descries de movimento do brao, onde a forma do smbolo representa a direo do movimento e seu preenchimento representa o nvel do brao, ou melhor, sua inclinao em relao ao corpo.

25

Captulo 2 - Reviso dos sistemas de transcrio existentes

Figura 2.11: Nveis para os braos

A notao de Laban utiliza um sistema de escrita semelhante s notaes musicais. Uma partitura uma representao escrita de uma msica. Os smbolos da partitura so escritos em cinco linhas horizontais paralelas chamadas de pentagrama ou pauta. Labanotation consiste de apenas trs linhas verticais, mas ao contrrio da notao musical, onde as partituras so lidas da esquerda para direita, na Labanotation a partitura lida de baixo para cima. Dessa forma, possvel descrever movimentos da parte direita do corpo do lado direito da notao e movimentos do lado esquerdo do corpo do lado esquerdo da notao, como ilustra a Figura 2.12. As colunas do meio, intituladas Suporte (passos) registram o que Laban chamou de steps, que so movimentos com transferncia de peso. As demais colunas registram gestures, que so movimentos nos quais no existe transferncia de peso. Os mesmos smbolos ilustrados na Figura 2.10 so utilizados em todas as colunas. Cada coluna portanto representa uma parte do corpo, como brao direito e perna esquerda, por exemplo. Dessa forma a notao para um movimento composta como ilustra a Figura 2.13.

26

Captulo 2 - Reviso dos sistemas de transcrio existentes

Figura 2.12: Diviso dos elementos na notao de Laban (Cordeiro, 1998)

Para ler o exemplo acima (Figura 2.13), comeamos de baixo para cima.

Figura 2.13: Exemplo simples da Labanotation

27

Captulo 2 - Reviso dos sistemas de transcrio existentes Os smbolos e indicam que os braos esto levantados formando um ngulo de )indicam que as pernas esto no centro,

aproximadamente 45 graus com o nvel do cho. Existe um espao em branco para a descrio do corpo e gesto da perna. Os smbolos do centro ( msica. Continuando a leitura, os smbolos ombro e ao mesmo tempo, o smbolo de perna esquerda, joelho reto. Com o exemplo acima possvel notar a complexidade e abrangncia da notao de Laban. Um dos parmetros que exige detalhamento na descrio a localizao das mos durante a sinalizao do sinal. A notao de Laban (Guest, 2005) descreve a localizao dos braos e mos por meio de uma discretizao do espao tridimensional, atribuindo smbolos para descrever a posio do brao e do antebrao, como ilustra a Figura 2.10. Estes smbolos podem ser hachurados, lisos com um ponto ou preenchidos, indicando membros para o alto, para frente, ou para baixo, respectivamente. A Figura 2.11 ilustra algumas posies do brao com as respectivas descries na notao de Laban. Os smbolos para descrever o cotovelo so ilustrados na Figura 2.14, e so usados imediatamente abaixo dos smbolos da Figura 2.11 quando existe a flexo em 90 da junta do cotovelo. e joelhos retos. As duas linhas horizontais acima dos smbolos descritos indicam a contagem da indicam que os braos se erguem no nvel do na parte de dentro indica um passo frente, com a

Figura 2.14: Smbolo de descrio dos cotovelos.

A notao de Laban permite ainda a descrio de sete graus de flexo das juntas, incluindo a posio de repouso. A Figura 2.15 ilustra estes sete graus de flexo aplicados ao cotovelo. Estudos mais recentes (Guest & Kolff, 2002) adicionaram descrio para mos na Labanotation. Existem vrias aplicaes que tm como base a notao de Laban. Nota-Anna (Cordeiro, 1998), por exemplo, um software que, a partir de imagens capturadas de arquivos de vdeo de dana, gera informaes de pontos e retas que correspondem trajetria do movimento do esqueleto do danarino. 28

Captulo 2 - Reviso dos sistemas de transcrio existentes

Figura 2.15: Smbolo de flexo na descrio dos cotovelos.

O trabalho de Guimares (2002) implementa um plugin para o Maya chamado CVL (Coreografias Virtuais de Laban) que, a partir de Labanotation, permite ao usurio criar animaes. O CVL utiliza poses chave (keyframes) que so definidas pelo usurio atravs uma interface grfica com a notao de Laban, e o resultado final a animao aplicada em um esqueleto 3D. Apesar de ser suficiente para a descrio de passos de dana, a notao de Laban no foi considerada adequada para os propsitos deste trabalho. Embora a notao de Laban seja eficiente e utilizada por artistas e danarinos, analisando a notao sob o prisma do perfil desejado no presente trabalho, traado na seo 2.1, possvel apontar algumas dificuldades em sua utilizao como um sistema de transcrio de contedo em lngua de sinais, como por exemplo a falta de descrio detalhada de expresses faciais, representaes icnicas/imagticas e no representaes geomtricas, discretizao do espao de sinalizao bem como dificuldade em se descrever com preciso pontos de contato, por exemplo. A notao de Laban foi utilizada por Farnell (1990) para descrever lnguas gestuais sem, no entanto, o objetivo de gerar animao de modo automtico. Brenda Farnell adaptou a notao de Laban para a descrever o que conhecido como Plains Indian Sign Languages (PISL), que so

29

Captulo 2 - Reviso dos sistemas de transcrio existentes vrias linguagens manuais utilizadas pelos ndios da Amrica do Norte para representar diferentes lnguas de modo gestual. Ao contrrio das lnguas de sinais que evoluram naturalmente em comunidades de surdos e tm sua prpria estrutura gramatical e recursos de linguagens, a PISL foi criada por ouvintes para representar gestualmente lnguas orais e segue a gramtica das lnguas faladas pelos ndios norte americanos. Uma das dificuldades na utilizao da notao adaptada de Farnell (1990) a representao detalhada de expresses faciais. A notao de Laban foi criada com o intuito de registrar movimentos do corpo, sem a preocupao de descrever detalhadamente expresses faciais. Farnell utiliza algumas expresses faciais pr-definidas, como balanar negativamente a cabea. No entanto, no foi encontrada descrio detalhada dos elementos da face, como boca, bochechas e sobrancelhas por exemplo. Outra considerao sobre a notao de Farnell diz respeito ao espao de sinalizao. Como todas as outras caractersticas dos sinais descritas na notao, os pontos de localizao so representados de maneira icnica/imagtica e no geomtrica. Por trabalhar com um espao discreto, torna-se complicada a tarefa de descrever pontos de localizao bem prximos um do outro, situao que ocorre com bastante frequncia na libras. A descrio de contato tambm no suficiente para a implementao da notao num sinalizador virtual. Por exemplo quando ocorre o toque de um dedo com o nariz, no fica claro na notao qual parte do dedo est tocando o nariz. Alm das dificuldades citadas acima, no foi encontrado nenhuma referncia sobre a notao de Laban, bem como sua adaptao por Farnell (1990), que descrevesse parametrizao de sinais, sinais compostos ou condio de simetria das mos.

2.10 Liddell & Johnson


Liddell & Johnson (1989) estudaram a estrutura das lnguas de sinais e criaram uma representao abrangente e utilizada por linguistas da atualidade. O modelo descreve que todo sinal composto de movimentos e suspenses. Os momentos em que as mos esto paradas no espao de sinalizao so chamados de hold (suspenso) e os momentos em que as mos esto se movendo so chamados de movement (movimento).

30

Captulo 2 - Reviso dos sistemas de transcrio existentes O modelo de Liddell & Johnson (1989) descreve os sinais como sendo compostos por um nico segmento (de movimento ou de suspenso), ou por uma sequncia de segmentos. Movimentos e suspenses so descritos atravs dos chamados feixes de traos: feixe segmental e feixe articulatrio. O feixe segmental especifica a atividade de mo, se a mo est parada ou se movendo. A funo desse trao distinguir entre movimento e suspenso. O feixe articulatrio descreve a postura da mo, sua configurao, localizao e orientao. A Figura 2.16 ilustra a representao destes segmentos.

Suspenso

Movimento

Figura 2.16: Representao de suspenso e movimento no modelo de Liddell e Johnson.

O sinal LEITE da libras por exemplo inicia a sinalizao com a mo na altura do peito e faz um movimento reto, por duas vezes, at a altura do abdmen. O sinal LEITE (Figura 2.17) representado no modelo de Liddell & Johnson (1989) como ilustra a Figura 2.18.

Figura 2.17: Sinal LEITE da libras (Capovilla et al., 2009)

Sinal LEITE: Mo em S horizontal, palma para trs. Mov-la para cima e para baixo, abrindo-a e fechando-a ligeiramente.

31

Captulo 2 - Reviso dos sistemas de transcrio existentes

Figura 2.18: Representao (parcial) do sinal LEITE no modelo de Liddell & Johnson (1989) (Xavier, 2006).

As letras M e S da Figura 2.18 representam movimento e suspenso, respectivamente. O sistema desenvolvido por Liddell & Johnson (1989) prev ainda uma matriz de traos para a descrio de expresses no manuais. O modelo de Liddell & Johnson (1989) possui grande poder descritivo. Apresenta uma descrio detalhada de configurao de mo, localizao, movimento e orientao. O modelo descreve a sequencialidade das caractersticas do sinal, diferentemente dos demais modelos propostos na literatura. Mas novamente o modelo em questo foi concebido para fins de anlises lingusticas. Os autores reconhecem que existe pouco conhecimento sobre as lnguas sinalizadas em comparao s lnguas orais (Xavier, 2006).

2.11 Sistema de notao por glosas


Os sistemas de transcrio mencionados nas sees anteriores no possuem poder de descrio suficientemente abrangente para leitura por pessoas no especialmente treinadas. Uma alternativa o sistema de notao por palavras, que vem sendo adotado por pesquisadores de lnguas de sinais em vrios pases, inclusive no Brasil. O sistema tem este nome porque as palavras de uma lngua oral so utilizadas para representar aproximadamente os sinais (Brito, 1995). Estas palavras so conhecidas pelos linguistas como glosas. Em geral, para transcrever lngua de sinais, os linguistas adotam alguma variao de um sistema de glosas, em que uma

32

Captulo 2 - Reviso dos sistemas de transcrio existentes palavra em ingls ou outra lngua escrita, grafada em maisculo, nomeia o sinal manual com o mesmo sentido. Nas transcries da libras comum o uso do smbolo @, que pode aparecer no final da glosa, indicando que o sinal pode estar no singular, plural, feminino ou masculino, ou seja, o sinal no sofre flexo de gnero ou nmero, como na lngua oral (Brito, 1995). Por exemplo, a glosa AMIG@ pode ser traduzida para o portugus como amigo, amiga, amigos ou amigas. Sinais que na lngua oral so traduzidos por duas ou mais palavras so representados pelas palavras correspondentes separadas por hfen. Por exemplo, CORTAR-COM-FACA, QUERERNO (no querer) e MEIO-DIA. Sinais compostos so igualmente representados por duas glosas, mas separados pelo sinal de ^. Por exemplo, CAVALO^LISTRA para zebra. As datilologias, palavras soletradas pelo alfabeto manual, muito utilizadas para expressar nome de pessoas, de localidades e outras palavras que no possuem um sinal, so representadas pela palavra, porm separando-se cada letra por hfen. Por exemplo, J-O--O e A-N-E-S-T-E-SI-A. Sistemas de transcrio por glosas so utilizados por diversos linguistas da libras (Felipe, 1988; Brito, 1995; Santos, 2002; Chan-Vianna, 2003; Finau, 2004). Finau (2004) complementa as transcries de glosas com figuras tiradas da filmagem em vdeo correspondentes a cada sinal manual, s vezes acrescentando setas na prpria figura para marcar movimento. McCleary & Viotti (2007) utilizam um sistema de glosas em que marcaes no manuais e o uso do espao de sinalizao so representados, respectivamente, por cdigos sobrescritos e letras ou nmeros subscritos. O trabalho de McCleary e Viotti (2007) descreve o estudo realizado para transcrever uma narrativa em libras. Neste trabalho, uma histria encenada e filmada foi apresentada a surdos em sesses individuais. Cada surdo recontou a histria para um usurio de lngua de sinais que ainda no tivesse visto o filme e nem conhecesse a histria. A transcrio da narrativa foi ento realizada utilizando-se notao por glosas. A transcrio feita em trilhas separadas, cada uma relacionada a algum trao sendo codificado, como movimento da boca, sobrancelha, traduo do sinal, etc.

33

Captulo 2 - Reviso dos sistemas de transcrio existentes Um ponto destacado neste estudo que um sistema de transcrio bem elaborado torna-se uma ferramenta de estudo lingustico, auxiliando a percepo e anlise de caractersticas das lnguas de sinais que muitas vezes passam despercebidas. Embora o sistema de notao por glosa e os diferentes recursos adotados pelos pesquisadores, como o uso de imagens e anotaes adicionais, auxiliem os linguistas, os registros continuam insuficientes para anlises mais profundas da libras (McCleary & Viotti 2007). Podese afirmar que o mesmo valido para a produo de contedo de forma automtica por um programa de computador.

2.12 Formalismos para descrio de humanos virtuais


Nas sees anteriores foram discutidos sistemas de transcries que no foram criados com o intuito de serem interpretados em programas de computador. No entanto, a animao de personagens virtuais no novidade na computao. Dessa forma, existem atualmente formalismos para descrever movimentos e caractersticas de avatares. A XML (eXtensible Markup Language) uma linguagem padronizada utilizada para descrever e compartilhar uma grande variedade de dados eletronicamente. Diversos formalismos para a descrio de animao de humanos virtuais so baseados em XML. A AML (Kshirsagar et al, 2002) (avatar markup language) descreve animao facial, corporal e a fala, de maneira unificada e sincronizada, permitindo a criao de trilhas diferentes para cada tipo de animao. Dessa forma, cada trilha tem seu tempo de incio, velocidade e prioridade de cada ao. Kshirsagar descreve as velocidades possveis como devagar, normal ou rpida. O trecho abaixo (Figura 2.19) ilustra um exemplo em AML. O elemento FA dispara a animao facial e o elemento BA, a animao corporal. O elemento TTS responsvel por reproduzir o som correspondente ao texto escrito, utilizando softwares conhecidos como text to speech:
<AML face id=x body id=y root path=p name = name of animation> <FA start_time=t1 input_file= f1> <TTS mode=m start_time=t3 output_fap=f3 output_wav=f4> <Text>TextToBeSpoken<\Text>

34

Captulo 2 - Reviso dos sistemas de transcrio existentes


<\TTS> <AFML><\AFML> <\FA> <BA start_time = t2 input_file = f2> <ABML><\ABML> <\BA> <\AML> Figura 2.19: Sintaxe AML.

A VHML3 (Virtual Human Markup Language) uma das mais completas especificaes para a animao virtual (Arafa et al, 2003), pois encapsula vrias outras linguagens XML: DMML Dialogue Manager Markup Language (AIML) FAML Facial Animation Markup Language BAML Body Animation Markup Language SML Speech Markup Language EML Emotion Markup Language HTML HyperText Markup Language O objetivo do VHML descrever vrios traos de interao homem mquina, como animao facial, corporal e texto para fala. VHML vem sendo utilizado em aplicaes de Talking Head, que consistem em um rosto virtual que l informaes para o usurio. O trecho da Figura 2.20 ilustra um exemplo de VHML. O texto a ser lido aparece permeado de tags (etiquetas) que indicam qual deve ser o comportamento do avatar no momento de ler cada palavra:
<?xml version="1.0"?> <!DOCTYPE sml SYSTEM "./sml-v01.dtd"> <sml> <p> <neutral> Hi, <smile 2 6 3000/> and <l_roll 2 4 800/><emph_GST 2 3 800/> for choosing Dominoes Pizzas online. </neutral> </p>
3

thank you

http://www.vhml.org

35

Captulo 2 - Reviso dos sistemas de transcrio existentes


</sml> Figura 2.20: Sintaxe VHML.

Uma deficincia de VHML a descrio de tempo da animao, que no garante uma sincronizao entre a fala e a expresso facial (Kshirsagar et al, 2002). Outro formalismo de descrio para humanos virtuais CML ( Character Markup Language). O termo character usado para denotar uma linguagem que encapsula atributos necessrios para recriar realismo, ou seja, atribuir comportamento natural ao personagem, chamado de believable behavior. A linguagem CML no restrita apenas a descrio de humanoides, podendo suportar qualquer criatura 3D (Arafa & Mamdani, 2003). CML ao mesmo tempo uma representao e uma linguagem de script, permitindo a descrio de atributos de um modelo e manipulando sua animao e comportamento atravs de scripts. A sincronizao entre o udio e a animao visual feita por meio da especificao SMIL ( Synchronised Multimedia Integration Language). A linguagem CML possui elementos de alto nvel como personalidade, felicidade, mover-para ou apontar-para, como ilustra o exemplo da Figura 2.21 (Arafa et al, 2002).
<cml> <character name=n1 personality=p1 role=r1 gender=M disposition=d1 transition_Dstate=t1> <happy intensity=i1 decay=dc1 target=o1 priority=pr1> <move-to order=o1 priority=pr2 speed=s object=obj1 begin=s1 end=s4/> <point-to order=2 priority=pr3 object=obj1 begin=s2 end=s4/> <utterance priority=pr2 begin=s2> UtteranceText </happy> </character> Figura 2.21: Sintaxe CML. </utterance>

Os formalismos citados, embora possuem perfil apropriado para implementao computacional, no foram por sua vez desenvolvidos com o intuito de transcrever lngua de sinais. Uma deficincia encontrada em todos os formalismos XML estudados a falta de

36

Captulo 2 - Reviso dos sistemas de transcrio existentes estruturas especficas para a descrio detalhada dos movimentos das mos e dedos, informaes essenciais para a descrio das lnguas de sinais. As expresses faciais so detalhadas em alto nvel de abstrao. Por exemplo, utilizam-se termos lingusticos para descrever expresses faciais, como feliz ou triste, mas no possvel descrever partes isoladas da face, como lngua, bochechas, sobrancelhas, etc. Outro obstculo na adaptao de um dos formalismos XML citados acima para os propsitos deste trabalho que, por no serem criados para registrar lngua de sinais, estes sistemas no possuem as demais caractersticas citadas no incio do captulo como necessrias e desejveis para o perfil de um sistema de transcrio de lngua de sinais para fins computacionais, como contextualizao e parametrizao de sinais, descrio de sinais compostos e de condio de simetria das mos.

2.13 Consideraes finais


Este captulo apresentou um resumo dos principais sistemas de transcrio de movimentos existentes na literatura. Desde passos de dana, at sinalizaes em lngua de sinais, vrios pesquisadores vem trabalhando em sistemas que descrevam os movimentos do corpo humano. Porm, nenhum dos sistemas de transcrio encontrados na literatura foram criados com o intuito de gerar animaes computacionais em lngua de sinais. Dessa forma, existe a necessidade de uma notao que registre explicitamente todas as informaes relevantes para a descrio dos sinais, de maneira organizada e de fcil recuperao para posterior reproduo computacional de contedo sinalizado. As deficincias encontradas nas notaes estudadas sero trabalhadas detalhadamente ao longo do texto nos prximos captulos.

37

Captulo 2 - Reviso dos sistemas de transcrio existentes

38

Captulo 3 Sistema de transcrio proposto

3.1 Introduo

Este captulo apresenta o sistema de transcrio de sinais proposto neste trabalho. Os sinais so descritos de forma textual e hierrquica, atravs de elementos e atributos. Um elemento pode ter vrios elementos ligados ele, chamados elementos filhos. possvel criar quantos nveis de elementos filhos forem necessrios. Um elemento pode ainda conter atributos, que so informaes pertinentes a um determinado elemento. A gramtica formal que descreve o sistema de transcrio proposto apresentada no Apndice I. O sistema de transcrio ilustrado graficamente durante o texto com diagramas de classe da UML4. Na implementao do sistema, que ser detalhada no Captulo 5, as transcries so descritas sob a perspectiva computacional, utilizando-se para isso a notao XML 5 com a qual a descrio foi implementada por um programa de computador. Este captulo est organizado da seguinte maneira: A Seo 3.2 descreve a viso geral do sistema. A Seo 3.3 detalha os elementos e atributos do sistema de transcrio. Na Seo 3.4 discutida como a sequencialidade tratada no sistema de transcrio proposto e a Seo 3.5 contm as consideraes finais.

4 5

UML a sigla para Unified Modeling Language, notao grfica utilizada em computao para descrever sistemas hierrquicos. XML a sigla para eXtensible Markup Language, formato de arquivo com dados organizados de forma hierrquica.

39

Captulo 3 Sistema de transcrio proposto

3.2 Viso geral do sistema


Trabalhos lingusticos abordando libras, como Xavier (2006), auxiliam no entendimento de quais so as caractersticas que um sinal possui e que so importantes para reproduzir estes sinais com o uso de um personagem virtual. Uma maneira de interpretar e descrever um sinal distinguir entre dois momentos de uma sinalizao: (1) o articulador est parado e (2) o articulador est se movimentando. Em computao o conceito de animao por keyframe ou poses-chave, de maneira simplificada, define a animao realizada com a transio entre duas poses: inicial e final. A suavidade da transio depende diretamente do nmero de poses intermedirias que definido entre a pose inicial e a pose final ( Figura 3.1 6).

Figura 3.1: Animao por keyframe

Com o uso de raciocnio semelhante animao por keyframe, a sinalizao em lngua de sinais pode ser descrita com a distino de dois momentos: as mos, corpo e face esto paradas no espao. as mos, corpo e face se movimentam, alcanando outro momento de estagnao. 40

http://classes.soe.ucsc.edu/cmps262/Winter07/projects/keyframe-animation/

Captulo 3 Sistema de transcrio proposto

De forma semelhante ao conceito de keyframe, o sistema de transcrio proposto descreve os sinais utilizando dois elementos principais: pose e movement. O elemento pose descreve o momento em que as mos, face e corpo esto parados no espao de sinalizao. O elemento movement descreve movimentos. A Figura 3.2 ilustra a hierarquia de descrio de um sinal no sistema de transcrio proposto. Os nmeros descrevem a cardinalidade dos elementos, o nmero de elementos filhos que cada elemento pai pode ter. Por exemplo, o nmero 1 de dominantHand significa que o elemento dominantHand s deve aparecer uma nica vez dentro do elemento pose. Ou melhor, pose pode ter apenas um nico elemento filho do tipo dominantHand. No caso do elemento nondominantHand, a cardinalidade de 0..1. Isso significa que o elemento nondominantHand pode aparecer zero ou uma vez. Em outras palavras, nondominantHand um elemento opcional, que pode ou no estar descrito no sinal. Quando a cardinalidade 0..* significa que o elemento pode aparecer zero ou mais vezes. Neste caso, o asterisco indica n vezes, ou seja, um nmero ilimitado de vezes. o caso do elemento pause. O asterisco em frente ao nome do atributo significa que aquele atributo obrigatrio. Atributos obrigatrios so aqueles para os quais no foi proposto nenhum valor padro, portanto sem sua descrio, o elemento que o contm no pode ser corretamente interpretado e nenhuma sinalizao gerada. O sistema de transcrio proposto inicia com o elemento raiz sign, que contm o nome do sinal como atributo nico, e todos as demais caractersticas descritivas do sinal como elementos filhos e atributos.

41

Captulo 3 Sistema de transcrio proposto

Figura 3.2: Ilustrao do sistema de transcrio proposto para descrever sinais da libras

42

Captulo 3 Sistema de transcrio proposto

O elemento sign tem como elementos filhos, alm de pose e movement os elementos compounds e scripts. O elemento compounds permite descrever sinais compostos, aqueles formados pela sinalizao sequencial de dois ou mais sinais. O elemento scripts invoca a execuo de scripts de animao externos. Na seo seguinte apresentada uma descrio detalhada dos elementos e atributos do sistema de transcrio proposto.

3.3 Elementos e atributos do sistema de transcrio


O elemento pose posiciona mos, face e corpo do avatar e possui os seguintes elementos filhos: dominantHand: descreve a mo dominante. nondominantHand: descreve a mo esquerda. face: descreve expresses da face. body: descreve posio de cabea, tronco e ombros.

Os elementos dominantHand e nondominantHand descrevem o comportamento das mos dominante e no dominante, respectivamente, e contm os seguintes atributos: configuration: configurao de mo. palmOrientation: orientao da palma. wrist: rotao do punho. wristDeviation: desvio radial ou ulnar do punho. location: localizao das mos no espao de sinalizao. 43

Captulo 3 Sistema de transcrio proposto

Para posicionar as mos, alm das informaes listadas acima, importante descrever a relao entre mo dominante e no dominante, ou melhor, como as mos se comportam entre si. Um sinal pode ser articulado com uma ou ambas as mos. Klima e Bellugi (1979) identificaram o arranjo das mos durante a sinalizao, classificando-as em mo ativa e mo passiva. De maneira simplificada, mo ativa aquela que se move enquanto que a mo passiva fica parada e serve de apoio e ponto de contato para a mo ativa (Xavier, 2006). Battison (2000) acrescenta duas outras expresses para classificar as mos: mo dominante e mo no dominante. Mo dominante aquela mais usada pelo articulador para sinais articulados com uma mo, e muitas vezes est relacionada ao fato do articulador ser canhoto ou destro. Geralmente, mas nem sempre, a mo dominante desempenha o papel de mo ativa para sinais articulados com as duas mos (Leite, 2008). Neste trabalho a mo dominante foi implementada como sendo a mo direita. No entanto, a terminologia adotada para o sistema de transcrio foi a de mo dominante e no dominante, pois esta nomenclatura interessante para fins lingusticos e cognitivos. Dessa forma, o usurio poder escolher qual mo ser dominante para gerar as animaes no computador. Uma situao que ocorre com frequncia na libras e que foi de extrema importncia para se obter uma descrio mais compacta para sinais com movimento conhecido como Princpio da Simetria. A noo de simetria comeou a surgir com o trabalho de Klima e Bellugi (1979), quando foi identificado o arranjo das mos, ou seja, qual mo realiza o sinal e se ativa ou passivamente. Com a noo de mo ativa e passiva, o trabalho de Battison (2000) apresenta uma restrio que limita consideravelmente o nmero de combinaes possveis de sinais articulados com as duas mos (Leite, 2008), para o caso em que as duas mos so ativas. O Princpio da Simetria diz que, quando um sinal simtrico, ambas as mos adquirem configurao de mo idntica e movimentos especulares. Isso acontece na libras, por exemplo, no sinal LNGUA DE SINAIS, ilustrado na Figura 3.3. Xavier (2006) identificou que 494, de 663 sinais da libras articulados com as duas mos se movendo, possuem a condio de simetria.

44

Captulo 3 Sistema de transcrio proposto

Figura 3.3: Sinal LNGUA DE SINAIS (Capovilla et al., 2009) Sinal LNGUA DE SINAIS: Mos plana, em frente ao corpo, palma a palma. Movimento circular alternado na vertical.

Para descrever a condio de simetria o elemento nondominantHand contm o atributo symmetry que permite dizer que o comportamento da mo no dominante ser simtrico em relao ao comportamento da mo dominante. O atributo symmetry pode ter os valores true ou false. Quando o atributo symmetry tem valor igual a true, o elemento nondominantHand copiar para seus atributos os valores correspondentes aos atributos do elemento dominantHand. Dessa forma, configurao de mo, orientao da palma, punho e localizao sero simtricos. De forma anloga, quando symmetry for true, os movimentos tambm sero copiados da mo dominante para a mo no dominante. No entanto, no caso dos movimentos, optou-se por possibilitar, caso necessrio, a sobreposio de movimentos. Ou melhor, se forem descritos movimentos explicitamente para a mo no dominante, no elemento movement, estes movimentos sero articulados, mesmo se as mos forem descritas como simtricas. O atributo symmetry permite reduzir a quantidade de dados na transcrio proposta, uma vez que evita a repetio. Outra vantagem a diminuio de falhas da descrio, considerando que ao se repetir uma parte da transcrio pode haver erros de digitao, tornando a descrio incoerente. As sees seguintes descrevem os atributos dos elementos dominantHand e nondominantHand.

45

Captulo 3 Sistema de transcrio proposto 3.3.1 Configurao de mo

A configurao de mo descreve a disposio de cada um dos dedos das mos, se esto unidos ou separados, flexionados ou distendidos. Stokoe (1960) identificou que na ASL existe um conjunto finito de configuraes de mo, que representam apenas algumas de todas as formas anatomicamente possveis de configuraes. As diferentes lnguas de sinais no necessariamente elegem as mesmas configuraes de mo (Xavier, 2011). Klima e Bellugi (1979) comparou a ASL e a lngua de sinais chinesa e constatou que h configuraes, localizaes e movimentos presentes em uma lngua, mas ausentes em outra e vice-versa. Dessa forma, apesar de na prtica uma lngua de sinais trabalhar em sua maioria com um conjunto finito de configuraes de mo, um sistema de transcrio universal deve prever a insero de novas configuraes, uma vez que as configuraes de mo entre diferentes lnguas de sinais no necessariamente so as mesmas. Alm disso, nenhuma lngua esttica e sim dinmica e se altera com o tempo, podendo surgir a necessidade de descrio de novas configuraes de mo. Apesar de no existir ainda um levantamento exaustivo de todas as configuraes de mo, localizaes e movimentos que formam o sistema fonolgico da libras, o banco de dados de sinais da libras desenvolvido por Xavier (2006) permite-nos ter uma boa perspectiva sobre quais e quantas so as configuraes de mo presentes na libras. No referido trabalho foram citadas ao menos oitenta e quatro configuraes de mo distintas. As configuraes mais utilizadas na libras, segundo Capovilla et al., 2009, esto ilustradas nas Figuras 3.4, 3.5 e 3.6.

46

Captulo 3 Sistema de transcrio proposto

Figura 3.4: Alfabeto manual (Capovilla et al., 2009)

47

Captulo 3 Sistema de transcrio proposto

Figura 3.5: Nmeros em libras (Capovilla et al., 2009)

Figura 3.6: Configuraes adicionais em libras (Capovilla et al., 2009)

48

Captulo 3 Sistema de transcrio proposto A configurao de mo descrita no sistema com o atributo configuration, presente nos elementos nondominantHand e dominantHand. O atributo configuration pode assumir um nome, que est associado a uma configurao de mo pr-definida, descrita no sistema de transcrio de configurao de mo. As configuraes de mo so descritas pelo ngulos de rotao das juntas de cada dedo, que posteriormente so mapeados pelo programa como rotaes. A mo humana possui trs juntas nos dedos indicador, mdio, anelar e mnimo: junta distal, medial e proximal, como ilustra a Figura 3.7 (a), itens 1, 2 e 3, respectivamente. Alm de flexionar ou estender estas juntas, ainda possvel fazer o movimento de inclinar os dedos para os lados, separando-os ou unindo-os. Esta inclinao o que distingue as configuraes de mo da Figura 3.7 (a) e (b).

(a)

(b)

1
Figura 3.7: Juntas da mo humana

O polegar no possui junta medial, mas por outro lado a junta do metacarpo do polegar influencia na configurao de mo. o que distingue por exemplo as configuraes de mo da Figura 3.8 (a) e (b)

49

Captulo 3 Sistema de transcrio proposto

(a)

(b)

Figura 3.8: Rotaes do metacarpo do polegar

Dessa forma, foi proposta uma transcrio de configurao de mo baseada nas rotaes das juntas citadas, como ilustra a Figura 3.9. O nome da configurao, atributo name, referenciado no atributo configuration dos elementos dominantHand e nondominantHand.

Figura 3.9: Transcrio de configuraes de mo

A transcrio da configurao de mo possui cinco elementos, um para cada dedo da mo: index, middle, ring, little e thumb. Os quatro primeiros elementos contm os atributos proximal, medial, distal e inclined, que armazena as rotaes das juntas e o grau de inclinao dos dedos.

50

Captulo 3 Sistema de transcrio proposto Como o polegar no possui junta medial, este atributo no est presente no elemento thumb. Por outro lado o polegar possui a junta do metacarpo, que o liga palma da mo, e que distintiva para a configurao de mo. Uma observao importante a ser considerada a descrio da junta medial na configurao da mo. Em outras notaes a configurao de mo comumente descrita apenas pelas juntas proximais e distais. De fato, na maioria das situaes, anatomicamente desconfortvel ou mesmo impossvel dobrar a junta distal de um dedo sem dobrar sua junta medial, e vice versa. Portanto para descrever a maior parte das configuraes de mo basta conhecer as rotaes da junta proximal e distal, assumindo que a junta medial ir dobrar-se ou estender-se juntamente com a junta distal. No entanto, possvel flexionar a junta medial e estender a junta distal ao mesmo tempo e no mesmo dedo se os dedos tocarem a almofada da palma da mo. o que difere as configuraes de mo da Figura 3.107 (a) e (b). Dessa forma, optou-se por descrever explicitamente as juntas medial e distal no sistema de transcrio proposto.

(a)

(b)

Figura 3.10: Distino da junta medial e distal na configurao de mo

http://librasmemory.wordpress.com/2011/11/15/alfabeto-em-libras/ , acessado em 26/03/2012

51

Captulo 3 Sistema de transcrio proposto 3.3.2 Orientao da palma da mo A orientao da palma da mo uma caracterstica importante e que, em alguns casos, serve para a distino entre sinais. Battison (1974) e Friedman (1975) identificaram a orientao da palma da mo, que j existia nos estudos de Stokoe, porm com importncia secundria. Battison (1974) props que a orientao da palma tivesse o mesmo estatuto que a configurao de mo, a localizao e o movimento em virtude de ter identificado na ASL pares de sinais cujo contraste lexical se d unicamente por meio desse aspecto (Xavier, 2011). Os sinais NO (Figura 3.11) e UM (Figura 3.12) tm configurao de mo semelhante, mas distinguem-se pela orientao da palma da mo.

Figura 3.11: Sinal NO (Capovilla et al., 2009) Sino NO: Mo direita em D, palma para frente. Balanar a mo para a esquerda e para a direita, com expresso facial negativa.

Figura 3.12: Sinal UM(Capovilla et al., 2009) Sino UM: Mo direita em D, dorso para frente.

52

Captulo 3 Sistema de transcrio proposto

A orientao da palma da mo resultado da rotao das juntas do antebrao. O complexo antebrao-cotovelo formado por trs ossos: mero, osso longo que parte do ombro at o cotovelo, rdio e ulna, ossos do antebrao, conforme ilustra a Figura 3.13 (McFarlane, 2010).

Figura 3.13: Ossos do antebrao (adaptado de McFarlane, 2010).

Pronao e supinao so termos da anatomia para os possveis movimentos de rotao do antebrao, onde no h flexo do cotovelo e as juntas do rdio e da ulna sofrem rotao. So movimentos que viram a palma da mo para cima e para baixo. A Figura 3.14 ilustra estes movimentos. 53

Captulo 3 Sistema de transcrio proposto

Figura 3.14: Movimentos do antebrao: (a) supinao, (b) neutro e (c) pronao (adaptado de McFarlane, 2010).

A orientao da palma da mo descrita no sistema pelo atributo palmOrientation dos elementos dominantHand e nondominantHand. O sistema descreve a palma como se o sinalizador estivesse olhando para suas prprias mos, de sua prpria perspectiva. Os valores possveis para o atributo palmOrientation so: supination: movimento de supinao. Se o brao estiver estendido na frente do

corpo, como na Figura 3.14, o movimento de supinao vira a palma da mo para cima, deixando-a visvel para o sinalizador (Figura 3.14 a). neutral: a mo est voltada para o lado, com a palma voltada para esquerda (Figura 3.14 b). 54

Captulo 3 Sistema de transcrio proposto pronation: a palma da mo est voltada para baixo, com o dorso visvel para o ou um valor numrico correspondendo ao grau de rotao desejado para o

sinalizador (Figura 3.14 c). antebrao.

3.3.3 Punho

O punho da mo humana, diferentemente do antebrao, permite rotaes em torno de mais de um eixo. Dessa forma, foram criados dois atributos para descrever rotao de punho: wrist e wristDeviation. O atributo wrist descreve a rotao do punho no eixo Z, que gira o punho para cima e para baixo, como ilustra a Figura 3.15. Este movimento conhecido na anatomia como flexo (baixo) e extenso (cima) do punho. O Captulo 5, que descreve a implementao do sinalizador virtual, aborda detalhes das rotaes e do sistema de coordenadas adotados neste trabalho.

Figura 3.15: Extenso do punho, movimento para cima, ou rotao do punho no eixo Z.

O atributo wrist pode conter os seguintes valores: 55

Captulo 3 Sistema de transcrio proposto

extension: punho estendido, rotacionado para cima(Figura 3.16 a). Rotao no eixo Z, no sentido horrio. relaxedExtension: punho relaxado e estendido, ou seja, rotacionado levemente para cima (Figura 3.16 b). Rotao no eixo Z, no sentido horrio. neutral: est a posio padro, com o punho em posio de repouso. Nesta posio o punho no sofre rotao. o valor assumido caso o atributo wrist no seja preenchido. (Figura 3.16 c). relaxedFlexion: punho relaxado e flexionado, ou seja, rotacionado levemente para baixo (Figura 3.16 d). Rotao no eixo Z, no sentido anti-horrio. flexion: punho flexionado, rotacionado para baixo (Figura 3.16 e). Rotao no eixo Z, no sentido anti-horrio. ou um valor numrico correspondendo ao grau de rotao desejado para o punho no

eixo Z.

Figura 3.16: Rotaes do punho no eixo Z.

A Figura 3.17 exemplifica a rotao de punho na sinalizao do sinal MOTO. 56

Captulo 3 Sistema de transcrio proposto

Figura 3.17: Sinal MOTO (Capovilla et al., 2009) Sinal MOTO: Mos em S, mover o punho para baixo e para cima, como na acelerao da moto.

Alm da rotao no eixo Z, a junta do punho tambm pode sofrer rotao no eixo X. O atributo wristDeviation descreve a rotao do punho no eixo X, que gira o punho para os lados, como ilustra a Figura 3.19.

Figura 3.18: Rotao do punho no eixo X. Desvio radial.

O atributo wristDeviation pode conter os seguintes valores: radialDeviation. Rotao do punho para o lado do polegar (Figura 3.19 a). Rotao no eixo X, no sentido horrio. ulnarDeviation. Rotao para o lado do dedo mnimo (Figura 3.19 b). Rotao no eixo X, no sentido anti-horrio. 57

Captulo 3 Sistema de transcrio proposto neutral. Nenhuma rotao aplicada. a posio padro (Figura 3.19 c). ou um valor numrico correspondendo ao grau de rotao desejado para o desvio de

punho.

Figura 3.19: Rotaes do punho no eixo X.

3.3.4 Localizao

Um dos desafios enfrentados na criao do sistema de transcrio proposto foi descrever de maneira correta, nica e eficaz todos os possveis pontos de localizao das mos no espao de sinalizao, a regio tridimensional ao redor do articulador. Entende-se por ponto de localizao o local no espao de sinalizao onde as mos so posicionadas para articular o sinal. Pode ser um ponto no espao ou um ponto de contato com a mo, o rosto ou o corpo. O espao de sinalizao com os pontos de localizao pode ser visualizado como uma regio de trs dimenses que circunda o articulador. Muitos pesquisadores afirmam que existe um
nmero infinito de pontos de localizao no espao tridimensional do articulador (Lu & Huenerfauth, 2011), o que consequentemente dificulta sua descrio.

Kennaway (2004) utiliza dois parmetros para descrever localizao, a posio da mo e o local para onde apontam os dedos, denominado e.f.d. ( extended finger direction). A localizao 58

Captulo 3 Sistema de transcrio proposto previamente mapeada, segundo o autor, em centenas de posies. O parmetro e.f.d. utilizado para determinar o local para onde aponta o dedo mdio caso no esteja flexionado, e tambm possui valores discretos, nomeados previamente. O parmetro e.f.d. de Kennaway (2004) na realidade dependente da rotao de punho, uma vez que ao rotacionar o punho o local para onde o dedo aponta tambm muda. Sob este ponto de vista o parmetro e.f.d. de Kennaway (2004) no deve, portanto, fazer parte da localizao do sinal. O posicionamento da mo no espao tridimensional problema conhecido da robtica. Mihelj (2006) prope uma tcnica de cinemtica inversa para um modelo de brao humano. O brao humano pode ser modelado como um mecanismo com sete graus de liberdade (Figura 3.20), consistindo de uma sinalizao esfrica (ball and socket) para o ombro, com eixos para abduo-aduo (q1), flexo-estenso (q2) e rotao interna-externa (q3), uma sinalizao para flexo-estenso do cotovelo (q4), uma sinalizao para pronao-supinao do antebrao (q5) e uma junta do punho com dois graus de liberdade, para desvio radial e ulnar (q6) e para flexoextenso (q7). A junta do antebrao na realidade no posiciona a mo no espao, mas apenas rotaciona a palma, com o movimento de pronao-supinao. Portanto o sistema acima pode ser simplificado para um modelo com seis graus de liberdade (Mihelj, 2006). Neste trabalho foi utilizado o modelo com 7 graus de liberdade, 3 no ombro, 2 no cotovelo e 2 no punho, sendo que existe ainda 1 grau de liberdade no antebrao, mas que no muda o posicionamento da palma da mo, apenas virando-a para cima ou para baixo. Existem trabalhos na literatura que propem algoritmos de cinemtica inversa para se obter os parmetros de rotao de cada junta da Figura 3.20 de forma automtica. O problema consistem em, dadas as coordenadas no espao cartesiano x, y e z de um ponto, obter os valores das rotaes para as juntas do ombro, cotovelo, antebrao e punho para levar a mo posio desejada.

59

Captulo 3 Sistema de transcrio proposto

Figura 3.20: Modelo simplificado de um brao humano com 7 graus de liberdade, sistemas de coordenadas e eixos de rotao (Mihelj, 2006).

O procedimento de cinemtica inversa, no entanto, no adequado para os propsitos deste trabalho. Para alcanar o mesmo ponto no espao existem vrios valores possveis para as rotaes do ombro (Santos et. al., 2006), de maneira que o cotovelo altera sua posio como ilustra a Figura 3.21. Na figura possvel ver duas rotaes do cotovelo com o brao alcanando a mesma posio no espao.

60

Captulo 3 Sistema de transcrio proposto

Figura 3.21: Duas possveis rotaes de ombro e cotovelo para atingir o mesmo ponto.

Uma vez que o posicionamento do cotovelo relevante no entendimento dos sinais, este parmetro no pode assumir um valor aleatrio, devendo ser atribudo intencionalmente no sistema de transcrio. Levando em conta esta caracterstica, para os propsitos deste trabalho, um mecanismo de cinemtica inversa no suficiente. Como trabalhos futuros, no Captulo 7 discute-se a possibilidade de testes mais detalhados para o posicionamento dos braos com o uso de tcnicas de cinemtica inversa. Diante das dificuldades expostas, a abordagem adotada para o presente trabalho consiste em mapear os pontos de localizao definindo explicitamente rotaes para as juntas do ombro e do cotovelo, posicionando assim a mo em no ponto desejado no espao de sinalizao. A localizao das mos no sistema proposto responsvel apenas por rotacionar as juntas dos ombros e cotovelos, uma vez que a rotao de antebrao e punho descrita pelos atributos palmOrientation, wrist e wristDeviation. Foi criado portanto um modelo com cinco graus de liberdade, como ilustra a Figura 3.22, que rotaciona o ombro em trs eixos (X, Y e Z) e o cotovelo em dois eixos (Y e Z), de forma anloga anatomia do brao humano. Na Figura 3.22 os parmetros Xs, Ys e Zs correspondem aos ngulos de rotao da junta do ombro nos eixos X, Y e Z, respectivamente. Os parmetros Ye e Ze correspondem aos ngulo de rotao da junta do cotovelo nos eixos Y e Z, respectivamente.

61

Captulo 3 Sistema de transcrio proposto

Figura 3.22: Modelo de localizao da mo no espao de sinalizao, com 5 graus de liberdade.

O nome da localizao, que ser preenchido no atributo location na descrio do sinal, ser dado pela juno dos parmetros, como segue: Xs_Ys_Zs_Ye_Ze. A Figura 3.23 ilustra o posicionamento da mo direita no ponto de localizao location = 0_30_-85_135_0.

Figura 3.23: Mo direita localizada no ponto 0_30_-85_135_0.

62

Captulo 3 Sistema de transcrio proposto Cabe ressaltar que esta proposta de posicionamento das mos dependente da proporcionalidade do modelo tridimensional do articulador, de forma que, se o modelo for substitudo por outro, desde que mantidas as propores, um mesmo ponto de localizao no espao ser descrito pelos mesmos valores de rotao das juntas do ombro e cotovelo, para ambos os modelos. A proporo universalmente aceita para um humano medida com base no tamanho da cabea, como ilustra a Figura 3.24. O antebrao, do ombro at o cotovelo, deve medir uma vez e meia o tamanho da cabea. O brao, do cotovelo at o pulso, deve medir uma vez e um quarto o tamanho da cabea. A mo deve medir trs quartos o tamanho da cabea (Richer & Hale, 1971).

Figura 3.24: Proporcionalidade do corpo.

63

Captulo 3 Sistema de transcrio proposto O modelo da Figura 3.23 resolve grande parte do problema de posicionamento das mos no espao de sinalizao. Frequentemente porm, o ponto de localizao da mo em um sinal da libras descrito como um ponto de contato com o rosto, por exemplo, no canto da boca ou no meio da testa. Liddell & Johnson (1989) mapearam estes pontos na ASL em regies. Cada ponto de contato recebe um nome, na forma: [%] [i] [regio] [t ou b]

A regio da face compreendida por 12 smbolos diferentes, como segue: BH (back of head): regio posterior da cabea. TH (top of head): topo da cabea. FH (forehead): testa. SF (side of forehead): lado da testa. NS (nose): nariz CK (cheek): bochecha. ER (ear): orelha. MO (mouth): boca. LP (lip): lbio. JW (jaw): mandbula. CN (chin): queixo. NK (neck): pescoo.

Os smbolos acima podem ser precedidos por % e i e sucedidos por t ou b. Dessa forma Liddell & Johnson (1989) definem pontos de contato principais e pontos adjacentes aos principais. O smbolo i (ipsilateral) indica que o ponto de contato no corresponde exatamente 64

Captulo 3 Sistema de transcrio proposto regio especificada, mas sim a um ponto em sua periferia. Se for do lado da mo dominante precedido apenas por i, e se for do lado da mo no dominante, precedido por %i. O sinal de % indica que o ponto de contato contralateral ao ponto principal, ou seja, est do lado da mo no dominante, geralmente o lado esquerdo. Os smbolos de t e b indicam que o ponto de contato acima (top) ou abaixo (bottom) do ponto principal. As Figuras 3.25 e 3.26 ilustram alguns pontos de contato no rosto e no corpo, respectivamente. Para maiores detalhes, consultar o original de Liddell & Johnson (1989).

Figura 3.25: Pontos de localizao de contato com o rosto mapeados por Liddell & Johnson (1989).

65

Captulo 3 Sistema de transcrio proposto

Figura 3.26: Pontos de localizao de contato com o corpo mapeados por Liddell & Johnson (1989).

O sistema de transcrio proposto referencia os pontos de contato com a mesma nomenclatura proposta por Liddell & Johnson (1989). importante observar porm que estes pontos de localizao diferem de acordo com o avatar, uma vez que o tamanho e a disposio dos traos da face so diferentes em cada pessoa. Sendo assim, os pontos de contato com a face devem ser mapeados para cada modelo. No entanto, existe tambm uma proporcionalidade na face humana. Em geral, a face pode ser dividida em seis partes, como ilustra a Figura 3.27. A base do nariz deve estar na mesma linha do lbulo da orelha e o topo da sobrancelha deve estar na mesma linha do topo da orelha. A ponta do nariz deve estar em linha vertical com o meio da boca, do queixo e da testa. Mesmo seguindo estas propores, a variao da localizao dos pontos de contato pode ser muito grande, dificultando a criao de um mapeamento universal para todos os avatares. Optou-se portanto em personalizar os pontos de contato com o rosto de acordo com o modelo tridimensional utilizado. Dessa forma, os nomes dos pontos de contato sero os mesmos, mas as rotaes necessrias nas 66

Captulo 3 Sistema de transcrio proposto juntas do ombro e cotovelo para alcanar estes pontos podem no ser as mesmas em dois modelos diferentes.

Figura 3.27: Proporcionalidade do rosto.

Xavier (2006) analisa os pontos de contato na libras e ressalta que alm de descrever o ponto no qual a mo ir tocar, preciso descrever tambm qual parte da mo ir efetivamente realizar o contato. Este ponto de referncia pode ser por exemplo a ponta do dedo indicador ou a palma da mo. Sendo assim preciso distinguir qual parte da mo est voltada para o ponto de localizao. No foi encontrada na literatura uma relao dos possveis pontos na mo que realizam o contato na libras. Mas possvel inferir que, pelo fato de as lnguas de sinais serem dinmicas, qualquer listagem desses pontos deve ser flexvel e permitir a insero de novos valores. Foram listados alguns possveis pontos da mo que realizam o contato, nomeados da seguinte forma: cada dedo possui oito pontos correspondentes s juntas: topo (t), distal (d), medial (m) e proximal (p), do lado da frente (f), ou seja, do lado de dentro da mo e do lado de trs (b), ou seja, do lado do dorso da mo. Sendo assim, para o indicador, temos os seguintes pontos de contato: 67

Captulo 3 Sistema de transcrio proposto

itf = index (dedo indicador), top (topo), front (frente da mo) itb = index (dedo indicador), top (topo), back ( dorso da mo) idf = index (dedo indicador), junta distal (d), front (frente da mo) idb = index (dedo indicador), junta distal (d), back (dorso da mo) imf = index (dedo indicador), junta medial (d), front (frente da mo) imb = index (dedo indicador), junta medial (d), back (dorso da mo) ipf = index (dedo indicador), junta proximal (p), front (frente da mo) ipb = index (dedo indicador), junta proximal (p), back (dorso da mo)

Alm dos pontos de cada junta de cada dedo, temos os pontos do meio da palma da mo (p), e do meio do dorso da mo (b), os pontos da lateral da mo (s1 e s2), os pontos do punho na frente (wf) e atrs (wb). A Figura 3.28 ilustra os pontos da mo que realizam o contato.

Figura 3.28: Pontos na mo que realizam contato.

68

Captulo 3 Sistema de transcrio proposto Dessa forma, nomenclatura do ponto de contato acrescentado o sufixo com o nome do ponto que realiza o contato, por exemplo NS_itf corresponde ao ponto de contato nariz (NS) sendo tocado pela ponta do indicador. Alm do contato com o rosto ou corpo pode acontecer o contato com roupas ou outras partes do corpo, como por exemplo puxar uma parte da camisa ou do cabelo. Este tipo de gesto dependente direto de modelo, uma vez que cada personagem tem roupa e cabelos diferentes. Para resolver problemas dessa natureza o elemento scripts foi adicionado, permitindo que uma funo externa seja invocada, passando como parmetro os momentos em que a funo deve ser inicializada e finalizada, ou melhor, quando a funo deve ser invocada e at quando ela dever ser executada. Estes valores so passados para a funo com os atributos start e finish, e podem ter os valores posex ou movementx, em que x corresponde ao nmero da pose ou movimento no qual o script manual deve ser acionado e terminado.

3.3.5 Posio da face durante a pose do sinal

As expresses faciais so importantes e bastante exploradas na comunicao em lngua de sinais. Durante a sinalizao, expresses faciais so utilizadas para comunicar estados afetivos, entonao ou a intensificao de sinais, isto , informao prosdica em geral. As expresses faciais podem ser divididas em dois grupos distintos: afetivas e gramaticais (Pimenta & Quadros, 2006). As expresses afetivas so utilizadas para a comunicao de emoes. Pelos menos seis expresses faciais afetivas podem ser consideradas universais e independentes da cultura, possuindo, portanto, motivao biolgica inata (Darwin e Ekman, 2009). So elas alegria, raiva, tristeza, medo, surpresa e nojo. A composio em diferentes graus destas expresses bsicas permite representar outras trinta e trs variaes (Ekman & Friesen, 2003).

69

Captulo 3 Sistema de transcrio proposto As expresses faciais gramaticais podem ser lexicais ou sentenciais. As lexicais esto ligadas diretamente ao grau de intensidade dos adjetivos. Um exemplo da variao da intensidade o adjetivo gordo, que pode ser expresso em sua forma normal, no diminutivo ou no aumentativo: gordo, gordinho ou gordo. As expresses faciais gramaticais sentenciais exprimem contedo interrogativo, afirmativo, negativo e exclamativo, por exemplo. Somada s expresses faciais afetivas e gramaticais, a movimentao articulatria visvel associada produo da fala tambm deve ser apresentada na face do sinalizador virtual. A reproduo desta movimentao interessante para estabelecer um elo entre lngua de sinal e lngua oral, favorecendo a leitura orofacial. No entanto, nas lnguas de sinais as expresses faciais vo muito alm das classificaes mencionadas acima. Elas so usadas por exemplo, na contextualizao de sinais, para exprimir o sentimento do articulador na narrativa, para transmitir emoes e at para classificar objetos e pessoas. Todas estas possibilidades exigem um trabalho parte que explore melhor as expresses faciais em lngua de sinais, e em especial para a libras. No entanto, uma transcrio inicial das expresses faciais foi desenvolvida para o presente trabalho. No sistema de transcrio proposto as expresses faciais esto associadas ao elemento pose e so descritas pelo elemento face. O elemento face descreve separadamente os traos da face. O atributo preDefined facilita descries de expresses afetivas, como alegre ou triste. Este atributo pode ser utilizado quando no desejada uma preciso muito grande na descrio da face, bastando dizer que a expresso de alegria ou tristeza para uma boa sinalizao. O atributo preDefined tambm pode ser utilizado para descrever expresses faciais gramaticais, como aumentativo e diminutivo. Por exemplo, a palavra gordo e gordo podem diferir apenas pela expresso facial associada a elas na transcrio. Alm de preDefined, o elemento face possui ainda outros dez atributos, descritos na Tabela 3.1. Estes atributos so de preenchimento opcional e com o valor inicial igual a default:

70

Captulo 3 Sistema de transcrio proposto Nome do atributo forehead (testa) eyebrows (sobrancelhas) eyes (olhos) look (olhar) Valores do atributo creased (franzida), default (neutra) up (cima), default (reta), down (baixo), upInside(para cima e para dentro) default (abertos), squeezed (espremidos), closed (fechados), wide (arregalados). top (para cima), topRight (cima, direita), topLeft (cima, esquerda), default (para frente), low (para baixo), lowRight (baixo, direita), lowLeft (baixo, esquerda), right (direita), left (esquerda) inflated (estufadas), inflatedR (estufada lado direito), inflatedL (estufada lado esquerdo)sucked (sugadas), tight (tensas), blow (soprar), default (neutras) wrinkled (franzido), default (neutro) smile (sorriso fechado), laugh (riso), yawn (bocejo), kiss (beijo), tense (tensa), ajar (entreaberta), default (neutra) O visema correspondente. default (neutra, dentro da boca), outsideMouth (fora da boca) biteUpperLip (superiores tocando lbio inferior), biteLowerLip (inferiores tocando lbio superior), default (neutros, dentro da boca). angry (raiva ou irritao), happy (alegria), surprise (surpresa), fear (medo), disgust (nojo ou averso), sarcasm (sarcasmo), contempt (desprezo), respect (respeito), disrespect (desrespeito), pity (compaixo, pena), default (neutra), augmentative (aumentativo), diminutive (diminutivo), agreement (concordncia).
Tabela 3.1: Expresses faciais.

cheeks (bochechas) nose (nariz) mouth (boca) viseme (visemas) tongue (lingua) teeth

preDefined

3.3.6 Posio do corpo durante a pose do sinal O posicionamento do corpo descrito no sistema pelo elemento body. O mesmo elemento body tambm existe no elemento movement. A diferena que no elemento pose apenas o posicionamento do corpo realizado. No elemento movement possvel movimentar o corpo, com opes para acelerar, desacelerar e repetir o movimento. O elemento body filho do elemento pose contm os seguintes atributos: 71

Captulo 3 Sistema de transcrio proposto

headTranslation : descreve a translao da cabea e pode ser: left (esquerda: Figura 3.30 a), right (direita), forward (para frente: Figura 3.30 b), back (para trs) ou default. headRotationX : descreve a rotao da cabea no eixo X, como num gesto afirmativo, quando inclina-se a cabea para frente e para trs para fazer o sim. Os valores possveis para o atributo so: default (Figura 3.31 a), forward (para frente, como olhar para baixo: Figura 3.31 b) ou back (para trs, como para olhar para cima). headRotationY : descreve a rotao da cabea no eixo Y, como num gesto negativo, quando gira-se a cabea para a direita e para a esquerda para fazer o no. Os valores possveis para o atributo so: default (Figura 3.32 a), left (esquerda: Figura 3.32 b) ou right (direita). headRotationZ : descreve a rotao da cabea no eixo Z, como quanto inclina-se a cabea para os lados. Os valores possveis para o atributo so: default (Figura 3.33 a).left (esquerda: Figura 3.33 b) ou right (direita). body : descreve a rotao do tronco e pode assumir os valores: default (Figura 3.34 a) turnLeft (Figura 3.34 b) ou turnRight (virar-se para a esquerda ou direita), inclineForward (Figura 3.34 c) ou inclineBackward (inclinar-se para frente ou para trs), inclineLeft (Figura 3.34 d) ou inclineRight (inclinar-se para esquerda ou para direita), . lShoulder: descreve a rotao do ombro esquerdo. Pode ser shrug (elevar), circularFront, circularBack ou default (posio de repouso do ombro). O atributo tem como padro o valor default. rShoulder: descreve a rotao do ombro direito. Assim como lShoulder, pode ter o valor shrug (elevar), circularFront, circularBack ou default (posio de repouso do ombro). O atributo tem como padro o valor default. shoulders: descreve rotaes para os dois ombros simultaneamente, e pode assumir os mesmos valores dos atributos lShoulder e rShoulder.

72

Captulo 3 Sistema de transcrio proposto Os atributos de posicionamento do corpo, quando no especificados, assumem o valor padro default. Neste caso, nenhuma rotao ou translao realizada para cabea, tronco ou ombros. A Figura 3.29 ilustra o posicionamento default para a cabea, em dois ngulos de visualizao.

(a)

(b)

Figura 3.29: Cabea e ombros no sistema cartesiano

Os posicionamentos para a cabea esto ilustrados nas Figuras 3.30, 3.31, 3.32 e 3.33.

(a) Figura 3.30: Translao da cabea

(b)

73

Captulo 3 Sistema de transcrio proposto

(a) Figura 3.31: Rotao da cabea no eixo X

(b)

(a) Figura 3.32: Rotao da cabea no eixo Y

(b)

74

Captulo 3 Sistema de transcrio proposto

(a) Figura 3.33: Rotao da cabea no eixo Z

(b)

A Figura 3.34 ilustra os posicionamentos do corpo.

(a)

(b)

(c)

(d)

Figura 3.34: Posicionamento de tronco

75

Captulo 3 Sistema de transcrio proposto 3.3.7 Movimentos

Os sinais de uma lngua sinalizada podem ou no conter movimentos. Alguns sinais da libras so formados apenas por uma configurao de mo em um ponto de localizao do espao de sinalizao. No entanto, a grande maioria dos sinais da libras possuem algum tipo de movimento (Xavier, 2006). Consequentemente, a descrio de um sinal pode conter zero ou mais movimentos. Liddell & Johnson (1989) chamaram de movimentos locais aqueles em que as mos ficam paradas no espao, ou seja, o ponto de sinalizao no muda durante a sinalizao do movimento. So movimentos de dedos e punho (Leite, 2008). Liddell & Johnson (1989) classificaram os movimentos locais em tamborilar, circular, esfregar, achatar, dobrar, soltar, dobrar juntas distais e torcer. Os movimentos globais so aqueles que movimentam as mos pelo espao de sinalizao. No sistema de transcrio proposto o elemento movement utilizado para descrever os movimentos das lnguas de sinais. Os movimentos foram divididos em cinco tipos, cada um deles representado por um elemento filho do elemento movement: Espaciais (elemento space). Descreve movimentos das mos no espao de sinalizao. De antebrao (elemento forearm ). Descreve o movimento de virar a palma das mos. A descrio contida no elemento forearm rotaciona o antebrao para movimentar a palma da mo, voltando-a para cima e para baixo, por exemplo. De dedos (elemento hand). Descreve movimentos de dedos. De punho (elemento wrist). Descreve rotaes do punho. De corpo (elemento body). Descreve movimentos de tronco, cabea e ombros.

76

Captulo 3 Sistema de transcrio proposto Cada um dos elementos filhos do elemento movement (exceto o elemento pause) contm os atributos repeat, speed e side. O atributo repeat indica quantas vezes o mesmo movimento se repete, e pode ser qualquer nmero natural positivo. Por padro, caso no informado nenhum valor para este atributo, assume-se que o movimento no se repete, ou seja, o valor default do atributo 0. O atributo repeat, nos movimentos locais, alm de indicar quantas vezes o mesmo movimento se repete tambm serve para dizer se o movimento retorna para a posio inicial, antes do movimento. Se o valor de repeat for igual a 1 (ou no preenchido), o movimento realizado num sentido de apenas vai, sem voltar. Ou seja, a sinalizao parte de uma posio A, realiza movimento at uma posio B, e a mo no retorna posio A. Se o o valor de repeat for igual a 2, quer dizer que o movimento do tipo vai e volta, ou seja, o movimento realizado nos dois sentidos, a mo sai de A, e volta para B, posio que estava antes do movimento ser realizado. Para um valor de repeat igual a 3, o movimento vai de A para B, volta para A e vai para B novamente. E assim por diante. muito comum na libras ocorrer simultaneamente movimento espacial das mos e movimento local de dedos (Xavier, 2006). Da mesma forma, em muitos sinais o movimento dos dedos se repete por vrias vezes, enquanto durar o movimento espacial da mo. Dessa forma, o atributo repeat, quando utilizado para descrever um movimento de dedos, antebrao ou punho pode assumir o valor INF (infinity). O valor INF para o atributo repeat indica implementao do sistema que repita o movimento enquanto o movimento espacial no acabar. O atributo speed permite alterar a velocidade de execuo padro do movimento e possui valor numrico. O movimento do sinal MACIO (Figura 3.35), por exemplo, deve ser articulado com uma velocidade mais lenta do que o movimento do sinal MOTO (Figura 3.17). Podemos perceber a necessidade de um movimento lento pela descrio do sinal MACIO em Capovilla et. al. 2009, onde o autor descreve o movimento como ...unir as pontas dos dedos lentamente...

77

Captulo 3 Sistema de transcrio proposto

Figura 3.35: Sinal MACIO (Capovilla et al., 2009) Sinal MACIO: Mos horizontais abertas, palmas para cima, dedos separados e curvados, lado a lado. Unir as pontas dos dedos lentamente, e separ-las, duas vezes.

O atributo side indica em qual das mos o movimento descrito deve ser articulado e pode conter os valores dominant (apenas na mo dominante), nondominant (apenas na mo no dominante) ou both (ambas as mos so movimentadas). O valor padro deste atributo dominant. Movimentos locais Os movimentos conhecidos como locais (Xavier, 2006) so divididos no sistema de transcrio proposto em movimentos de antebrao, de dedos e de pulso. So descritos com os elementos forearm, hand e wirst. O movimento de antebrao descrito com o elemento forearm. Este movimento faz com que a palma da mo seja rotacionada. O elemento forearm possui o atributo orientation, que admite como vlidos os mesmos valores do atributo palmOrientation dos elementos dominantHand e nondominantHand. So eles: supination: movimento de supinao. neutral: no h rotao. pronation: movimento de pronao. 78

Captulo 3 Sistema de transcrio proposto

O elemento hand descreve o movimento local dos dedos das mos . O movimento local dos dedos implementado no sistema como a interpolao de duas configuraes de mo. O elemento hand possui o atributo configuration, que pode assumir qualquer valor do atributo de mesmo nome dos elementos dominantHand e nondominantHand, filhos do elemento pose. O elemento wrist descreve movimentos locais de pulso e possui os atributos wrist e wristDeviation que assumem qualquer valor dos atributos wrist e wristDeviation, respectivamente, ambos dos elementos dominantHand e nondominantHand, filhos do elemento pose. Os valores possveis para o atributo wrist so: extension: movimento de extenso. relaxedExtension: movimento de extenso relaxada, ou melhor, extenso num grau neutral: movimento para a posio neutra, sem rotao. relaxedFlexion: movimento de flexo relaxada, ou melhor, flexo num grau menor flexion: movimento de flexo.

menor do que extension.

do que flexion.

Os valores possveis para o atributo wristDeviation so: radialDeviation ulnarDeviation default

importante observar que possvel descrever mais de um movimento local para um mesmo sinal, conferindo flexibilidade notao. Dessa forma possvel descrever movimentos diferentes para punho e antebrao, que ocorram simultaneamente. 79

Captulo 3 Sistema de transcrio proposto Os movimentos corporais so descritos no sistema pelo elemento body e contm os seguintes atributos: headTranslation : descreve o movimento de translao da cabea e pode conter os valores: left (mover para esquerda), right (mover para direita), forward (mover para frente), back (mover para trs) ou default (mover para posio padro). headRotationX : descreve o movimento de rotao da cabea no eixo X. Pode conter os valores: default (rotacionar para posio padro), forward (rotacionar cabea para frente, como olhar para baixo) ou back (rotacionar cabea para trs, como para olhar para cima). headRotationY : descreve o movimento de rotao da cabea no eixo Y. Pode conter os valores: default (rotacionar para posio padro), left (rotacionar para esquerda) ou right (rotacionar para direita). headRotationZ : descreve o movimento de rotao da cabea no eixo Z. Pode conter os valores: default (rotacionar para posio padro), left (rotacionar para esquerda) ou right (rotacionar para direita). body : descreve o movimento do tronco e pode assumir os valores: turnLeft (virarse para a esquerda), turnRight (virar-se para a direita), inclineLeft (inclinar-se para esquerda), inclineRight (inclinar-se para direita), inclineForward (inclinar-se para frente) e inclineBackward (inclinar-se para trs). lShoulder: descreve movimentos do ombro esquerdo. Pode ser shrug (elevar), circularFront, circularBack ou default (posio de repouso do ombro). O atributo tem como padro o valor default. rShoulder: descreve movimentos do ombro direito. Assim como lShoulder, pode ter o valor shrug (elevar), circularFront, circularBack ou default (posio de repouso do ombro). O atributo tem como padro o valor default.

80

Captulo 3 Sistema de transcrio proposto shoulders: descreve que o movimento ocorrer nos dois ombros simultaneamente, e pode assumir os mesmos valores dos atributos lShoulder e rShoulder. repeat: repetio do movimento. speed: velocidade do movimento. Movimentos no espao de sinalizao Os movimentos espaciais so as trajetrias entre duas poses, dentro de um mesmo sinal. Este movimento tambm pode ser automtico e inconsciente, como por exemplo a acomodao das mos para a posio de repouso, ou o posicionamento das mos em algum ponto do espao tridimensional. Nestes casos, a trajetria do movimento no precisa necessariamente ser descrita, uma vez que a reproduo computacional do sinal deve resolver o problema, interpolando naturalmente as posies das mos. No entanto, existem movimentos que no so simples acomodaes das mos, ou seja, movimentos nos quais a trajetria entre as poses intencional e faz parte do sinal. Nestes casos o movimento deve ser descrito em detalhes. Movimentos espaciais so articulados com o deslocamento das mos pelo espao de sinalizao. So descritos no sistema de transcrio com o elemento space, filho do elemento movement. O elemento space possui, alm de side, repeat e speed (presentes tambm nos movimentos de antebrao, dedos e punho) o atributo locationList. Para descrever o movimento foi adotada uma estratgia de trajetria, descrita pelo atributo locationList, atributo que admite mais de um valor, ou melhor, uma lista de pontos de localizao, mesmos pontos do atributo location. Uma sequncia de pontos de localizao no espao so definidos, e estes pontos descrevem exatamente a trajetria que a mo vai percorrer durante a sinalizao do movimento. Por exemplo, o sinal DEUS (Figura 3.36) da libras pode ser descrito como contendo um movimento espacial entre dois pontos.

81

Captulo 3 Sistema de transcrio proposto

Figura 3.36: Sinal DEUS (Capovilla et al., 2009) Sinal DEUS: Mo em D, palma para a esquerda. Mov-la para cima, acima da cabea.

Finalmente, o elemento pause descreve uma pausa, em segundos, na sinalizao.

3.3.8 Sinais compostos

Nas lnguas de sinais, sinais compostos so aqueles formados pela composio de dois ou mais sinais. Alguns exemplos de sinais compostos da libras: AOUGUEIRO = VENDER + CARNE ZEBRA = CAVALO+LISTRAS Para descrever um sinal que seja composto por outros sinais foi criado o elemento compounds, que descreve um sinal como sendo a sinalizao de dois ou mais sinais j descritos. O elemento compounds permite ao usurio citar os sinais componentes, poupando o usurio de descrever estes mesmos sinais novamente, desde que no exista necessidade de parametrizao dos sinais componentes.

82

Captulo 3 Sistema de transcrio proposto

3.4 Sequencialidade
A organizao sequencial dos sinais foi apontada por Liddell (1984) mostrando que os sinais da ASL podem ser divididos em dois tipos: unitrios e sequenciais. Nos sinais unitrios os traos so estveis, ou seja, informaes de configurao de mo, orientao da palma da mo e localizao, por exemplo, permanecem iguais durante a sinalizao do sinal, podendo ou no conter movimento. Esses sinais tambm so chamados de monosegmentais e, na libras, so menos numerosos que os sinais sequenciais (Xavier, 2006). Dentre os sinais que no apresentam uma sequncia de atividades da mo podemos citar o sinal SILNCIO da libras, ilustrado na Figura 3.37.

Figura 3.37: Sinal SILNCIO da libras (Capovilla et al., 2009) Sinal SILNCIO: Mo em 1, posicionada em frente boca.

J os sinais sequenciais so chamados tambm de pluri-segmentais (Xavier, 2006) e apresentam mais de um trao de suspenso e/ou movimento. Constituem a maioria dos sinais no lxico da ASL e se caracterizam por apresentarem sequencialidade na realizao de alguns dos traos articulatrios, ou seja, existe uma ordem fixa para eles. Liddell demonstra que alguns sinais da ASL possuem duas configuraes de mo, e/ou movimentos, e/ou localizaes, que necessariamente devem ser articulados em sequencia. No sistema de transcrio proposto, a ordem dos elementos pose e movement deve ser respeitada na implementao. Por exemplo, no sinal CACHORRO da libras, ilustrado na Figura 3.38, nos dois momentos em que as mos esto paradas, a configurao de mo, a orientao da 83

Captulo 3 Sistema de transcrio proposto palma, a localizao, entre outros traos, apresentam-se estveis. somente durante o movimento, da posio inicial final, que alguns destes traos variam (neste caso varia a localizao da mo). No entanto, o sinal segue uma sequncia na sinalizao que deve ser respeitada. Trocar a ordem das poses resultar num sinal invlido ou no mnimo, pouco inteligvel, estranho aos olhos de algum fluente em libras. Em alguns casos, trocar a ordem entre as poses e movimentos pode at resultar no entendimento de outro sinal diferente daquele que se desejou descrever.

Figura 3.38: Sinal CACHORRO da libras (Capovilla et al., 2009) Sinal CACHORRO: Mo vertical aberta, palma para trs, dedos separados e curvados, diante da boca. Mov-la ligeiramente para frente e para trs.

Nota-se que a sequncia da realizao de cada componente do sinal uma informao importante para a animao do agente virtual. Em geral, um conhecedor das notaes tradicionais consegue deduzir quando e como combinar os traos do sinal, como configurao de mo, movimentos locais, trajetrias e os demais componentes de um sinal isolado. Mas nem sempre esta informao explicita nas notaes tradicionais. Para a sinalizao virtual estas informaes no so to bvias, devendo, portanto, serem consideradas explicitamente no sistema de transcrio. A sinalizao do sinal pelo agente virtual respeita a sequncia de cada pose e movimento conforme aparece na transcrio do sinal. Dessa forma, a sequncia da sinalizao de cada pose ou movimento descrita explicitamente, de forma no ambgua, evitando eventuais erros na sinalizao.

84

Captulo 3 Sistema de transcrio proposto importante ressaltar que as informaes descritas dentro de uma mesma pose so articuladas simultaneamente. Dessa forma, configurao de mo, rotao de pulso e antebrao, da mo dominante e no dominante, bem como expresses faciais e corporais, descritos em um mesmo elemento pose so articulados ao mesmo tempo. De forma anloga, movimentos de pulso, dedos, antebrao e corpo, bem como o movimento das mos pelo espao, quando descritos dentro de um mesmo elemento movement so articulados simultaneamente pelo avatar.

3.5 Exemplo de transcrio


Para exemplificar sinais descritos com o sistema de transcrio proposto, considere o sinal CACHORRO da libras, ilustrado na Figura 3.38. Este sinal descrito no sistema de transcrio como segue:
1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. configuration name=43 index proximal="-35.0" distal="-25.0" inclined="0.0" middle proximal="-35.0" distal="-25.0" inclined="0.0" ring proximal="-35.0" distal="-25.0" inclined="0.0" little proximal="-35.0" distal="-25.0" inclined="0.0" thumb proximal="10.0" distal="0" metacarpal="-39.6" inclined="-30" Figura 3.39: Exemplo de transcrio do sinal CACHORRO da libras Sign name=CACHORRO pose dominantHand configuration=43 location=-20_45_85_100_-15 palmOrientation= supination movement space repeat=2 trajectory=-20_45_85_123_-15

85

Captulo 3 Sistema de transcrio proposto Interpretando a descrio da Figura 3.39, possvel entender que o sinal tem uma pose e um movimento. A pose tem configurao como ilustra a Figura 3.38. A esta configurao de mo atribudo o nome 43. A mo se localiza na posio -20_45_85_100_-15, onde os parmetros significam as rotaes necessrias nos eixos x, y e z do ombro e nos eixos y e z do cotovelo, respectivamente. A orientao da palma da mo supinada. Aps articular a pose, a mo se move em uma trajetria que vai em contato com a boca, na posio -20_45_85_123_-15. O atributo repeat faz com que a mo toque a boca, depois volte para a posio -20_45_85_100_-15 e depois novamente toque a boca. importante ressaltar que, da maneira como est organizado, o sistema de transcrio admite mais de uma descrio para um mesmo sinal. Ou melhor, possvel descrever de maneiras diferentes a mesma sinalizao, de modo que as diferentes descries resultem em uma mesma animao. Para exemplificar, considere ainda o sinal CACHORRO. A descrio ilustrada na Figura 3.39 vlida, porm no a nica descrio possvel com o sistema proposto. Sinais como CACHORRO da libras podem, sob o ponto de vista do sistema de transcrio proposto, serem vistos como sendo compostos por duas ou mais poses, ao invs de poses seguidas de movimentos. Dessa forma, uma descrio alternativa para o sinal CACHORRO dada a seguir:
1. Sign 2. 3. 4. 5. 6. 7. 8. pose pose dominantHand palmOrientation=supination configuration= 43 location=-20_45_-85_100_-15 pose dominantHand configuration= 43 location=-20_45_-85_123_-15 palmOrientation=supination pose dominantHand configuration= 43 location=-20_45_-85_100_-15 palmOrientation=supination

86

Captulo 3 Sistema de transcrio proposto


9. dominantHand palmOrientation=supination Figura 3.40: Alternativa de transcrio do sinal CACHORRO da libras configuration= 43 location=-20_45_-85_123_-15

Embora mais extensa, a descrio da Figura 3.40, quando interpretada no programa, gera a mesma sinalizao da descrio da Figura 3.39, que resulta no sinal CACHORRO da libras. No Captulo 5 sero apresentados exemplos de transcrio com a utilizao de arquivos XML, que foram implementados no programa de computador e animados com o avatar. No Apndice III so apresentadas as descries em XML de todos os sinais utilizados na avaliao deste trabalho.

3.6 Consideraes finais


Este captulo apresentou um sistema de transcrio para lngua de sinais voltado implementao de agentes virtuais sinalizadores. Existem outras propostas de sinalizadores virtuais, no entanto, os sistemas de transcrio tradicionais no foram criados com o intuito de gerar animao, e possuem informaes implcitas e incompletas, no oferecendo todos os dados necessrias para uma reproduo realista por agentes virtuais sinalizadores. Apenas com as notaes j existentes impossvel o entendimento inequvoco de como reproduzir os sinais de forma automtica e gerar animaes de avatares tridimensionais. Para este fim, faz-se necessria a utilizao de outras fontes de informaes, como anotaes adicionais, glosas, imagens e interferncia humana, para que as informaes implcitas sejam de alguma forma descritas e armazenadas. O presente captulo tem por objetivo apresentar um sistema de transcrio das lnguas de sinais que armazene todas as informaes relevantes para gerar sinalizaes em libras, de forma automtica e em tempo real, com o uso de avatares virtuais tridimensionais. 87

Captulo 3 Sistema de transcrio proposto O sistema de transcrio aqui proposto oferece uma ferramenta de descrio dos sinais detalhada, abrangendo as informaes relevantes para a animao de um personagem sinalizador virtual. O sistema descreve os sinais atravs de suas caracteristicas mnimas sem, no entanto, o intuito de fazer uma anlise lingustica dos sinais. O objetivo do sistema de transcrio no substituir o intrprete real nem tampouco oferecer uma ferramenta de transcrio para ser usada pelos surdos em seu cotidiano para registrar os sinais de maneira escrita. Por outro lado, a proposta apresentada neste trabalho tem por objetivo oferecer um sistema de transcrio para armazenar contedo em lngua de sinais de forma digital e posteriormente animar personagens tridimensionais, rotacionando as juntas de um avatar sinalizador.

88

Captulo 4 Transcrio de enunciados em lngua de sinais

4.1 Introduo
No captulo anterior foram descritos sinais isolados da libras. No entanto, para a produo de frases de forma natural, no robtica, no basta articular sequncias de sinais sem conexo entre si e independentes de contexto. Apesar de os sistemas de transcrio encontrados na literatura representarem os sinais isoladamente, imprescindvel que uma notao que se proponha a gerar contedo em lngua de sinais seja capaz de acomodar tambm a estrutura gramatical da lngua sinalizada. A maneira como o sinal est inserido no contexto da frase tambm tem de ser de alguma forma descrita e posteriormente interpretada pelo sinalizador virtual. Para criar contedo em libras, as frases devem obedecer estrutura da libras e no a do portugus (Brito, 1995). Um sistema de transcrio deve oferecer a possibilidade de parametrizar os sinais para que sejam articulados de forma diferente da encontrada nos dicionrios prevendo, por exemplo, flexo verbal e nominal, prosdia e coarticulao. importante notar que o objetivo desta parametrizao no oferecer um mecanismo de traduo do portugus para libras. No entanto, o sistema de transcrio proposto deve suportar as peculiaridades da gramtica das lnguas de sinais. Vrios trabalhos (Brito, 1995; Felipe, 2002; Liddell, 2003; McCleary & Viotti, 2007; Leita,
2008; Moreira, 2008; Xavier, 2011; Lu & Huenerfauth, 2011) apontam para pontos relevantes para

a criao de contedo sinalizado. O presente captulo tem por objetivo analisar as questes levantadas nestes trabalhos e a partir delas oferecer uma extenso do sistema de transcrio proposto no Captulo 3. Este sistema de transcrio estendido um primeiro passo na tentativa de

89

Captulo 4 - Transcrio de enunciados em lngua de sinais auxiliar o usurio na criao de contedo virtual em lngua de sinais que seja mais verossmil e prximo s sinalizaes produzidas pelos surdos e intrpretes. Este captulo est organizado da seguinte forma: a Seo 4.2 discute flexo nas lnguas orais; a Seo 4.3 analisa os principais estudos que apontam como a flexo ocorre nas lnguas de sinais; na Seo 4.4 so discutidos aspectos de expressividade que flexionam sinais; a Seo 4.5 discorre sobre a segmentao; a Seo 4.6 trata aspectos de coarticulao nas lnguas de sinais e a Seo 4.7 apresenta o sistema de transcrio de enunciados, proposto como extenso ao sistema do Captulo 3, que tem por objetivo abranger as caractersticas da gramtica das lnguas de sinais descritas nas sees anteriores.

4.2 Flexo de palavras nas lnguas orais


Flexo de palavras o processo no qual uma mesma palavra pode aparecer em diferentes formas. So palavras que se flexionam, por exemplo, para o plural, feminino ou superlativo. Quando uma palavra pode sofrer flexo ela chamada de varivel. Em portugus existem dez classes gramaticais, sendo seis variveis: artigo, adjetivo, pronome, numeral, substantivo e verbo. Na lngua portuguesa, os artigos podem sofrer flexo de gnero (masculino/feminino) e nmero (singular/plural), como segue: artigo definido: o, a, os, as artigo indefinido: um, uma, uns, umas. A flexo de adjetivos pode ser de trs naturezas: gnero (bonito/bonita), nmero (bonito, bonitos) e grau (aumentativo/diminutivo, por exemplo, bonito, bonitinho, bonito. Pronomes so palavras que substituem o nome ou a palavra que o acompanha. Podem ser pessoais, possessivos, demonstrativos, indefinidos, interrogativos e relativos. J os determinantes

90

Captulo 4 - Transcrio de enunciados em lngua de sinais acompanham os nomes, acrescentando determinaes ao seu significado. Podem ser artigos, possessivos, demonstrativos, indefinidos, interrogativos e numerais. Pronomes e determinantes podem sofrer flexo de gnero, nmero ou pessoa (1/2/3), como segue: Pessoais: designam as trs pessoas do discurso (no singular e no plural). Exemplo: eu, tu, ele, ela, ns, vs, eles, elas. Me, te, se, lhe, o, a, nos, vos, se, lhes, os, as. Mim, comigo, ti, contigo, si, consigo, conosco, convosco. Tambm so pessoais os pronomes de tratamento: voc, o senhor, a senhora, vossa senhoria, vossa Excelncia. Possessivos: indicam a posse em relao s pessoas do discurso. Exemplo: meu, minha, meus, minhas, nosso, nossa, nossos, nossas, teu, tua, teus, tuas, vosso, vossa, vossos, vossas, seu, sua, seus, suas. Demonstrativos: indicam o lugar ou a posio dos seres em relao s pessoas do discurso. 1. Pessoa: Este, esta, estes, estas, isto; 2. Pessoa: Esse, essa, esses, essas, isso; 3. Pessoa: Aquele, aquela, aqueles, aquelas, aquilo. Relativos: representam, em uma orao, os nomes mencionados na orao anterior. Exemplo: que, quem, quanto(s), quanta(s), cujo(s), cuja(s), o qual, a qual, os quais, as quais. Indefinidos: referem-se terceira pessoa do discurso num sentido vago ou exprimindo quantidade indeterminada. Exemplos: algum, nenhum, qualquer, ningum, onde. Interrogativos: consistem em pronomes relativos (quem, que, qual, quanto) com referncia a pessoas e coisas. So utilizados em perguntas diretas ou indiretas. Numerais so palavras que designam os nmeros ou sua ordem de sucesso. Podem ser de quatro tipos:

91

Captulo 4 - Transcrio de enunciados em lngua de sinais Cardinais: um, dois, trs, vinte, trinta. Na lngua portuguesa os cardinais podem sofrer flexo de gnero (um/uma, dois/duas) ou nmero (uma/umas, bilho/bilhes). Ordinais: primeiro, segundo, terceiro, vigsimo, trigsimo. Flexionam-se em gnero e nmero (primeiros/primeiras). Fracionrios: meio, um tero, um quinto. Os numerais fracionrios concordam em gnero e nmero com os numerais cardinais quando indicam o nmero das partes (dois teros/tera parte). Multiplicativos: duplo, dobro, triplo, qudruplo. Quando na funo de adjetivos, variam em gnero e nmero (duplo/dupla/duplas) Na lngua portuguesa os substantivos, assim como adjetivos, podem sofrer flexo de gnero, nmero e grau: menino, menina, meninos, menininho. Na lngua portuguesa os verbos podem sofrer maior nmero de flexo, e aparecem de vrias formas nas frases, dependendo do contexto. No portugus os verbos tm as seguintes categorias de flexo: Nmero: singular e plural (estuda/estudam). Pessoa: primeira (eu estudo), segunda (voc estuda), terceira (ele estuda). Modo: indicativo (estudo), subjuntivo (que eu estude) e imperativo (estude voc), alm das formas nominais: infinitivo (estudar), gerndio (estudando) e particpio (estudado). Tempo: presente (estudo), pretrito perfeito (estudei), pretrito imperfeito (estudava), pretrito mais-que-perfeito (estudara), futuro do presente (estudarei) e futuro do pretrito (estudaria). Verbos ainda podem aparecer nas frases na voz ativa ou passiva. Por exemplo: Eu estudo a matria (voz ativa) ou A matria estudada por mim (voz passiva).

92

Captulo 4 - Transcrio de enunciados em lngua de sinais

4.3 Flexo nas lnguas de sinais


Como mencionado na seo anterior, as palavras do portugus, de acordo com sua classe gramatical, podem sofrer flexo de gnero, nmero, grau, pessoa, modo, tempo e voz. Lnguas diferentes no possuem necessariamente as mesmas classes gramaticas. Em ingls, por exemplo, existe somente uma forma para artigo definido: the. A ausncia ou o tamanho reduzido de uma classe gramatical em uma lngua no implica carncia ou inferioridade dessa lngua. So apenas formas diferenciadas para expressar os mesmos conceitos (Brito, 1995). Por exemplo, na libras os artigos, preposies e conjunes no so sinalizados. Os verbos so comumente articulados no infinitivo. Por exemplo, a frase sinalizada em libras: VOC GOSTAR CURSO? pode ser traduzida em portugus para: Voc gosta do curso? Neste exemplo a conjugao do verbo gostar na segunda pessoa do singular, que ocorre na frase em portugus, no est presente na frase equivalente, em lngua de sinais, e deduzida do contexto. O ponto de interrogao pode ser articulado com uma expresso facial de questionamento, por exemplo levantando as sobrancelhas e acenando para cima com a cabea. Na libras a flexo de gnero indicada articulando-se o sinal HOMEM ou MULHER antes do sinal que sofrer flexo, como nos exemplos da Tabela 4.1. Este recurso utilizado para pessoas e animais (Strobel & Fernandes, 1998).

Glosa da libras HOMEM VELH@

Palavra correspondente do portugus vov

MULHER VELH@ vov


Tabela 4.1: Exemplos de flexo de gnero

Linguistas comumente utilizam o smbolo @ no final da glosa para indicar que o sinal no sofre flexo de gnero ou nmero. Novamente, para estes exemplos a traduo correta diretamente dependente de contexto.

93

Captulo 4 - Transcrio de enunciados em lngua de sinais A flexo de nmero na libras comumente ocorre com a repetio da sinalizao de um sinal, indicando que o mesmo se encontra no plural (Brito, 1995). Repetio tambm utilizada nos intensificadores e advrbios de modo. Por exemplo, articula-se um mesmo sinal vrias vezes, exagerando-o no contexto da frase, para intensificar o significado do sinal, como nos exemplos da Tabela 4.2. Acelerao na velocidade de sinalizao. e soletrao tambm pode funcionar como nfase na libras.

Glosa da libras COMER COMER COMER FUMAR FUMAR FUMAR FALAR FALAR FALAR

Palavra correspondente do portugus Comer sem parar. Fumar muito. Falar demais.

Tabela 4.2: Exemplos de intensificadores por repetio

Expresses faciais so amplamente utilizadas na libras para contextualizar sinais. Um exemplo desse uso na flexo de grau. Por exemplo, a sinalizao de BONITO pode ser enfatizada com expresso facial alegre e sobrancelhas levantadas. Dessa forma a traduo para o portugus poderia aplicar a flexo de grau de bonito para bonito. Frases sinalizadas nas formas afirmativa, exclamativa, interrogativa, negativa e imperativa geralmente incorporam expresses no manuais, como segue: Afirmativa: a expresso facial neutra. Interrogativa: sobrancelhas franzidas e um ligeiro movimento da cabea, inclinando-se para cima. Exclamativa: sobrancelhas levantadas e um ligeiro movimento da cabea inclinando-se para cima e para baixo. Negativa: realizando-se um movimento negativo com a cabea

94

Captulo 4 - Transcrio de enunciados em lngua de sinais Frases negativas tambm podem incorporar um sinal de negao com o dedo indicador, sinal NO. A flexo de pessoa ocorre nas lnguas de sinais por meio do sistema de apontamento, apontando-se a mo para o emissor, receptor ou um local qualquer indicando terceira pessoa. Para os pronomes, configuraes de mo diferentes indicam singular e plural. A flexo verbal na libras, assim como no portugus, mais detalhada do que a flexo de artigos, adjetivos e substantivos, por exemplo. Alm de repetio e expresses faciais, so utilizados recursos de classificadores, alternncia no nmero de mos e o uso de advrbios. A seguir sero analisadas as flexes de sinais na libras de acordo com as classes gramaticais variveis do portugus: artigo, adjetivo, pronome, numeral, substantivo e verbo.

4.3.1 Flexo de artigos

Na estruturao da libras foi observado que no so usados artigos, preposies e conjunes (Strobel & Fernandes, 1998). Dessa forma a flexo de artigos no se aplica para a libras.

4.3.2 Flexo de adjetivos

Os sinais de adjetivos so articulados na forma neutra na libras, ou seja, no h flexo de gnero ou nmero. A flexo de grau indicada por expresses faciais. Adjetivos na libras geralmente aparecem na frase aps o substantivo que qualificam, como mostra o exemplo (Strobel & Fernandes, 1998): Libras: GAT@ PEQUEN@ COR BRANC@ ESPERT@ Portugus: O gato pequeno, branco e esperto. 95

Captulo 4 - Transcrio de enunciados em lngua de sinais

4.3.3 Flexo de pronomes

Os pronomes na lngua portuguesa podem sofrer flexo de gnero, nmero ou pessoa e so classificados em seis classes: pessoais, possessivos, demonstrativos, relativos, indefinidos e interrogativos. Os pronomes pessoais so representados em lnguas de sinais pelo sistema de apontamento, ou seja, apontando-se para pessoas e objetos ao redor do articulador. Liddell (2003) descreve que os pronomes pessoais, assim como os verbos indicadores, so articulados em frente e ao redor do corpo do sinalizador. comum o sinalizador apontar para um local especfico durante uma narrativa significando o espao hipottico onde um personagem da histria estaria localizado. Os verbos e pronomes que dizem respeito a este personagem e que sofrem flexo quanto pessoa do discurso, no decorrer da narrativa, apontaro portanto para este local pr-definido. Moreira (2008) faz uma descrio da dixis de pessoa na libras para pronomes pessoais e verbos indicadores. A autora aponta que na libras alguns pronomes demonstrativos podem ser expresses diticas, ou seja, podem sofrer alteraes em sua forma para assim apontarem para pontos no espao de sinalizao associados s entidades por eles referidas. A libras possui o seguinte sistema pronominal para representar as pessoas do discurso: primeira pessoa (singular, dual, trial, quatrial e plural): EU; NS-2, NS-3, NS-4, NSGRUPO, NS-TOD@; segunda pessoa (singular, dual, trial, quatrial e plural): VOC, VOC-2, VOC-3, VOC-4, VOC-GRUPO, VOC-TOD@; terceira pessoa (singular, dual, trial, quatrial e plural): EL@, EL@-2, EL@-3, EL@-4, EL@-GRUPO, EL@-TOD@

96

Captulo 4 - Transcrio de enunciados em lngua de sinais No singular, a configurao de mo do sinal para todas as pessoas (1, 2 e 3) a mesma, mo em D ou G, ou melhor, dedo indicador estendido (aparentemente mo aberta (D) ou fechada (G) no faz diferena no entendimento do sinal). Ver configuraes de mo de Capovilla et al. (2009) ilustradas nas Figuras 3.4, 3.5 e 3.6. O que difere entre as pessoas do discurso a direo onde aponta o dedo. No sinal EU o dedo apontar para o peito do emissor, ou seja, a pessoa que est falando. O sinal para VOC apontar para o receptor, a pessoa com quem se fala. O sinal EL@ apontar para uma pessoa que no est na conversa ou para um lugar convencionado para uma terceira pessoa que est sendo mencionada. Para as pessoas do plural, chamadas de dual, trial ou quatrial a configurao de mo ser, respectivamente, em V (ou 2), W (ou 3) ou 4 (ver configuraes de mo de Capovilla et al., 2009 ilustradas nas Figuras 3.4, 3.5 e 3.6). A direo aonde aponta os dedos, assim como no singular, vai depender da pessoa. Para ns, o dedo apontar para o peito do emissor, para vocs, apontar para o receptor e para eles, apontar para um local convencionado no discurso. Para os pronomes NS-TOD@, VOC-TOD@ e EL@-TOD@, existem duas possibilidades: sinalizar a pessoa do discurso no singular + sinal GRUPO. Por exemplo, NSTOD@ articula-se com os sinais EU e GRUPO, VOC-TOD@ com VOC e GRUPO e NS-TOD@ com NS e GRUPO. articular com configurao da mo em D (ou G) um crculo. Por exemplo, NSTOD@ articula-se com o indicador estendido, o dedo comea seu movimento tocando o lado esquerdo do peito do sinalizador e se move em arco para o seu lado direito. Nesse movimento, o sinal indica tanto o sinalizador como outros participantes. Para EL@-TOD@, articula-se com o dedo indicador estendido, porm o movimento parte de um ponto do espao (no mais toca o sinalizador) e aponta um grupo de entidades, que no inclui o sinalizador.

97

Captulo 4 - Transcrio de enunciados em lngua de sinais Moreira, baseada nos estudos de Liddell (2003), apresenta os seguintes quadros (Figuras 4.1 e 4.2) de pronomes pessoais da ASL, a lngua de sinais americana.

Figura 4.1: Formas de primeira pessoa da ASL (Moreira, 2008)

98 pessoa da ASL (Moreira, 2008) Figura 4.2: Formas de no-primeira

Captulo 4 - Transcrio de enunciados em lngua de sinais

Analisando situaes da libras Moreira (2008) afirma que, discursivamente, h pronomes de primeira, segunda e terceira pessoas, do singular e do plural, na lngua de sinais brasileira e prope um sistema pronominal da libras como ilustra a Figura 4.3.

Figura 4.3: Pronomes pessoais da libras (Moreira, 2008)

Assim como ocorre no portugus, na libras a pessoa do discurso pode ser omitida da frase. No entanto, quando se deseja dar nfase pessoa do discurso, assim como no portugus, elas so sinalizadas explicitamente na frase (Felipe, 1997). Pronomes possessivos, como os pessoais e demonstrativos, no possuem marca para gnero e esto relacionados s pessoas do discurso e no coisa possuda, como acontece em portugus: ME@ (meu, minha, meus, minhas). Para a primeira pessoa ME@, pode haver duas configuraes de mo: mo aberta com os dedos juntos (mo B), bater levemente no peito do emissor; ou configurao da mo em P com o dedo mdio batendo no peito (ver configuraes de mo de Capovilla et al., 2009 ilustradas nas Figuras 3.4, 3.5 e 3.6). Exemplo de glosa na libras: ME@ SOBRINH@, em portugus: minha sobrinha. 99

Captulo 4 - Transcrio de enunciados em lngua de sinais TE@ (teu, tua, teus). Para a segunda pessoa, a mo tem configurao em P, com movimento em direo ao receptor. Exemplo na libras: TE@ ESPOS@, em portugus: seu esposo. DEL@ (dele, dela, delas). Para a terceira pessoa, a mo tem configurao em P, com movimento em direo a um ponto convencionado para terceira pessoa no contexto. Exemplo na libras: DEL@ FILHO@, em portugus: filho dela. No h sinal especfico para os possessivos no dual, trial, quadrial e plural (grupo). Para estes casos so usados os mesmos pronomes pessoais correspondentes, por exemplo, em libras: NS FILH@, em portugus: nosso(a) filho(a) Os pronomes demonstrativos e os advrbios de lugar esto relacionados s pessoas do discurso e representam, na perspectiva do emissor, o que est bem prximo, perto e distante. Na libras, estes pronomes ou advrbios tm a mesma configurao de mos dos pronomes pessoais (mo em D ou G), mas os pontos de sinalizao e as orientaes do olhar so diferentes, como segue: EST@ AQUI: apontar para o lugar perto e em frente do emissor e olhar para o lugar apontado, perto da 1 pessoa. ESS@ A: apontar para o lugar perto e em frente do receptor e olhar para o lugar apontado, perto da 2 pessoa. AQUEL@ L: apontar para um lugar mais distante (o lugar da terceira pessoa) e olhar para o lugar distante apontado. Como os pronomes pessoais, os pronomes demonstrativos tambm no possuem flexo de gnero (Felipe, 1997). O estudo de Moreira (2008) confirma no existir a distino formal de gnero no sistema pronominal da lngua de sinais brasileira. No foi encontrado na literatura estudo sobre flexo de nmero para os pronomes demonstrativos.

100

Captulo 4 - Transcrio de enunciados em lngua de sinais Os pronomes relativos (que, quem, quanto, qual), indefinidos (algum, nenhum, qualquer, ningum) e interrogativos (que, quem, qual, quanto, quando) geralmente possuem um sinal e so acompanhados de expresso facial, e no foi observada flexo nos exemplos analisados (Brito, 1995).

4.3.4 Flexo de numerais

A LIBRAS apresenta diferentes formas de sinalizar os numerais, como segue: cardinais: assim como na lngua portuguesa, cada numeral cardinal possui um sinal. At o nove so utilizadas configuraes de mo diferentes (ver Figura 3.5). O dez articulado com os sinais de 1 e 0, o quinze, com os sinais de 1 e 5, o vinte, por 2 e 0, assim por diante. Foi observado em vdeos que o nmero onze articulado com a mo em 1 e com rotao do antebrao, movendo a mo para a direita e para a esquerda. No foram encontras publicaes explicando como articular os nmeros que tm dgitos repetidos, como por exemplo 11, 22, 33 ou 100, 110. Porm, observando conversaes reais entre surdos foi constatado que a repetio realizada mantendo-se a mesma configurao de mo para o dgito que se repete, deslocando a mo para a direita. Uma pausa introduzida para cada dgito que se repete. Por exemplo, para o nmero 100 articula-se 1, depois move a mo um pouco para a direita, articula-se 0, move-se a mo novamente para a direita e articula-se novamente 0. ordinais: do primeiro at o nono tem a mesma configurao de mo dos cardinais, e a distino feita pelo movimento das mos. Os numerais ordinais possuem movimento enquanto os cardinais no possuem. Os ordinais do 1 ao 4 tm movimento para cima e para baixo e os ordinais do 5 at o 9 tm movimento para os lados. A partir do numeral dez no h mais diferenas (Felipe, 1997).

101

Captulo 4 - Transcrio de enunciados em lngua de sinais Para representar valores monetrios de 1 at 9, o numeral correspondente ao valor articulado, incorporando a este o sinal VRGULA. Uma alternativa articular, aps o sinal do numeral, os sinais R e S, simbolizando real. Para os valores de 1.000 at 9.000 incorpora-se o sinal VRGULA ou PONTO. Analisando a literatura sobre o assunto percebe-se que no h flexo de gnero ou nmero para os numerais da libras. No foi encontrada literatura sobre nmeros fracionrios e multiplicativos em libras.

4.3.5 Flexo de substantivos

A flexo de gnero dos substantivos indicada articulando-se o sinal HOMEM ou MULHER antes do sinal que sofrer flexo. A flexo de nmero representada pela repetio de movimentos e a flexo de grau comumente articulada com expresses faciais.

4.3.6 Flexo de verbos

Na lngua portuguesa os verbos podem sofrer flexo de nmero, pessoa, modo, tempo e voz. Nas lnguas de sinais, a flexo verbal de nmero pode ser articulada pela repetio de um movimento vrias vezes, enfatizando a pluralidade de uma ao (Xavier, 2011). Entretanto importante observar que incorreto afirmar que sempre que ocorrer o plural de um verbo sero articulados movimentos repetitivos (Xavier, 2011). Alguns linguistas afirmam que na ASL a incorporao da repetio na sinalizao para indicar pluralidade opcional e dependente do verbo e do contexto (Lu & Huenerfauth, 2011).
Xavier (2011) aborda outro aspecto, referente pluralidade, que pode alterar a sinalizao de um sinal quando inserido num contexto: a alternncia no nmero de mos. Segundo o autor, sinais

102

Captulo 4 - Transcrio de enunciados em lngua de sinais


tipicamente articulados com uma mo podem, em determinados contextos, serem articulados com duas mos, ou vice-versa. Em seu trabalho, Xavier (2011) aponta que um dos fatores que rege a alternncia no nmero de articuladores manuais em alguns sinais a ocorrncia de processos lexicais/gramaticais. Por exemplo, o verbo indicador AVISAR (Figura 4.4), articulado com uma mo quando seu objeto indireto tiver como referente uma nica pessoa e, com duas mos, quando o objeto indireto desse mesmo sinal se referir a mais pessoas. Este fenmeno tambm indicado em Felipe (2002).

Figura 4.4: Sinal AVISAR da libras (Capovilla et al., 2009) Sinal AVISAR: Mo em Y, palma para o lado, diante da boca aberta, e ponta do polegar tocando o queixo, se move num arco amplo para frente e para baixo, enquanto a boca se mantm aberta.

Brito (1995) argumenta que os modos verbais na libras recebem uma classificao diferente da utilizada na lngua portuguesa. Para a autora, os verbos da libras podem ser divididos em dois tipos: verbos que no possuem marca de concordncia. So articulados sempre no infinitivo, como segue:

EU TRABALHAR FENEIS eu trabalho na FENEIS


EL@ TRABALHAR FENEIS ele/a/eles/elas trabalha/trabalham na FENEIS verbos que possuem marca de concordncia, que pode ser de nmero-pessoa, de gnero ou de localizao.

103

Captulo 4 - Transcrio de enunciados em lngua de sinais Nos verbos que possuem concordncia nmero-pessoa, a orientao da mo marca as pessoas do discurso. O ponto inicial concorda com o sujeito, e o final, com o objeto. Felipe (2002) estudou a flexo verbal na libras e constatou que alguns verbos, que so encontrados em dicionrios em sua forma no infinitivo, geralmente sofrem variao em sua direo e sentido, de acordo com o contexto da sinalizao. Na lingustica, elementos chamados de diticos so aqueles que tem por objetivo localizar uma frase no tempo e espao. Trabalhos (Moreira, 2008; Xavier, 2011) apontam que existem sinais na libras conhecidos por serem verbos indicadores, sinais que tm a propriedade de realizar dixis. Segundo Liddell (2003), verbos indicadores so articulados no espao fsico em frente e ao redor do corpo do sinalizador, apontando, dentro desse espao, para um local que est associado a uma representao mental do seu referente. Estes verbos so referenciados pelos linguistas como
inflecting verbs, indicating verbs ou agreeing verbs. O termo citation form of a verb se refere a forma do infinitivo do verbo, que consta nos dicionrios (Lu & Huenerfauth, 2011). Para Liddell, os sinais

diticos so formados por duas partes: uma lingustica, que invarivel, e outra ditica, que varia conforme a situao discursiva. Felipe (2002) argumenta que a direo de sinalizao de um verbo pode se alterar de acordo com a flexo nmero-pessoa. Observe como exemplo o verbo PERGUNTAR (Figura 4.5). Na frase eu pergunto para voc a direo do movimento do emissor (1p, primeira pessoa do discurso) para o receptor (2p, segunda pessoa do discurso). Se o mesmo verbo for usado na frase: voc pergunta a mim a direo oposta (de 2p para 1p). Para os propsitos deste trabalho, alm da direo importante observar que neste exemplo altera-se ainda o local para onde aponta o dedo. Ou seja, alm de alterar a direo do movimento, outros aspectos como rotao do pulso e antebrao tambm se alteram. Se a frase for eu pergunto a ele, a direo do movimento ser para um ponto convencionado para a terceira pessoa do discurso. Nos exemplos a seguir a concordncia de pessoa indicada pelas marcaes em subscrito: PERGUNTAR2p eu pergunto a voc 104

1p

Captulo 4 - Transcrio de enunciados em lngua de sinais


2p 3p

PERGUNTAR1p PERGUNTAR1p

voc me pergunta ela me pergunta

Figura 4.5: Sinal PERGUNTAR da libras (Capovilla et al., 2009) Sinal PERGUNTAR: Mo esquerda horizontal aberta, palma para a direita; mo direita em 1, palma para baixo, indicador apontanto para frente, tocando a base do pulso esquerdo. Mover a mo direita para frente.

Moreira (2008) analisou cento e doze verbos indicadores da libras e constatou que muitos deles possuem, pelo menos, trs tipos de apontamento. A autora observou, por exemplo, sinais que inicializam o movimento no corpo do sinalizador e aponta para um ponto x no espao; sinais que inicializam o movimento em um ponto x no espao e aponta para um outro ponto y no espao; e ainda sinais onde o movimento do verbo parte de um ponto x no espao e aponta para o sinalizador. Moreira (2008) aponta que os dicionrios de libras em geral no se preocupam em descrever a altura dos pontos de sinalizao inicial e final dos sinais indicadores. Dessa forma, o leitor que desconhece o sinal pode interpretar erroneamente que a altura do movimento sempre a mesma, em todas as realizaes dos verbos. Os dicionrios no descrevem o ponto do corpo do sinalizador de onde parte o sinal e tampouco descrevem o ponto do espao para o qual os verbos indicadores apontam na sua realizao. Segundo Brito (1995) alguns verbos da libras tambm possuem o que a autora denomina de concordncia de gnero. Para realizar este tipo de concordncia so usados classificadores. Um classificador uma forma que existe em nmero restrito em uma lngua e estabelece um tipo de concordncia. Na libras, os classificadores so configuraes de mos que,

105

Captulo 4 - Transcrio de enunciados em lngua de sinais relacionadas coisa, pessoa ou animal, funcionam como marcadores de concordncia (Felipe, 2002). Os classificadores na libras podem vir junto de verbos de movimento e de localizao para classificar o sujeito ou o objeto que est ligado ao do verbo. Muitos classificadores so icnicos em seu significado pela semelhana entre sua forma ou tamanho e a do objeto a ser referido. As vezes o classificador se refere ao objeto ou ser como um todo, outras vezes refere-se apenas a uma parte ou caracterstica do ser (Brito, 1995). Por
exemplo, a mo em A ou S (fechada) pode ser utilizada para representar, durante a narrativa, um buqu de flores, a mo em B, para representar uma superfcie plana, a mo em C, para copos e vasos, assim por diante (ver configuraes de mo de Capovilla et al., 2009 ilustradas nas Figuras 3.4, 3.5 e 3.6).

Dessa forma Brito (1995) argumenta que atravs de classificadores os verbos da libras sofrem concordncia de gnero, incorporando ao verbo o objeto que vai realizar a ao. Esta concordncia de gnero classificada como pessoa, animal ou coisa. Por exemplo, o sinal ANDAR pode ter sua configurao de mo ou outra caracterstica alteradas, se quem for andar uma pessoa, um animal ou um carro, como segue: pessoaANDAR (sinal ANDAR como no dicionrio, configurao da mo em V); animalANDAR (sinal ANDAR, mas com configurao de mo em 5 e movimento ondulado); veculoANDAR (sinal ANDAR, mas com configurao de mo em B ou em 5, movimento reto)
Capovilla et al. (2009) ilustra o verbo andar para pessoa (Figura 4.6), animal (Figura 4.7) e carro (Figura 4.8). Porm, diferentemente de Brito (1995), Capovilla aponta outras diferenas no sinal andar, alm da configurao de mo. Para andar animal Capovilla descreve o sinal com configurao de mo em 5 e movimento para a frente e em zigue-zague, porm os dedos no se movem. Para andar

106

Captulo 4 - Transcrio de enunciados em lngua de sinais


de carro o sinal tem configurao de mo em 5, e sem movimento de dedos, apenas movendo-se a mo para frente.

Figura 4.6: Sinal ANDAR (pessoa) da libras (Capovilla et al., 2009) Sinal ANDAR (pessoa): Mo em 2, dedos para baixo, se move para frente enquanto os dedos indicador e mdio balanam para frente e para trs como se representasse o movimento das pernas ao caminhar.

Figura 4.7: Sinal ANDAR (animal) da libras (Capovilla et al., 2009) Sinal ANDAR (animal): Mo em 5, palma para baixo. Mover a mo para frente, em zigue-zague.

107

Captulo 4 - Transcrio de enunciados em lngua de sinais

Figura 4.8: Sinal ANDAR (carro) da libras (Capovilla et al., 2009) Sinal ANDAR (carro): Mo em 5, palma para baixo. Mover a mo para frente.

Analisando os exemplos percebe-se a iconicidade dos sinais da libras. Pode-se concluir tambm que para uma mesma palavra do portugus (no caso andar) pode existir mais de um sinal da libras. Na libras, bem como em outras lnguas como o ingls, existem verbos denominais ou

substantivos verbais, que so invariveis e somente no contexto pode-se perceber se esto sendo utilizados com a funo de verbos ou substantivos. Podemos citar como exemplos os sinais BICICLETA e ANDAR-DE-BICICLETA, CADEIRA e SENTAR; FERRO e PASSAR-COMFERRO, TESOURA e CORTAR-COM-TESOURA (Brito, 1995). Ainda segundo Brito (1995) os verbos tambm sofrem concordncia quanto localizao. So verbos que comeam ou terminam em um determinado lugar que se refere ao lugar de uma pessoa, animal ou coisa ao qual se refere o verbo. Por exemplo, para dizer Ana coloca o copo na mesa em libras, articula-se: A-N-A COPO MESA COLOCAR k, onde k o local onde a sinalizao do sinal COLOCAR vai terminar seu movimento, que representa o local onde est a mesa e pode variar segundo o contexto. Estes tipos de concordncia listados por Brito (1995), nmero-pessoal, classe e localizao, podem coexistir em um mesmo verbo. Dessa forma, Brito (1995) relaciona as concordncias verbais na libras com os parmetros que se alteram no sinal em sua forma padro, de citao, como mostra a Tabela 4.3.

108

Captulo 4 - Transcrio de enunciados em lngua de sinais concordncia nmero-pessoal Altera direo do movimento da mo (orientao da palma, rotao de pulso, ponto de localizao inicial e final do movimento) concordncia de classe concordncia de localizao Altera configurao de mo Altera ponto de sinalizao

Tabela 4.3: Concordncia verbal na libras segundo Brito (1995)

A flexo verbal de modo da lngua portuguesa pode ocorrer no indicativo, subjuntivo e imperativo, alm das formas nominais: infinitivo, gerndio e particpio. No foi encontrada literatura referente a flexo verbal de modo na libras, se ela ocorre, como ocorre e tampouco se possvel fazer um paralelo entre o portugus e a libras com relao a esta flexo. O mesmo acontece para flexo de voz, ativa e passiva. Por observaes de conversaes entre surdos, foi observado que no caso de gerndio, quando representa uma ao que se estende no tempo desde um ponto no passado at o presente momento, pode ocorrer sinalizao mais lenta do movimento ou repetio do sinal. Porm no possvel afirmar que isso ocorre com frequncia na libras e tampouco que vlido para outras lnguas de sinais. Dessa forma, para os propsitos deste trabalho, assumiu-se que os sinais que representam verbos no sofrem flexo de modo na libras, e futuras correes podero ser feitas na transcrio caso estudos lingusticos apontem o contrrio. Par representar flexo verbal de tempo na libras so utilizados advrbios de tempo para presente, passado e futuro, como segue (Felipe, 1997): sinais HOJE, AGORA, para aes ocorrendo no presente sinais J, ONTEM, ANTEONTEM, para aes passadas sinais AMANH, FUTURO para aes futuras.

Os advrbios de tempo comumente so articulados no comeo da frase (Strobel & Fernandes, 1998), como mostra os exemplos da Tabela 4.4.

109

Captulo 4 - Transcrio de enunciados em lngua de sinais

Libras HOJE EU-IR CASA MULHER^BENO ME@ AGORA EU EMBORA DEL@ HOMEM^IRM@ VENDER CARRO J ONTEM EU-IR CASA ME@ MULHER^BENO COMER^NOITE EU ESTUDAR AMANH PRXIMA QUINTA-FEIRA EU ESTUDAR DEPOIS EU ESTUDAR FUTURO EU ESTUDAR MATEMTICA

Portugus Hoje vou casa da minha me Eu vou embora agora. O irmo dela vendeu o carro. Ontem, eu fui casa da minha me. restaurante. Amanh irei estudar Estudarei na quinta-feira que vem Depois irei estudar FACULDADE Um dia farei faculdade de matemtica.

TERA-FEIRA PASSADO EU-IR RESTAURANTE Na tera-feira passada eu jantei no

Tabela 4.4: Exemplos da utilizao de advrbios de tempo na libras

4.4 Expressividade
Alm da concordncia gramatical, que levam flexo na libras, os sinais podem alterar sua sinalizao original na formao de sentenas para conter traos de expressividade. nfase ou
intensidade so expressas por exemplo por marcaes no manuais e tenso e velocidade do movimento. Outra forma de expressividade apontada por Xavier (2011) a alternncia do nmero de mos.

Um exemplo de alternncia devido expressividade foi observado com o sinal MEU (Figura 4.9) da libras. Embora esse sinal seja normalmente articulado apenas com uma mo, possvel que na expresso equivalente a problema meu do portugus ele seja realizado com duas mos.

110

Captulo 4 - Transcrio de enunciados em lngua de sinais

Figura 4.9: Sinal MEU da libras (Capovilla et al., 2009) Sinal MEU: Mo aberta, palma para trs, bater a mo no peito duas vezes.

4.5 Segmentao
Leite (2008) estudou a segmentao da libras. Um dos recursos utilizados na libras para demarcar a segmentao a prosdia, que aparece nas lnguas de sinais como expresses faciais, pausas e alterao na velocidade de sinalizao. O autor demonstra como estes fatores podem variar na reproduo de um sinal contextualizado. A pausa ocorre nas lnguas orais com a ausncia de vocalizao. Nas lnguas de sinais, a pausa algumas vezes sinalizada com o retorno das mos para o local de repouso, ou mesmo com a retrao parcial da mo. Sem esta pausa, a sinalizao poderia ser comparada a um texto escrito
sem acentos e pontuao. Ou seja, apesar de compreensvel, um texto escrito dessa forma deselegante e de difcil leitura. Pausas tambm podem ser sinalizadas com alterao na velocidade de articulao, por exemplo com o alongamento do sinal, com alteraes na tenso do movimento e tambm com o olhar. Dessa forma, o retorno das mos para o local de repouso a condio mais bvia, porm no

a nica maneira de se expressar pausa em lngua de sinais. O articulador pode, por exemplo, suspender um sinal no ar por um perodo relativamente prolongado de tempo (Leite, 2008). Liddell (1978) aponta que sinais que aparecem no final de frases apresentam durao significativamente maior do que os mesmos sinais em posio inicial ou medial na frase. 111

Captulo 4 - Transcrio de enunciados em lngua de sinais Segundo Leite (2008), uma terceira situao de prosdia acontece nas frases interrogativas, que nas lnguas de sinais so geralmente marcadas por expresses faciais especficas. O trabalho de Wilbur (1994) concentra-se no sistema ocular e mostra que as piscadas esto relacionadas a trs funes bsicas: piscadas de reflexo, piscadas involuntrias peridicas (para lubrificao dos olhos) e piscadas voluntrias que, segundo a autora, acabam submetidos organizao das lnguas de sinais, delimitando constituintes gramaticais. O trabalho de Leite (2008) refora essa proposta e faz uma analogia entre a necessidade de piscadas nas lnguas de sinais e a necessidade de inspirao de ar nas lnguas orais, responsvel pela ocorrncia de pausas nas fronteiras entre unidades gramaticais.

4.6 Coarticulao
Segundo Xavier (2011), outra razo pela qual certos sinais apresentam variao no nmero de articuladores manuais se deve ocorrncia de processos coarticulatrios. Nesses casos, a alternncia no nmero de mos no se d somente por meio da realizao com duas mos de sinais normalmente articulados com uma, mas tambm atravs da sinalizao, com uma mo, de sinais geralmente feitos com duas. A ocorrncia desse processo pode ser observada na realizao da sequncia dos sinais PRECISAR NO, empregada para dizer em libras no preciso. O sinal NO (Figura 4.10) comumente articulado com uma mo. Mas no exemplo observado por Xavier (2011), quando precede o sinal PRECISAR (Figura 4.11), normalmente realizado com duas mos, o sinal NO pode ser articulado com duas mos. De forma anloga, possvel que o sinal PRECISAR sofra influncia do sinal seguinte, NO, e passe a ser realizado com apenas uma mo. Ou seja, a influncia da coarticulao pode ocorrer para um sinal em relao a um outro sinal que o precede ou sucede.

112

Captulo 4 - Transcrio de enunciados em lngua de sinais

Figura 4.10: Sinal NO da libras (Capovilla et al., 2009) Sinal NO: Mo em 1, palma para frente. Balanar a mo e a cabea para a esquerda e para a direita, com expresso negativa.

Figura 4.11: Sinal PRECISAR da libras (Capovilla et al., 2009) Sinal PRECISAR: Mos em A horizontal, indicadores destacados, palmas para trs, lado a lado. Balaar as mos para baixo e para cima, duas vezes, com a testa franzida.

A coarticulao nas lnguas de sinais discutida em outros trabalhos. Lu & Huenerfauth (2011) afirma que a coarticulao ocorre em uma sinalizao natural quando a localizao ou configurao de mo de um sinal alterada em relao a localizao ou configurao do sinal seguinte. Os autores afirmam que este processo pode ocorrer com outros aspectos do sinal, como expresses faciais. Em McCleary & Viotti (2007) processos coarticulatrios tambm so identificados. Durante a sinalizao pode acontecer, por exemplo, a omisso de parte de um sinal com a sobreposio do sinal seguinte. Pode acontecer do movimento do sinal A comear antes que o movimento do sinal B termine, ocorrendo a sobreposio destes sinais. No existe portanto garantia de que sempre os sinais sero reproduzidos em sua totalidade nas sentenas da libras.

113

Captulo 4 - Transcrio de enunciados em lngua de sinais O sinal ARVORE (Figura 4.12) da libras articulado com o brao direito na vertical, com a palma da mo aberta e os dedos afastados. O brao esquerdo serve como base, apoiando o cotovelo direito na mo esquerda. O sinal PEGAR (Figura 4.13) comea com a mo aberta, dedos separados, e termina com a mo fechada.

Figura 4.12: sinal ARVORE da libras (Capovilla et al., 2009)

Sinal ARVORE: Brao esquerdo horizontal dobrado em frente ao corpo, mo aberta, palma para baixo, dedos separados e curvados; cotovelo direito apoiado no dorso da mo esquerda, mo direita aberta, palma para frente, dedos separados. Girar a palma para trs, duas vezes.

Figura 4.13: Sinal PEGAR da libras (Capovilla et al., 2009)

Sinal PEGAR: Mo aberta, palma para baixo. Mov-la para frente, fechando-a.
Dessa forma, para articular a frase com o sentido: O menino pegou uma fruta na rvore, o brao esquerdo, passivo no sinal ARVORE pode ser usado para articular o gesto pegar, direcionado para a mo direita, que est simbolizando a copa da rvore, onde est a fruta. Neste caso houve uma coarticulao de apenas dois sinais, ARVORE e PEGAR, para formar uma frase inteira.

114

Captulo 4 - Transcrio de enunciados em lngua de sinais Ainda segundo McCleary & Viotti (2007), a coarticulao pode ser percebida em situaes
onde se deseja articular simultaneidade de aes, ou seja, duas ou mais coisas que acontecem ao mesmo tempo. Por exemplo, o sinal BICICLETA da libras (Figura 4.13) articulado com as duas

mos fechadas, como se segurassem o guido da bicicleta. O sinal articulado com o movimento circular dos braos, analogamente ao movimento dos pedais.

Figura 4.14: Sinal BICICLETA da libras (Capovilla et al., 2009)

Sinal BICICLETA: Mo em S, palmas para baixo. Mov-las alternadamente em crculos verticais para frente, sentido horrio.
Num experimento realizado pelos autores, para articular a frase com o sentido Enquanto o homem andava de bicicleta, uma mulher veio na direo oposta, o sinalizador articulou os sinais: HOMEM BICICLETA MULHER VIR. Ao sinalizar bicicleta, com duas mos, o narrador suspende uma das mos no ar, parada, e com a outra mo articula MULHER VIR. Depois o narrador volta a sinalizar BICICLETA. Segundo McCleary & Viotti (2007), a manuteno da mo esquerda do sinalizador como parte do sinal BICICLETA fundamental para o estabelecimento da temporalidade dos eventos. A sinalizao dos sinais separadamente, em ordem sequencial, no alcanaria o mesmo sentido da frase, parecendo menos natural para um conhecedor da lngua de sinais.

4.7 Arquitetura do sistema de transcrio de enunciados


Apesar da importncia de se considerar a gramtica correta da libras, como flexo de palavras, segmentao, expressividade e coarticulao, a maioria das transcries de lnguas de sinais

115

Captulo 4 - Transcrio de enunciados em lngua de sinais


encontradas na literatura no abrangem estas caractersticas (Lu & Huenerfauth, 2011). Fica claro que, devido complexidade das lnguas sinalizadas, torna-se uma tarefa invivel, seno impossvel, criar um dicionrio com todas as posies possveis que a mo pode assumir, em todos os contextos imaginveis. Dessa forma, fica clara a necessidade de um sistema de transcrio que seja capaz de parametrizar os sinais para sintetizar a animao de frases em lngua de sinais. Alm do sistema de transcrio dos sinais apresentado no Captulo 3, este trabalho prope um passo em direo a um sistema de transcrio de enunciados em lngua de sinais. A proposta desta extenso uma estrutura hierrquica separada para descrever como os sinais, que se encontram em sua forma de citao (no dicionrio), se apresentam dentro de um contexto. Este sistema de transcrio de enunciados possibilita a parametrizao de sinais para contemplar as caractersticas da gramtica das lnguas sinalizadas citadas nas sees anteriores, como flexo, coarticulao, segmentao e expressividade. No foi encontrado na literatura estudo que estabelea um paralelo entre flexo de palavras de todas as classes gramaticais variveis do portugus e flexo de sinais da libras. Porm, pelos estudos analisados possvel perceber que algumas classes gramaticais do portugus esto presentes na libras, sendo que algumas dessas classes se flexionam como no portugus, de maneira que possvel fazer mapeamentos, como demonstrou o trabalho de Moreira (2008) com os pronomes pessoais. Embora esta anlise seja de natureza lingustica e foge do escopo deste trabalho, as Figuras 4.15 e 4.16 apresentam um quadro com o resumo do que foi discutido no captulo. Os quadros sintetizam os resultados dos estudos lingusticos mencionados durante este captulo. O intuito destas figuras poder entender melhor como ocorre a parametrizao de sinais na libras para poder corretamente represent-las no sistema de transcrio e consequentemente gerar uma animao virtual consistente com uma sinalizao real entre os surdos. Os elementos marcados com ** so os que sofrem flexo no sistema de transcrio proposto.

116

Captulo 4 - Transcrio de enunciados em lngua de sinais

Figura 4.15: Flexes no sistema proposto (parte 1).

117

Captulo 4 - Transcrio de enunciados em lngua de sinais

Figura 4.16: Flexes no sistema proposto (parte 2)

As Figuras 4.15 e 4.16 resumem a discusso da Seo 4.3 sobre flexo de palavras na libras. Nas duas primeiras colunas da direita foram listadas as classes gramaticais variveis do portugus. As demais colunas representam a natureza das flexes. Da maneira como est apresentada, alguma dessas flexes no existem no portugus. Por exemplo, no faz sentido falar de flexo de grau para artigos. Artigos no existem na libras, portanto a flexo tambm no se aplica para artigos.

118

Captulo 4 - Transcrio de enunciados em lngua de sinais


Algumas classes gramaticais sofrem flexo no portugus, mas no na libras. Por exemplo os adjetivos, que embora tenham flexo de gnero, nmero e grau na lngua portuguesa, so articulados de forma neutra na libras e no se flexionam quanto a gnero e nmero. Alguns sinais, embora sob uma perspectiva lingustica sofram flexo na libras, para os propsitos deste trabalho, so descritos como sinais diferentes e no so flexionados dentro da transcrio de enunciados. o caso de flexo de grau de substantivos, como bonitinho e bonito. Como so representados por glosas diferentes, so transcritos no sistema proposto com descries diferentes. Dessa forma no necessitam de parametrizao dentro de diferentes contextos. Alguns sinais, por sua vez, necessitam de parametrizao. No entanto para algumas classes gramaticais no foi possvel encontrar uma estudo suficientemente detalhado na literatura lingustica. Como foi discutido, a flexo de gnero pode ser indicada com a sinalizao dos sinais HOMEM ou MULHER antes do substantivo que se deseja flexionar. Dessa maneira, possvel por exemplo, descrever um sinal para ATRIZ como um composto de MULHER ATOR. O Captulo 3 discute a descrio de sinais compostos no sistema de transcrio proposto. A flexo de nmero para os pronomes pessoais possuem na prtica sinais diferentes e no flexo de um mesmo sinal de acordo com o contexto. So articulados sinais diferentes para eu, tu, ele, ns, vs e eles, alm dos pronomes VOCS-2, VOCS-3, etc, existentes na libras e que no possuem correspondentes diretos na lngua portuguesa. Os parmetros de configurao de mo, localizao, orientao e movimento espacial, por exemplo, so diferentes na sinalizao dos diferentes pronomes da libras. Dessa forma, possvel descrever, com o sistema proposto no Captulo 3, sinais diferentes para EU, NS-2, EL@-3, e para os demais pronomes, e depois utilizar estes sinais nas frases. O mesmo vale para os pronomes possessivos. No caso dos substantivos, ocorre a repetio do movimento para o plural. Dessa forma entendese que possvel descrever sinais diferentes para singular e plural, no necessitando de parametrizao por contexto para flexo de nmero dos substantivos. Para os verbos no possvel fazer esta generalizao, uma vez que Xavier (2011) e Lu & Huenerfauth (2011) deixam claro que a repetio de movimentos na flexo verbal de nmero opcional e dependente do verbo e do contexto. Xavier (2011) ainda aponta a alternncia no nmero de mos como possvel parametrizao. Dessa forma, o sistema de transcrio proposto para sinalizar

119

Captulo 4 - Transcrio de enunciados em lngua de sinais


contedo deve prever esta parametrizao dependente de contexto e possibilitar maneiras para esta descrio pelo usurio do sistema. A flexo de grau, pelos trabalhos estudados, ocorre com a adio de expresses faciais ao sinal. Dessa forma, entende-se que possvel criar, com o sistema do Captulo 3, sinais diferentes para os adjetivos bonito e bonito, bem como para os substantivos menina e menininha. Quanto flexo de pessoa do discurso, possvel observar que a direcionalidade o fator principal de mudana na sinalizao do sinal. Dessa forma, optou-se por permitir ao usurio que parametrize os pronomes e verbos direcionais, alterando seus pontos de localizao no espao. Para flexo de modo e de voz no foi encontrado material suficientemente detalhado na literatura, de modo que se acredita que para estes casos os verbos so articulados na forma de citao. Dessa forma, no foi identificado nenhum parmetro que se alterasse com este tipo de flexo. Finalmente, a flexo de tempo, como mencionado, ocorre com o uso de advrbios de tempo, sendo que os verbos na prtica so articulados no infinitivo. Dessa forma, novamente nenhuma flexo realizada. importante ressaltar que as Figuras 4.15 e 4.16 contm algumas recomendaes de transcrio no sistema proposto, porm, como ser discutido adiante, o sistema de transcrio possibilita parametrizar os sinais dentro do contexto, independente de sua classe gramatical. Em outras palavras possvel a parametrizao de um sinal mesmo que seja um substantivo ou adjetivo. Uma vez que o sistema de transcrio no tem pretenso de fazer uma anlise lingustica do sinais, apenas descrev-los quanto s suas caractersticas relevantes para gerar a animao do avatar, a anlise acima foi feita apenas com o objetivo de identificar quais parmetros eram desejados no sistema de transcrio proposto. Alm de flexo de palavras, a expressividade, segmentao e coarticulao tambm foram analisadas. Como mencionado, a expressividade pode alterar a sinalizao padro de um sinal com expresses no manuais e alternncia no nmero de mos. A segmentao inclui pausa e piscadas voluntrias. E processos coarticulatrios tambm alteram o nmero de mos da sinalizao. Com base nas consideraes acima, este trabalho prope o seguinte sistema de transcrio de enunciados em lngua de sinais para fins computacionais, ilustrado na Figura 4.17. A gramtica formal que descreve a transcrio de enunciados consta no Apndice I.

120

Captulo 4 - Transcrio de enunciados em lngua de sinais

Figura 4.17: Sistema de transcrio de enunciados

A estrutura da Figura 4.17 busca oferecer ao usurio a descrio de um enunciado em lngua de sinais, incorporando as parametrizaes discutidas. A transcrio de um enunciado se inicia pelo elemento enunciation, que pode ter um ou vrios elementos filhos phrase. Cada phrase descreve o equivalente a um constituinte de frase das lnguas orais. O elemento phrase permite a segmentao do enunciado em constituintes e possibilita a insero de elementos (pausa, piscada, alongamento, retorno parcial e retorno posio de repouso) entre duas constituintes durante a sinalizao, visando uma reproduo mais natural dos sinais, tornando-a mais prxima a sinalizao realizada por um intrprete real.

121

Captulo 4 - Transcrio de enunciados em lngua de sinais


No foi encontrado na literatura estudo que estipulasse um tempo de pausa fixo e universal entre cada sentena das lnguas de sinais. Dessa forma, estabelecer arbitrariamente um tempo de pausa ou alongamento final entre constituintes impediria o usurio de ajustar se, e por quanto tempo, sinalizar a pausa. Dessa maneira, foi criado o atributo onStart e onEnd que, para cada elemento phrase, permite inserir pausa em segundos, piscada, alongamento, retorno parcial e retorno posio de repouso, no incio ou final da sinalizao da referida constituinte. A pausa entre constituintes tambm pode ser inserida para o enunciado todo com o atributo pauseBetweenPhrases do elemento enunciation. O elemento enunciation tem tambm os atributos comma e dot que podem conter os valores blink, extension, parcialRetraction, retraction, ou um nmero correspondente a pausa, em

segundos, e indicam o que ser sinalizado quando o enunciado encontrar uma vrgula ou ponto,
respectivamente. O atributo signList contm a lista de sinais da constituinte. Se o usurio no precisa parametrizar os sinais e deseja articul-los da maneira como esto no dicionrio, os nomes dos sinais a serem articulados devem ser preenchidos no atributo signList. O elemento phrase tem os seguintes elementos filhos: param, pose, movement, coproduce e pause. Dessa forma, a sentena em libras MENINA ESTUDAR HOJE transcrita no sistema como:
10. 11. 12. enunciation phrase signList MENINA ESTUDAR HOJE

Repare que os sinais da transcrio acima sero articulados sequencialmente e da forma que se encontram no dicionrio. Para permitir a parametrizao de um sinal foi criado o elemento param. O elemento param tem os atributos signName e ignoreList, que indicam, respectivamente, o nome do sinal a ser parametrizado e o elemento ou atributo descritivo deste sinal que deve ser ignorado ou substitudo na

122

Captulo 4 - Transcrio de enunciados em lngua de sinais


sinalizao. Por exemplo, para sinalizar a constituinte em libras PROBLEMA MEU utilizada a seguinte transcrio:
1. 2. 3. 4. enunciation phrase signList PROBLEMA param signName MEU pose nondominantHand symmetry TRUE

Dessa forma, o sinal MEU ser articulado como no dicionrio, porm parametrizado para que a mo esquerda articule de maneira simtrica mo direita. Os elementos pose e movement,
filhos do elemento param, so idnticos aos elementos de mesmo nome descritos no Captulo 3 e possuem os mesmos atributos e caractersticas. Dessa forma possvel sobrepor qualquer caracterstica do sinal descrita em sua forma padro por uma outra caracterstica que se deseja atribuir ao sinal em um determinado contexto. possvel portanto alterar configurao de mo, pontos de localizao, rotao de pulso, repetio e velocidade de movimento, enfim, todas as informaes descritas detalhadamente no Captulo 3. Foram inseridos como elementos filhos de phrase os elementos pose e movement, para permitir ao usurio descrever, para um contexto, uma posio ou movimento que no esteja vinculada a nenhum sinal especfico, por exemplo apontar para um determinado local, realizar uma expresso no manual, etc. O elemento coproduce permite a coproduo de sinais, sinalizao simultnea de mais de um sinal, pose ou movimento, com a opo de omisso de parte de um sinal e sobreposio de outro. O elemento coproduce tem o atributo signList, que contm o nome dos sinais que sero coproduzidos com alguma outra pose, movimento ou parametrizao. O elemento coproduce possui os seguintes elementos filhos: param: sinais, que sero parametrizados.

123

Captulo 4 - Transcrio de enunciados em lngua de sinais


pose: descreve uma pose para ser coarticulada com os sinais ou movimentos. Contm todos os elementos e atributos do elemento pose que descreve um sinal (Figura 3.2). movement: descreve um movimento a ser coarticulado com outro movimento, pose ou sinal. Contm todos os elementos e atributos do elemento movement que descreve um sinal (Figura 3.2). Considere a seguinte constituinte da libras:

SIM MAME TUDO BEM. Estes sinais

encontram-se em sua forma de dicionrio com expresso facial neutra. No entanto, para articular todos estes sinais com uma expresso facial positiva, por exemplo, de concordncia, desejvel que todos estes sinais sejam parametrizados para que sejam coproduzidos em conjunto com a referida expresso facial. Neste caso, a transcrio da constituinte no sistema proposto a seguinte:
1. 2. 3. 4. enunciation phrase coproduce signList SIM MAME TUDO BEM pose face preDefined agreement

Outro exemplo descrito a seguir. A transcrio articula os sinais BICICLETA e depois suspende a mo esquerda no ar e articula os sinais VER MOA BONITA para, por exemplo, expressar simultaneidade, ou seja, que enquanto o sinalizador estava andando de bicicleta, viu uma moa bonita:
1. 2. 3. 4. 5. enunciation phrase signList BICICLETA coproduce signList VER MOA BONITA param signName BICICLETA ignoreList dominantHand movement

124

Captulo 4 - Transcrio de enunciados em lngua de sinais A linha 3 articula o sinal BICICLETA. A linha 4 co-articula os sinais VER, MOA e BONITA com o sinal bicicleta, porm ignora a mo direita e o movimento do sinal bicicleta. Em outras palavras, apenas o que ser articulado de bicicleta ser posicionar a mo esquerda no ponto de sinalizao do sinal, e suspend-lo l at que os sinais VER, MOA e BONITA sejam articulados, em sequncia.
O quinto elemento filho de phrase, pause, permite inserir pausa, em segundos, durante a sinalizao. Este recurso uma tentativa de acrescentar um nvel de segmentao e prosdia na sinalizao do sinalizador virtual.

4.8 Consideraes finais


Este captulo apresentou uma extenso ao sistema de transcrio proposto no Captulo 3 propondo desta forma um sistema de transcrio para enunciados em lngua de sinais. Os sistemas de transcrio de lngua de sinais encontrados na literatura no consideram
flexo de palavras, segmentao, expressividade e coarticulao, entre outros fatores que alteram a sinalizao padro do sinal e so inerentes gramtica das lnguas de sinalizadas.

O sistema de transcrio aqui proposto tem o objetivo de oferecer uma ferramenta de descrio no apenas de sinais isolados mas tambm de enunciados em lnguas de sinais, incorporando caractersticas de sua gramtica. Com a descrio de um maior nmero de informaes relevantes possvel oferecer uma ferramenta para a sntese de enunciados em lngua de sinais, que gere uma animao computacional cada vez menos robtica e mais prxima sinalizao real dos surdos. importante deixar claro que o trabalho no tem como objetivo fazer um levantamento de caractersticas gramaticais da libras para fins lingusticos, utilizando-se apenas dos trabalhos de estudiosos da rea para poder compor um sistema de transcrio para fins computacionais. Dessa maneira, acredita-se que conforme novos trabalhos da rea de lingustica forem publicados, o sistema aqui proposto dever se adaptar s novas consideraes levantadas, uma vez que ainda se

125

Captulo 4 - Transcrio de enunciados em lngua de sinais conhece pouco sobre a estrutura gramatical das lnguas sinalizadas, principalmente se comparado ao conhecimento que se possui das lnguas orais.

126

Captulo 5 Implementao do sistema de transcrio


5.1 Introduo
Como prova de conceito do sistema de transcrio proposto foi implementado um programa de computador que l arquivos transcritos neste sistema e gera animao em libras por meio de um avatar, figura virtual tridimensional articulada que representa um intrprete humano. O objetivo desta prova de conceito demonstrar a viabilidade do sistema de transcrio proposto para a produo de contedo sinalizado por avatares 3D. Nas sees seguintes sero descritos os detalhes de implementao do programa. Na seo 5.2 ilustrado o funcionamento geral do programa. Na seo 5.3 descrita a entrada do programa. A seo 5.4 descreve o modelo virtual. A seo 5.5 trata da implementao dos pontos de localizao. As sees 5.6 e 5,7 descrevem, respectivamente, o sistema de transcrio de sinais e de configurao de mo. A seo 5.8 descreve o processamento do sistema e a seo 5.9, a interface de animao gerada pelo programa. Na seo 5.10 so feitas as consideraes finais.

5.2 Funcionamento geral do programa


De forma resumida, o programa implementado pode ser entendido como um processador que recebe uma entrada, neste caso palavras em portugus, e gera a sinalizao de cada palavra em lngua de sinais, para isso movimentando um personagem humanide virtual articulando o contedo em libras. A arquitetura do programa ilustrada na Figura 5.1.

127

Captulo 5 Implementao do sistema de transcrio

Figura 5.1: Arquitetura do programa

O sistema recebe os sinais de entrada (Figura 5.1 a), o modelo tridimensional (Figura 5.1 b) e os pontos de localizao das mos (Figura 5.1 c). De acordo com os sinais de entrada, o sistema recupera as transcries correspondentes, ou seja, os arquivos de descrio (Figura 5.1 d) necessrios para a sinalizao de cada sinal. De acordo com a descrio do sinal, as transcries de configurao de mo so recuperadas (Figura 5.1 e), ou seja, os arquivos de descrio contendo as rotaes necessrias nas juntas dos dedos para a realizao de cada sinal. Finalmente, o sistema (Figura 5.1 f) gera a animao (Figura 5.1 g) rotacionando as juntas do modelo carregado e assim animando o personagem virtual. A seguir sero descritos em detalhes cada um dos elementos da Figura 5.1.

5.3 Entrada do programa


O texto de entrada pode ser digitado pelo usurio, recebido remotamente, pela internet por exemplo, ou ainda ser uma entrada de voz convertida em texto.

128

Captulo 5 Implementao do sistema de transcrio O programa implementado disponibiliza ao usurio duas opes: uma caixa de entrada para que seja digitada a glosa dos sinais, e um menu com opo de importar contedo armazenado, em arquivos XML, seguindo as regras para transcrio de enunciados em lngua de sinais descritas no Captulo 4. Glosa uma palavra da lngua oral que identifica de forma escrita um sinal de uma lngua sinalizada. Para a implementao dos arquivos de texto com a transcrio dos sinais e das constituintes foi utilizada a linguagem de marcao XML (eXtensible Markup Language) 8. Um documento XML obedece regras pr-definidas que estruturam o documento de maneira hierrquica. Documentos XML foram escolhidos para a implementao do sistema de transcrio por apresentarem vrias vantagens, dentre as quais destacam-se: So arquivos de texto, manipulveis em qualquer editor de textos simples, universalmente reconhecidos e utilizados na implementao de softwares de computador. Descrevem satisfatoriamente hierarquias, sendo uma linguagem de marcao validada e consolidada. Podem ser editados e validados com o uso de ferramentas disponveis gratuitamente. Podem ser facilmente compartilhados. Os mesmos arquivos podem ser utilizados em outras implementaes, pois em geral as ferramentas de programao atual possuem mecanismos para ler e processar arquivos XML. Uma gramtica define a estrutura geral de formao de uma sentena vlida para uma lngua. Atravs de uma gramtica pode-se gerar todas as sentenas da linguagem definida por ela. Para descrever o sistema de transcrio proposto foi criado um documento de regras formal que consta no Apndice I. Adicionalmente, foi utilizada tambm a linguagem conhecida como XML schema, documento de regras recomendado pela W3C9. Um schema permite especificar a
8 9

http://www.w3.org/XML http://www.w3.org

129

Captulo 5 Implementao do sistema de transcrio estrutura, forma e sintaxe dos arquivos XML, como por exemplo a presena ou a ordem dos elementos em uma instncia do XML, o nmero de ocorrncia de cada elemento e o contedo e tipo de cada atributo do elemento. Dessa forma, foi criado um XML schema a partir do sistema de transcrio proposto que consta no Apndice II.

5.4 Modelo
O modelo do agente virtual sinalizador foi construdo para representar, com caractersticas realistas, uma pessoa do sexo feminino. A Figura 5.2 ilustra a malha poligonal do modelo, batizado de Alicia, seu esqueleto de controle, e o modelo como visto pelo usurio, respectivamente.

Figura 5.2: Modelo batizado de Alicia

Em computao grfica uma malha poligonal uma coleo de faces que definem um objeto tridimensional. Uma face um conjunto de pontos, organizados para representar vrtices de um polgono, estruturados de maneira a formar faces geomtricas no espao tridimensional. As faces geralmente so constitudas de tringulos ou quadrilteros, umas vez que estas formas 130

Captulo 5 Implementao do sistema de transcrio simplificam o processo de renderizao. No entanto tambm podem ser compostas por outros tipos de formas geomtricas. No contexto deste trabalho o termo renderizar, do ingls render, significa fazer o processamento de objetos matemticos que definem o modelo tridimensional em uma imagem que ser exibida ao usurio no monitor do computador. A parte superior do corpo, tronco, braos e ombros, cabea e principalmente as mos, so mais utilizadas na sinalizao da libras do que a parte inferior do corpo, como quadris e pernas. Dessa forma, a densidade maior de malha de polgonos concentra-se na parte superior do modelo. Pelos mesmos motivos, a janela de exibio inicial do software enquadra a modelo da linha do quadril para cima, mas esse ponto de vista pode ser alterado pelo usurio atravs de botes na interface, aproximando, afastando ou girando a cmera pelo espao de sinalizao. importante ressaltar que um sistema de coordenadas tridimensional composto por trs eixos: X, Y e Z, e pela origem (0.0, 0.0, 0.0). Em outras palavras, um objeto modelado e posicionado no espao tridimensional pode se movimentar em trs direes: para esquerda e para direita, para cima e para baixo e para frente e para trs. Para o posicionamento de um objeto no plano, em duas dimenses, os eixos X e Y so comumente posicionados como ilustra a Figura 5.3.

Figura 5.3: Sistema de coordenadas 2D.

Para identificar como o eixo Z posicionado em relao a X e Y em geral so utilizados os sistemas da regra da mo direita ou da mo esquerda. O polegar representa o eixo X, o indicador o eixo Y e o dedo mdio o eixo Z, como ilustra a Figura 5.410.

10

http://viz.aset.psu.edu/gho/sem_notes/3d_fundamentals/gifs/left_right_hand.gif

131

Captulo 5 Implementao do sistema de transcrio

Figura 5.4: Sistema de coordenadaas 3D.

O modelo da Alicia, personagem utilizada para a implementao, utiliza sistema de coordenadas conforme a regra da mo direita, ilustrado na Figura 5.4 (b). A Alicia foi modelada em uma posio em p como ilustra a Figura 5.5. Os braos esto abertos, esticados ao lado do corpo na horizontal, com a ponta dos dedos direitos apontados para direita, e dos dedos esquerdos, apontados para esquerda, palmas das mos apontadas para baixo. Em outras palavras, estando na posio da Figura 5.5, todos os ngulos das juntas so zero.

Figura 5.5: Posio inicial do modelo.

132

Captulo 5 Implementao do sistema de transcrio Adicionalmente malha de polgonos, que representa a superfcie externa e visvel, o modelo tambm constitudo de um esqueleto de controle. Este esqueleto, ao ser manipulado, permite a deformao da malha poligonal e gera a sensao de movimento, com a consequente animao do modelo. O esqueleto uma estrutura hierrquica constituda de juntas, analogamente as juntas do corpo humano, que podem rotacionar. As juntas so conectadas entre si por elementos de ligao que representam ossos. A nomenclatura utilizada nas juntas do modelo baseada no padro proposto pelo sistema H-Anim11 e ilustrada nas Figuras 5.6 e 5.7.

Figura 5.6: Juntas utilizadas na mo do modelo

11

http://h-anim.org/Specifications/H-Anim1.1/ Acessado em: 20/03/2012.

133

Captulo 5 Implementao do sistema de transcrio

Figura 5.7: Juntas utilizadas no corpo do modelo

As juntas dos membros do lado esquerdo do corpo tm o nome precedidos de l (left), e as juntas dos membros direitos so precedidas de r (right). Como mencionado no Captulo 3, a movimentao do brao no modelo utilizado possui 8 graus de liberdade, sendo que para o posicionamento da palma da mo em um ponto do espao de sinalizao apenas 7 graus de liberdade so utilizados, pois o grau de liberdade do antebrao, reproduzido pela rotao em conjunto do rdio e da ulna, apenas vira a palma da mo para cima e para baixo. A Figura 5.8 ilustra estes graus de liberdade para o brao direito.

134

Captulo 5 Implementao do sistema de transcrio

Figura 5.8: Juntas utilizadas no corpo do modelo

importante ressaltar que o sistema de transcrio independente de modelo, ou seja, no faz meno especfica a nenhum modelo tridimensional. A implementao do sistema, por sua vez, dependente de esqueleto de controle, referenciando diretamente o nome das juntas do esqueleto de controle. Dessa forma possvel utilizar a implementao do sistema para outros modelos, com outra malha poligonal, outra aparncia e outras roupas, desde que o esqueleto de controle contenha as mesmas juntas com igual nomenclatura. Ou ainda possvel gerar outras implementaes para o mesmo sistema de transcrio proposto nos Captulos 3 e 4. O fato de no referenciar diretamente o avatar possibilita que o sistema seja utilizado para diferentes propsitos, com o uso de diferentes modelos tridimensionais. Pode-se por exemplo utilizar um modelo com vestimentas formais para a apresentao de um jornal, ou um modelo infantil para crianas. possvel at mesmo a utilizao de um modelo no humano, desde que contenha um esqueleto com as mesmas juntas e suas respectivas nomenclaturas, que permita sua movimentao e consequente sinalizao dos sinais.

135

Captulo 5 Implementao do sistema de transcrio O modelo foi construdo em um software de modelagem e posteriormente exportado em formato FBX, que permite a exportao e importao de modelos, incluindo esqueleto e texturas, entre diversos softwares de modelagem. Uma das vantagens de arquivos FBX que so facilmente lidos pelo XNA, plataforma utilizada no desenvolvimento, possibilitando a manipulao do esqueleto e a gerao da animao atravs de algoritmos computacionais.

5.5 Pontos de localizao


Como mencionado no Captulo 3, este trabalho referencia no sistema de transcrio pontos possveis para o posicionamento da mo no espao tridimensional, e cada ponto representa rotaes nas juntas do ombro e cotovelo. As juntas do ombro humano possuem trs graus de liberdade para rotao. Dessa forma, no espao cartesiano 3D, possvel rotacion-la nos eixos X, Y e Z, conforme ilustram as Figuras 5.9, 5.10 e 5.11, com os braos em movimentos espelhados. A rotao do brao no eixo X provoca os movimentos conhecido na anatomia por rotao medial e rotao lateral do brao (ou rotao externa e interna). o movimento que vira a palma da mo. Na Figura 5.9 o brao rotacionado em 30 em X, o que causa o movimento de rotao medial ou externa, o brao roda para fora.

136

Captulo 5 Implementao do sistema de transcrio

Figura 5.9: Location = 30_0_0_0_0. Ombro rotacionado em 30 no eixo X

A rotao no eixo Y provoca os movimentos conhecidos como flexo e extenso. Flexo o movimento de puxar o brao para frente, como na Figura 5.10. O movimento de extenso o contrrio da flexo, e puxa o brao para a posiao de repouso.

137

Captulo 5 Implementao do sistema de transcrio

Figura 5.10: Location =0_45_0_0_0. Ombro rotacionado em 45 no eixo Y

A rotao no eixo Z levanta os braos para cima, afastando-os do corpo, na lateral, ou abaixa-os, aproximando-os ao corpo. o movimento conhecido na anatomia como abduo, ilustrado na Figura 5.11. O movimento oposto, quando a mo retorna para a lateral do corpo conhecido como aduo.

138

Captulo 5 Implementao do sistema de transcrio

Figura 5.11: Location =0_0_-60_0_0. Ombro rotacionado em -60 no eixo Z

O cotovelo modelado com dois grau de liberdade e pode sofrer rotao nos eixos Y e Z. A rotao no eixo Y flexiona e estende o cotovelo, como ilustrado na Figura 5.12. A rotao no eixo Z flexiona o cotovelo para frente, como ilustra a Figura 5.13.

139

Captulo 5 Implementao do sistema de transcrio

Figura 5.12: Location = 0_0_0_45_0. Cotovelo rotacionado em 45 no eixo Y.

Figura 5.13: Location =0_0_0_0_-20. Cotovelo rotacionado em -20 no eixo Z

A posio inicial do modelo ilustrada na Figura 5.5. Dessa forma, para trazer o brao para a posio de repouso na implementao do programa, ilustrada na Figura 5.14, preciso rotacionar os ombros a 85 graus no eixo Z. O esqueleto de controle simtrico, dessa forma, a mesma rotao aplicada para os dois lados do corpo, esquerdo e direito, para alcanar a mesma posio.

140

Captulo 5 Implementao do sistema de transcrio

Figura 5.14: Location = 0_0_85_0_0. Posio de repouso.

O atributo location dado por Xs_Ys_Zs_Ye_Ze e referencia diretamente os ngulos de rotao das juntas dos ombros e cotovelo, como detalhado no Captulo 3. Para auxiliar o usurio a definir o ponto de localizao de um sinal, foi criado um programa de computador onde o usurio posiciona a mo do modelo no local desejado, de forma visual atravs da interface do programa, e ento registra as rotaes necessrias para alcanar esta posio. A tela do programa para o posicionamento da mo ilustrada na Figura 5.15. Atravs de botes de incremento o usurio ajusta os ngulos dos ombros e cotovelo, dos braos direito e esquerdo, e ao mesmo tempo visualiza qual a rotao da posio atual. Quando a mo est na posio desejada, os ngulos que esto sendo exibidos na tela so as rotaes necessrias para esta posio.

141

Captulo 5 Implementao do sistema de transcrio

Figura 5.15: Tela para gerar a posio das mos. Neste exemplo, rotao apenas no eixo Z de 85 no ombro para o brao direito.

5.6 Transcrio dos sinais


Aps o sistema receber os sinais de entrada, os arquivos de transcrio de cada sinal so carregados no sistema. Cada sinal transcrito em forma de texto em um arquivo XML que obedece s regras do sistema de transcrio apresentadas no Captulo 3. Para exemplificar a implementao, considere o sinal SURDO da libras (Figura 5.17).

142

Captulo 5 Implementao do sistema de transcrio

Figura 5.16: Sinal SURDO da libras (Capovilla et al., 2009) Sinal SURDO: Mo em 1, palma para a esquerda. Tocar a ponta do indicador na orelha direita, virar a palma para trs, e tocar a ponta do indicador nos lbios.

O sinal SURDO transcrito no XML a seguir:


<sign name="surdo"> <pose> <dominantHand configuration="g" location="-10_55_85_138_5" palmOrientation=neutral/> </pose> <movement> <space speed="2">-10_55_85_125_5 -10_30_85_140_20</space> <forearm orientation="supination"/> </movement> </sign>

O elemento raiz sign, que contm como atributo o nome do sinal, neste caso, surdo. Em seguida, o elemento pose descreve a posio inicial do sinal surdo. O elemento pose tem como elemento filho dominantHand. Os atributos de dominantHand descrevem a configurao de mo, orientao da palma e localizao da mo. A configurao de mo do sinal surdo em g ou 1, descrita pelo atributo configuration. A orientao da mo, descrita por palmOrientation, neutral, ou seja, no h rotao nas juntas do antebrao. O atributo palmOrientation poderia ter sido omitido da descrio, uma vez que o seu valor default neutral. A localizao na orelha, descrita pelo atributo location. O ponto que corresponde -10_55_85_138_5 alcanado rotacionando-se o ombro em (-10,55,85) e o cotovelo em (138,5). O elemento movement descreve os movimentos espacial e de antebrao. O movimento espacial, descrito com o elemento space, leva a mo da orelha at a boca. O movimento possui 143

Captulo 5 Implementao do sistema de transcrio trajetria em arco, saindo do ponto -10_55_85_138_5, passando por um ponto intermedirio -10_55_85_125_5 e terminando no ponto -10_30_85_140_20. O atributo speed controla a velocidade do movimento e o atributo repeat, a repetio do movimento, que neste caso zero. O atributo hand diz que o movimento deve ser articulado na mo direita, e poderia ter sido omitido uma vez que seu valor default dominant. O movimento do antebrao descrito pelo elemento forearm. O antebrao, que quando tocava a orelha estava voltado para o lado, na posio neutra, faz um movimento de supinao para que a palma da mo seja rotacionada e o indicador toque a boca. Os atributos repeat e speed controlam repetio e velocidade do movimento do antebrao. Para mais exemplos de sinais transcritos no sistema proposto, consultar Apndice III.

5.7 Transcrio da configurao de mo


As configuraes de mo tambm foram descritas com arquivos XML. Cada configurao de mo descrita em um arquivo. Esta descrio foi apresentada em detalhes no Captulo 3. Para exemplificar a transcrio da configurao de mo, considere a configurao de mo da letra A da libras, ilustrada na Figura 5.17.

Figura 5.17: Configurao de mo da letra A

A configurao de mo da Figura 5.17 transcrita no sistema com o seguinte arquivo XML:

<?xml version="1.0" encoding="utf-8"?> <configuration>

144

Captulo 5 Implementao do sistema de transcrio


<index proximal="-63.0" medial =0 distal="-96.8" inclined="-2.5"/> <middle proximal="-61.9" medial =0 distal="-96.6" inclined="2.2"/> <ring proximal="-59.8" medial =0 distal="-94.5" inclined="5.5"/> <little proximal="-64.9" medial =0 distal="-89.7" inclined="14.1"/> <thumb proximal="-22.8" distal="-29.3" metacarpal="-7.3" inclined="7.5"/> </configuration>

Dessa forma, cada dedo corresponde um elemento do XML, a saber: index, middle, ring, little e thumb. Cada junta dos dedos descrita com um atributo: proximal, medial e distal. O atributo inclined a rotao para a junta proximal do dedo, responsvel por inclinar e afastar os dedos entre si. O elemento thumb, como discutido no Captulo 3, no possui o atributo medial mas, por outro lado, possui o atributo metacarpal, que corresponde rotao na junta do metacarpo do dedo polegar.

5.8 Processamento
Para a implementao do sistema foi utilizada a plataforma Microsoft XNA 3.1, voltada ao desenvolvimento de jogos e que tem C# como linguagem padro. A plataforma XNA foi utilizada por oferecer recursos para a importao de modelos tridimensionais com esqueleto de controle atravs de arquivos no formato FBX, possibilitando a animao do modelo de maneira mais natural e realista. A interface de desenvolvimento (IDE - Integrated Development Environment) utilizada foi Microsoft Visual C# 2008 Express Edition. O software desenvolvido possui cinco mtodos principais: Initialize, LoadContent, Update, Draw e UnloadContent. Os mtodos Initialize e LoadContent so executados uma nica vez no inicio da execuo. J os mtodos Update e Draw so executados repetidamente em um lao infinito, at que o usurio encerre o programa. O mtodo Initialize responsvel por inicializar as variveis de controle e matrizes de visualizao e perspectiva. O mtodo LoadContent responsvel por fazer a leitura do arquivo

145

Captulo 5 Implementao do sistema de transcrio FBX, correspondente ao modelo, e carregar a personagem tridimensional na memria, sendo tambm responsvel pela inicializao das matrizes necessrias para a movimentao do modelo. Aps a chamada carga do programa ser inicializada, ou seja, aps todo o ambiente e as variveis estarem prontos, dado inicio ao lao principal do programa. Este lao consiste em dois mtodos que so chamados repetidamente at que o programa se encerre. So eles: Update e Draw. Toda a lgica do programa acionada atravs desses mtodos. A aplicao das matrizes de transformao nas juntas do modelo ocorrem dentro do mtodo Update. Essas matrizes so criadas baseadas nos sinais a serem articulados, obtidos atravs dos arquivos XML. Em seguida, o mtodo Draw, utilizado para desenhar objetos na tela, exibe ao usurio o resultado das transformaes na personagem atravs de uma cmera de visualizao, baseada nas matrizes de visualizao e perspectiva criadas dentro do mtodo Initialize. A Figura 5.18 ilustra o ciclo de vida do processamento do programa.

Figura 5.18: Ciclo de vida do processamento do programa.

Para gerar a animao, cada junta do modelo possui uma matriz de rotao. Esta matriz, inicialmente neutra, pode ou no sofrer alterao dependendo da pose que se deseja alcanar. O programa l o arquivo XML do sinal e calcula quais sero as poses chave da sinalizao. Em cada iterao do mtodo Update realizada a interpolao entre pose atual e prxima pose chave,

146

Captulo 5 Implementao do sistema de transcrio incrementando ou decrementando as rotaes nas juntas do modelo, at que as rotaes da pose atual sejam as mesmas rotaes da pose chave. Por exemplo, para mover a modelo da pose da Figura 5.19 (a) para a pose da Figura 5.19 (b) necessrio que a modelo rotacione os ombros em 85 no eixo Z . Considerando uma velocidade de sinalizao de um grau por pose, sero necessrias oitenta e cinco poses para, a partir da posio (a) alcanar a posio (b). Em outras palavras, o mtodo Update ir executar oitenta e cinco vezes, e em cada execuo vai aumentar um grau de rotao na junta do ombro no eixo Z. Quando reproduzido continuamente, a sensao que o usurio tem de que a modelo est se movimentando. O procedimento semelhante para gerar a animao nas demais juntas do modelo.

(a) Figura 5.19: Exemplo de movimentao do personagem

(b)

Para implementar o sistema de transcrio necessrio interpretar os valores lingusticos descritos no Captulo 3, como pronao e flexo por exemplo, e criar o mapeamento destes valores para ngulos de rotao nas juntas do modelo. Por exemplo, o sistema de transcrio define a orientao da palma da mo com valores como supination e pronation, atribudos ao

147

Captulo 5 Implementao do sistema de transcrio atributo palmOrientation. Para que esta informao se traduza na correta sinalizao do modelo, necessrio traduzir supination e pronation para valores de rotao nas juntas do antebrao. O antebrao rotacionado pelas juntas da ulna e do rdio. Ulna o maior osso do antebrao, e liga o cotovelo ao punho, onde se encontra o dedo mnimo. O osso do rdio se estende na parte lateral do antebrao, indo do cotovelo at o lado do punho, onde se encontra o polegar, como j descrito no Captulo 3. A Tabela 5.1 descreve as rotaes aplicadas nas juntas do rdio e ulna para movimentar o antebrao, ilustradas na Figura 5.20.

Posio neutral supination pronation

Rotao na Ulna Rotao no rdio 0 45 -45 0 45 -45

Ilustrao Figura 5.20 (a) Figura 5.20 (b) Figura 5.20 (c)

Tabela 5.1: Rotaes do antebrao

Alm dos valores pr-definidos supination, pronation, e neutral, o sistema tambm admite que o usurio informe explicitamente um valor de rotao que ser aplicado nas juntas do antebrao.

148

Captulo 5 Implementao do sistema de transcrio

(a)

(b) Figura 5.20: Exemplo de movimentao do antebrao

(c)

A junta do punho pode sofrer rotaes em duas direes, para cima e para baixo (extenso /flexo), ou para os lados (desvio radial/ulnar), como ilustra a Figura 5.21. No Captulo 3 as rotaes do punho foram descritas com dois atributos, um para rotaes para cima e para baixo (atributo wrist) e outro para as rotaes para os lados (atributo wristDeviation). A Tabela 5.2 descreve as rotaes aplicadas nas juntas do punho, com o atributo wrist, ilustradas na Figura 5.21. Assim como as rotaes do antebrao, alm dos valores pr-definidos o sistema tambm admite que o usurio informe explicitamente um valor de rotao que ser aplicado na junta do punho.

149

Captulo 5 Implementao do sistema de transcrio Posio neutral flexion relaxedFlexion extension relaxedExtension Rotao no punho eixo Z 0 -70 -35 70 35 Ilustrao Figura 5.21 (a) Figura 5.21 (b) Figura 5.21 (c) Figura 5.21 (d) Figura 5.21 (e)

Tabela 5.2: Rotaes do punho no eixo Z

(a)

(b)

(c)

(d)

(e)

Figura 5.21: Exemplo de movimentao do punho

O atributo wristDeviation pode assumir os seguintes valores (Tabela 5.3):

Posio neutral ulnarDeviation radialDeviation

Rotao no punho eixo X 0 -50 20

Ilustrao Figura 5.22 (a) Figura 5.22 (b) Figura 5.22 (c)

Tabela 5.3: Rotaes do punho no eixo X

150

Captulo 5 Implementao do sistema de transcrio

(a)

(b) Figura 5.22: Rotaes do punho

(c)

Outro detalhe da implementao a velocidade de sinalizao dos movimentos. O atributo speed, que aparece nos elementos de movimento, mapeado no sistema como o incremento das rotaes. Foi definido trs graus como velocidade padro. Dessa forma, caso o usurio no especifique uma velocidade de sinalizao, a cada iterao do programa so adicionados (ou subtrados) trs graus na rotao das juntas do modelo.

5.9 Animao
A interface da implementao do sistema ilustrada na Figura 5.23 e permite ao usurio ter controle sobre a visualizao do modelo. Dessa forma, possvel aproximar ou afastar a cmera, alterar o ngulo de viso, acelerar ou desacelerar o movimento e deixar o movimento em repetio (loop).

151

Captulo 5 Implementao do sistema de transcrio

Figura 5.23: Interface do programa

Para palavras que no contenham XML de descrio, o programa soletra a palavra, ou seja, articula a datilologia, utilizando as letras do alfabeto manual da libras.

152

Captulo 5 Implementao do sistema de transcrio

5.10 Consideraes finais


Neste Captulo foram descritos detalhes da implementao do agente virtual sinalizador, abordando o modelo geomtrico, a sua estrutura de controle na forma de esqueleto, a plataforma de desenvolvimento e a estrutura do programa que implementa o agente virtual sinalizador. O sistema recebe uma entrada e processa as informaes identificando quais sinais sero articulados e de que maneira. A descrio de cada sinal est previamente armazenada no sistema e segue regras definidas na metodologia de transcrio das lnguas de sinais para fins computacionais. O sistema recupera a descrio de cada sinal e calcula as rotaes necessrias nas juntas do esqueleto do modelo para realizar a animao. O modelo carregado e manipulado pelo sistema e o resultado final a visualizao da sinalizao em lngua de sinais do texto de entrada. O agente constitudo de um modelo animado, representando uma figura humana, capaz de articular sinais. O controle do agente virtual sinalizador efetuado atravs de scripts textuais que descrevem os sinais em notao especialmente desenvolvida no contexto deste trabalho e apresentada nos Captulos 3 e 4. Neste Captulo foram abordados apenas detalhes de implementao dos movimentos de ombros, braos e dedos. Apesar de o sistema de transcrio abordar a descrio de expresses no manuais, como expresses faciais e corporais, a implementao destes movimentos foge do escopo deste trabalho, e est sendo tratada por outros pesquisadores da equipe. importante ressaltar que o sistema de transcrio proposto neste trabalho independente de implementao. A implementao apresentada neste captulo foi criada apenas para ilustrar a utilizao do sistema de transcrio e a possibilidade de gerar contedo em lngua de sinais atravs da interpretao de scripts, ou seja, contedo transcrito em forma de texto. Portanto, todas as tecnologias descritas aqui podem ser substitudas por outras equivalentes, sem interferir nos conceitos do sistema de transcrio abordados nos Captulos 3 e 4.

153

Captulo 5 Implementao do sistema de transcrio

154

Captulo 6 Teste de inteligibilidade do sinalizador


6.1 Introduo
Para avaliar o sistema de transcrio proposto implementado com o programa descrito no Captulo 5 foram realizados testes de inteligibilidade com surdos e ouvintes fluentes em libras. Os testes foram desenvolvidos como finalidade principal de avaliar se os sinais transcritos com o sistema proposto e animados com o personagem virtual seriam corretamente interpretados por conhecedores de libras. O Captulo 6 est organizado como segue. A Seo 6.2 descreve como o material de teste foi elaborado. A Seo 6.3 trata do protocole de teste utilizado. A Seo 6.4 apresenta as caractersticas dos participantes do teste. A Seo 6.5 discute os resultados obtidos na avaliao dos sinais. As Sees 6.6 e 6.7 descrevem, respectivamente a avaliao das configuraes de mo e de enunciados da libras. A Seo 6.8 contm as consideraes finais do Captulo.

6.2 Preparao do material de teste


A primeira tarefa foi eleger, dentre os sinais da libras, um subconjunto que representasse seno todos pelo menos a maioria dos aspectos discutidos nas sesses anteriores sem, no entanto, deixar o teste muito longo e cansativo para os participantes. Xavier (2006) estudou as unidades do nvel fontico-fonolgico da libras e classificou os sinais de acordo com algumas unidades, como segue: 1 mo: sinais articulados com uma mo. mov: sinais com movimento global, movimentos da mo pelo espao. mov.local: sinais com movimento local, movimentos de dedos por exemplo, onde a posio das mos no espao no se altera. 155

Captulo 6 - Teste de inteligibilidade do sinalizador 1 CM: sinais com apenas uma configurao de mo. cont: sinal com contato. marcao no manual: sinais com expresses no manuais, como expresses faciais e movimentos de cabea e torso. reduplicao: sinais que repetem o mesmo movimento mais de uma vez.

O autor criou um banco de dados de sinais da libras e obteve estatsticas de ocorrncia de sinais em cada um dos traos descritos, bem como exemplos de todas as combinaes possveis destes traos. Existe uma dificuldade em se eleger para o teste sinais que representem todas as combinaes possveis dos traos articulatrios. Mesmo considerando que nem todas estas combinaes tenham exemplos de sinais na libras, ou ainda que vrias delas tenham pouca ocorrncia, testar todas estas combinaes resultaria em uma exploso combinatria de possibilidades e tornaria o teste invivel. Optou-se por eleger para o teste sinais que representassem todos os sete traos articulatrios descritos por Xavier (2006) e representem tambm os elementos e atributos contidos no sistema de transcrio proposto. Foram escolhidos vinte sinais da libras, entre eles duas datilologias, um sinal composto, oito sinais articulados com duas mos, onze sinais com movimento espacial (circular, semicircular, reto e ziguezague), nove sinais com outros tipos de movimento, sendo que dois deles possuem tambm movimento espacial e sinais com e sem contato. A Figura 6.1 ilustra os sinais que compem o teste, com suas respectivas caractersticas. As transcries destes sinais constam no Apndice III.

156

Captulo 6 - Teste de inteligibilidade do sinalizador

Figura 6.1: Sinais utilizados no teste de inteligibilidade do avatar

Em relao aos atributos do sistema descrito no Captulo 3, o teste buscou abranger uma ampla gama de combinaes dos valores de atributos e elementos. Para o escopo deste trabalho foi definido que no seriam testados movimentos corporais e faciais. Estas caractersticas so objeto de estudos em desenvolvimento em outro trabalho de pesquisa. A seguir so discutidos os critrios adotados na escolha dos vinte sinais utilizados para o teste, analisando os valores de atributos do sistema de transcrio proposto e suas combinaes. Quanto ao atributo configuration, foram testadas todas as configuraes de mo do alfabeto e dos numerais, alm das configuraes de mo dos 20 sinais que compuseram o teste. Quanto ao atributo palmOrientation, foram testados todos os possveis valores para o atributo, como segue: supination (sinal BOM DIA), neutral (sinal AMANHA), pronation (sinal ANDAR). Para o atributo wrist, foram testados os valores: flexion (sinal ANDAR), extension (sinal CORAO), relaxedExtension (sinal COMPUTADOR), neutral (sinal COMER). Para o atributo wristDeviation foram testados os valores: neutral (sinal BRASIL) e ulnarDeviation (sinal BARATA). Quanto ao atributo location, foram testados sinais sendo articulados em diferentes pontos de localizao do espao de sinalizao, inclusive com contato (sinal DIFICIL). O atributo symmetry foi testado com valor false (sinal COMER) e true (sinal APLAUDIR). Foram testados

157

Captulo 6 - Teste de inteligibilidade do sinalizador sinais com diferentes tipos de movimento espacial: reto (sinal DEUS), circular (sinal BICICLETA), zigue-zague (sinal BRASIL) e semi-circular (sinal SURDO). Quanto aos outros tipos de movimento, foram testados os de antebrao (sinal FEIJO), de dedos (sinal DIFCIL) e de pulso (sinal MOTO). Tambm foram selecionados para o teste sinais que possuem dois tipos de movimento ao mesmo tempo, por exemplo movimento espacial e de dedos (sinal ANDAR). Diferentes velocidades de movimento tambm foram avaliadas, por exemplo, o sinal ANDAR move o brao lentamente para frente (movimento espacial speed=0.5, meio grau a cada iterao) enquanto move os dedos mais rapidamente (movimento de dedos speed=10, dez graus a cada iterao). Foram testados movimentos sem repetio (sinal DEUS) e com repetio (sinal COMER). Foi selecionado ainda um sinal com repetio de um movimento indeterminadas vezes (sinal ANDAR, movimento de dedos com atributo repeat=INF, com repetio indeterminada, ou seja, movimenta os dedos vrias vezes enquanto o brao estiver se movendo). Tambm compuseram o teste sinais com movimento de apenas uma das mos (sinal CACHORRO) e com ambas as mos, de maneira espelhada(sinal COMPUTADOR), ativa/passiva (sinal RVORE) e alternadas (sinal FUTEBOL). Um sinal composto foi selecionado para o teste, o sinal BOM DIA, e duas soletraes com alfabeto manual, ALICIA e UNICAMP. Embora todas as letras do alfabeto manual da libras e os numerais foram todos testados, as duas datilologias tambm fazem parte do teste de sinais, para avaliar se a soletrao de palavras, com letras sinalizadas em sequencia, tambm inteligvel no avatar. Os mesmos sinais foram capturados em vdeo de duas bibliotecas de libras online 12
13

tambm foram exibidos aos participantes durante o teste, com o objetivo de identificar o desconhecimento de um determinado sinal por parte do participante, quando o sinal no fosse reconhecido em ambas as sinalizaes, real e virtual.

12 13

http://www.acessobrasil.org.br/libras/ http://www.dicionariolibras.com.br/

158

Captulo 6 - Teste de inteligibilidade do sinalizador

6.3 Protocolo de teste


Uma ferramenta de software foi desenvolvida para apresentar os dados do teste aos participantes e para coletar e registrar os resultados obtidos. Os testes foram realizados num notebook core 2 DUO de 1.6 GHz, com 4 GB de memria RAM e uma controladora de video dedicada nvidia (GEForce 8600 M) com 256 MB de memria Ram. Os teste aconteceram em dias e locais diferentes, conforme a disponibilidade dos participantes. Cada participante realizou o teste isoladamente, sem a interferncia de outras pessoas e sem consultar qualquer outro material, como dicionrios, livros ou sites da internet. Antes de iniciar o teste, cada participante era esclarecido sobre as finalidades do projeto e quais eram as tarefas a serem realizadas por ele durante a avaliao. Aps esta introduo, uma breve tela de cadastro era apresentada ao usurio para que preenchesse as seguintes informaes: nome, idade, sexo, h quanto tempo sabe libras, qual a frequncia com que utiliza a libras (dias/ms), fluncia em outras lnguas, se surdo e caso afirmativo, a idade em que ficou surdo. Aps o cadastro o participante visualizava uma lista de trinta e oito links, numeradas sequencialmente, como: Vdeo 1, Vdeo 2, Vdeo 3, ..., Vdeo 38. Ao clicar em cada um dos links, era exibido um dos vdeos da base de dados de teste. A lista de sinais era embaralhada para cada novo participante do teste, com o objetivo de evitar que a ordem com a qual os sinais eram exibidos interferisse no resultado da avaliao. A ferramenta de software utilizada para o teste garantia que cada vdeo era exibido apenas uma nica vez. Sempre os primeiros vinte vdeos eram as sinalizaes geradas com o sinalizador virtual, e os demais eram os vdeos om o intrprete real. As sinalizaes virtuais foram exibidas antes dos vdeos reais para que o participante no inferisse o significado de uma sinalizao virtual se j tivesse visto o vdeo do mesmo sinal, articulado pelo intrprete real. Para no condicionar o teste, nenhuma opo de resposta foi oferecida. A tela de avaliao exibia apenas o vdeo do sinal, real ou virtual, e uma caixa de texto, para que o participante digitasse a palavra em portugus correspondente glosa do sinal reproduzido. Com isso, aps a 159

Captulo 6 - Teste de inteligibilidade do sinalizador realizao do teste, uma anlise dos resultados foi requerida para agrupar respostas semelhantes como andar e caminhar e excluir a possibilidade de erros de digitao. A Figura 6.2 mostra a tela utilizada para a apresentao do material de teste.

Figura 6.2: Tela da ferramenta utilizada para o teste de inteligibilidade do sinalizador virtual

Os participantes foram encorajados a indicar o significado do sinal mesmo quando no tinham certeza absoluta de qual sinal estava sendo articulado. No entanto a opo de deixar uma 160

Captulo 6 - Teste de inteligibilidade do sinalizador avaliao em branco, sem preenchimento, foi disponibilizada aos participantes. Porm, no foi oferecida ao participante a opo de reavaliar um sinal. Os sinais foram avaliados assim que visualizados. Dessa forma, mesmo quando o usurio optou por no avaliar o sinal e deixar o campo em branco, ele no pde voltar atrs e avaliar o sinal posteriormente.

6.4 Sobre os participantes


O teste de inteligibilidade do sinalizador para a sinalizao dos sinais contou com a participao de 33 pessoas, sendo 16 participantes surdos e 17 ouvintes, todos fluentes em libras e que declararam utilizar lngua de sinais em seu cotidiano. Houve dificuldade para encontrar pessoas com fluncia em libras dispostas a realizar o teste. Para atingir um nmero razovel de participantes e com isso obter resultados estatsticamente representativos, foram realizados testes com pessoas de diferentes locais: Faculdade de Educao (FE) da Unicamp, com os alunos surdos e ouvintes dos cursos de bacharelado e licenciatura do Letras Libras. Centro de Estudos e Pesquisas em Reabilitao (CEPRE) da Faculdade de Cincias Mdicas da Unicamp (FCM), com os deficientes auditivos atendidos pelos programas de aprimoramento oferecidos pelo centro. Ncleo de fonoaudiologia da Universidade Metodista de Piracicaba (UNIMEP), por intrpretes. Faculdade de Americana (FAM) e Faculdade Comunitria (FAC) de Santa Brbara d'Oeste, por intrpretes e professores de libras. O teste foi realizado com participantes de diferentes idades, na faixa etria de 12 a 35 anos. Como todo projeto de pesquisa que envolve participao de seres humanos necessita de aprovao por parte de um comit de tica, este projeto foi encaminhado ao Comit de tica em 161

Captulo 6 - Teste de inteligibilidade do sinalizador Pesquisa (CEP) da FCM/Unicamp, cujo parecer de aprovao consta no Apndice IV. Os participantes preencheram o termo de consentimento livre e esclarecido (TCLE) que consta no Apndice V. Para o teste de configurao de mo e de enunciados os participantes foram especialistas e intrpretes da libras, entre eles: Intrprete e fonoaudiloga do Ncleo de fonoaudiologia da Universidade Metodista de Piracicaba (UNIMEP). Professor da FFLCH/USP. Aluno de doutorado de lingistica do IEL/Unicamp. Professor de libras da Faculdade Comunitria (FAC) de Santa Brbara d'Oeste. Professor de libras da FE/Unicamp.

6.5 Resultados
6.5.1 Avaliao das configuraes de mo Com o objetivo de avaliar a transcrio das configuraes de mo e sua consequente sinalizao, foi gerada uma instncia de teste com trinta e cinco vdeos contendo as sinalizaes de todas as letras do alfabeto e os nmeros de um a nove. Estes vdeos foram exibidos a especialistas em lingustica e lngua de sinais, e foi solicitado aos participantes que digitassem a letra ou nmero correspondente sinalizao. Da mesma maneira que o teste com os sinais, as letras e nmeros foram embaralhadas entre si, sem distino do que era letra e do que era nmero. Trs intrpretes avaliaram as configuraes de mo. Em todos os testes as configuraes de mo foram corretamente avaliadas, mostrando a eficcia da transcrio de configurao de mo proposta neste trabalho.

162

Captulo 6 - Teste de inteligibilidade do sinalizador

6.5.2 Avaliao de sinais

A Figura 6.3 apresenta o resultado do teste de inteligibilidade do sinalizador virtual para os sinais da libras testados, com a taxa de acertos e erros da avaliao de cada sinalizao. esquerda aparece o nome do sinal, seguido pelo nmero total de erros (em claro) e de acertos (em escuro).

Figura 6.3: Taxa de acertos e erros no teste de legibilidade do avatar

163

Captulo 6 - Teste de inteligibilidade do sinalizador

A Figura 6.4 apresenta o resultado do teste de inteligibilidade dos vdeos reais , com a taxa de acertos e erros da avaliao de cada sinal articulado pelo avatar. esquerda aparece o nome do sinal, seguido pelo nmero total de erros (em claro) e de acertos (em escuro).

Figura 6.4: Taxa de acertos e erros no teste de legibilidade dos vdeos reais

Analisando os resultados ilustrados nas Figura 6.3 e Figura 6.4 possvel inferir que na maioria dos sinais a taxa de acerto da avaliao do avatar foi semelhante taxa de acerto do vdeo real do mesmo sinal. Alguns erros ocorreram tanto na avaliao do avatar como na avaliao do vdeo real, casos em que o participante desconhecia o sinal e no conseguiu portanto acertar o 164

Captulo 6 - Teste de inteligibilidade do sinalizador significado nem no avatar nem no vdeo real. E houve um caso, do sinal FUTEBOL, que alguns participantes reconheceram o sinal feito pelo avatar mas no reconheceram o vdeo real, confundindo-o com o sinal ARROZ, que semelhante. Num total de 18 sinais testados, e 33 participantes do teste, cada sinal foi testado 33 vezes, resultando num total de 594 testes. A Figura 6.5 ilustra este somatrio de acertos e erros para todos os sinais testados, em porcentagem, para o avatar e para os vdeos reais.

Figura 6.5: Porcentagem de acertos e erros no teste de legibilidade do sinalizador virtual.

A partir dos resultados ilustrados na Figura 6.5 possvel afirmar que o sinalizador virtual apresentou no teste realizado, em 92,6 porcento dos sinais, uma sinalizao inteligvel para fluentes em libras. A taxa de acerto para os mesmos sinais, com os mesmos participantes, foi de 93,9 porcento de correto entendimento para os vdeos reais. Portanto o sinalizador virtual apresentou uma diferena na inteligibilidade de pouco mais de um porcento, para menos, quando comparado com o sinalizador real.

165

Captulo 6 - Teste de inteligibilidade do sinalizador Os resultados das Figuras 6.3 e 6.4 foram normalizados, como ilustra a Tabela 6.1. As colunas Acertos Vdeos e Acertos Avatar indicam a quantidade de acertos normalizada entre 1 (100% de acerto) e 0 (nenhum acerto), para os sinais articulados pela pessoa real e pelo avatar, respectivamente. A ltima linha apresenta a taxa mdia de acertos das duas amostras.

Sinal 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 Mdia de Acertos

Acertos Vdeos Acertos Avatar 0.8485 0.8788 1 1 0.9697 1 0.8788 1 1 1 0.9697 0.8182 0.8788 1 0.9394 0.7273 1 1 0.9394 0.7576 0.8788 0.9394 1 0.9091 1 0.8485 1 0.9697 1 0.9697 0.8182 0.7273 1 0.9394 0.9091 1 1 0.9259

Tabela 6.1: Resultados normalizados do teste de inteligibilidade

Adicionalmente, foi feita uma anlise no paramtrica de Mann Whitney para avaliar a hiptese de que v = a, onde v equivale a taxa de acertos para os vdeos e a a taxa de acertos

166

Captulo 6 - Teste de inteligibilidade do sinalizador para o avatar. O objetivo investigar se as diferenas observadas entre as duas amostras so estatisticamente significantes. Na anlise realizada, o resultado obtido foi de W = 178.5 e p-value = 0.5954. Ou seja, estatisticamente no h razes para afirmar que haja uma diferena entre as percentagens. A Figura 6.6 ilustra o resultado do teste de inteligibilidade das datilologias do avatar.

Figura 6.6: Taxa de acertos e erros no teste de legibilidade das datilologias do avatar

Analisando a Figura 6.6 tem-se que, de 33 participantes, 32 conseguiram entender a datilologia UNICAMP e 30 conseguiram entender ALICIA. Normalizando os resultados, temos uma taxa de acerto de 0.9394 das datilologias articuladas pelo avatar, o que equivale a 93 por cento de acerto.

6.5.3 Avaliao de enunciados

167

Captulo 6 - Teste de inteligibilidade do sinalizador O objetivo deste trabalho foi o de propor um sistema de transcrio dos sinais da libras. No entanto, com o intuito de testar a sinalizao contextualizada dos sinais foi gerada uma instncia do teste para enunciados da libras. Para elaborar o teste foi sintetizada uma animao inspirada no artigo de McCLeary & Viotti, 2007), no qual os autores transcrevem parte de uma narrativa em vdeo conhecida como A Histria da Pera. No referido artigo os autores descrevem um modelo de transcrio em andamento que registra a temporalidade de eventos que ocorrem simultaneamente. Mais precisamente, os autores descrevem que para aes que ocorrem simultaneamente na narrativa existe a manuteno da mo no-dominante realizando parte de um sinal, enquanto a mo dominante realiza outras sinalizaes. A narrativa de McCLeary & Viotti (2007) um excelente exemplo para testar a parametrizao de sinais em sua forma de dicionrio, conforme descrito no Captulo 4, para sua contextualizao em uma narrativa. Dessa maneira, foi gerado o seguinte enunciado:

M-A-R-I-A CHAPEU PERDER. BICICLETA CHAPEU_CAIR_CABEA

Foi articulada a datilologia de MARIA, em seguida o sinal CHAPEU seguido do sinal PERDER. A mo voltou posio de repouso. Em seguida foi articulado o sinal BICICLETA seguido por um sinal de tirar o chapu da cabea, porm com a mo esquerda mantida na posio em que estava quando articulava o sinal anterior, bicicleta. Dessa forma, procurou-se transmitir o sentimento de simultaneidade dos acontecimentos, ou seja, maria perdeu o chapu enquanto andava de bicicleta. O enunciado gerada foi exibida a quatro especialistas da libras, entre intrpretes, fonoaudilogos e professores de libras, que utilizam a lngua de sinais em seu cotidiano. Os participantes foram convidados a opinar sobre a sinalizao gerada. O participante 1 teve o seguinte entendimento do enunciado:

168

Captulo 6 - Teste de inteligibilidade do sinalizador

M-A-R-I-A

COLOCA_CHAPEU_NA_CABEA

????

ANDA_DE_BICICLETA CHAPEU_CAI_DA_CABEA O participante 1 entendeu a datilologia e os sinais, porm no conseguiu identificar o significado do sinal perder, indicado no quadro acima com as interrogaes. O participante ainda fez observaes importantes quanto ao posicionamento do avatar. No caso desta narrativa por exemplo, o participante observou que para ele no ficou claro quem est pondo o chapu e quem est andando de bicicleta, porque o avatar est sempre com postura de narrador: Evidentemente, no o narrador que pe o chapu e anda de bicicleta. Deve ser algum personagem sobre o qual o narrador est falando. Em uma narrativa maior, primeiro os personagens da histria so contextualizados. Geralmente escolhe-se um ponto de localizao para identificar o personagem 1, outro ponto de localizao diferente para posicionar o personagem 2, assim por diante. Dessa forma, antes de sinalizar aes do personagem 1, o narrador coloca-se na posio que, no contexto, est indicando a posio deste personagem. O participante 2 teve o seguinte entendimento do enunciado:

MARIA PERDEU O CAPACETE ANDANDO DE BICICLETA

Dessa vez o participante entendeu corretamente o sentido do enunciado, embora tenha trocado a palavra chapu pelo similar capacete. O participante 3 teve o seguinte entendimento:

169

Captulo 6 - Teste de inteligibilidade do sinalizador

MRCIA VEIO ESTUDAR HOJE DE BICICLETA ????

O participante observou que no conseguiu entender a sinalizao do sinal PERDER, e o significado do enunciado como um todo tornou-se sem sentido para ele. O quarto e ltimo participante observou que j conhecia a histria da pera, portanto reconheceu a sinalizao corretamente. Todos os participantes observaram que para um melhor entendimento faz-se necessria uma narrao maior, e no apenas uma frase isolada. Com mais elementos contextualizadores ficaria mais fcil inferir o significado de um fragmento de sinalizao do que se este fragmento estiver isolado, sem incio ou fim.

6.6 Consideraes Finais


O objetivo principal dos testes realizados foi avaliar a sinalizao de sinais da libras descritos com o sistema de transcrio proposto e articulados com um personagem virtual. Na inteligibilidade de sinais isolados o sinalizador virtual apresentou uma diferena de cinco por cento, para menos, quando comparado com o o vdeo do intrprete real. Essa diferena considerada como um resultado positivo, pois mostra que a grande maioria dos sinais foi interpretada corretamente pelos participantes, sugerindo a eficcia do sistema de transcrio proposto para a sinalizao virtual de sinais da libras. A avaliao de datilologias tambm foi bem sucedida, uma vez que todas as letras do alfabeto e os numerais foram corretamente interpretados pelos participantes do teste, comprovando ser satisfatria a transcrio de configurao de mo proposta neste trabalho. O teste de inteligibilidade do avatar para a sinalizao de enunciados contou com quatro participantes, sendo que somente um dos participantes que declarou no conhecer a histria

170

Captulo 6 - Teste de inteligibilidade do sinalizador conseguiu inferir o significado da sinalizao. importante notar que para a sinalizao de enunciados a contextualizao indispensvel, assim como a incorporao de detalhes como, por exemplo, a sinalizao de aspectos no manuais, como expresses corporais, movimentos de tronco e expresses faciais. Os resultados obtidos so importantes referenciais para a avaliao de futuras verses do sistema de transcrio e tambm do sinalizador virtual. importante observar que o teste aplicado neste trabalho no considerou aspectos importantes relacionados naturalidade da sinalizao, como movimentos articulatrios da boca ou movimentos fisiolgicos da face, tronco e membros. Estes aspectos so relevantes para tornar o sinalizador virtual mais amigvel e aumentar a inteligibilidade dos sinais, e devero ser considerados em trabalhos futuros.

171

Captulo 6 - Teste de inteligibilidade do sinalizador

172

Captulo 7 Concluses e trabalhos futuros


Agentes virtuais so recursos computacionais com aplicaes em diferentes reas e que auxiliam o usurio em tarefas do cotidiano, aprimorando a interface humano-computador de diversas aplicaes. O presente trabalho oferece um sistema de transcrio para ser utilizado para animar agentes virtuais sinalizadores de lngua de sinais. Com o uso de agentes virtuais sinalizadores possvel aumentar a acessibilidade de portadores de deficincia auditiva, auxiliando a incluso destes usurios no s em ambientes digitais, mas tambm facilitando o acesso de modo geral a vrios tipos de contedo. Agentes virtuais sinalizadores podem ser utilizados, por exemplo, em educao, entretenimento, comunicao pessoal, utilizao de recursos computacionais, navegao na web, apresentao de notcias, enfim, na criao, disponibilizao e utilizao de forma gil e prtica de contedo em lngua de sinais. Os focos principais deste trabalho foram a criao de um sistema de transcrio de lngua de sinais para fins computacionais e a criao de uma ferramenta computacional que utiliza o sistema de transcrio para criar contedo em libras, a lngua brasileira de sinais. O sistema de transcrio descreve os sinais atravs de suas unidades mnimas distintivas, ou seja, de caractersticas como configurao de mo, orientao da palma, localizao das mos e movimento, por exemplo, caractersticas pelas quais possvel diferenciar os sinais entre si. O sistema representa ainda um primeiro passo em direo a criao de um sistema de transcrio de contedo em lngua de sinais, permitindo a parametrizao de sinais. Nesse sentido, o sistema prev, por exemplo, conjugao verbal, concordncia de gnero, nmero e grau, entre outras particularidades gramaticais das lnguas de sinais. O personagem virtual construdo para o trabalho representa uma figura humana com caractersticas realistas. O programa carrega o personagem virtual, processa os sinais descritos

173

Captulo 7 Conclouses e trabalhos futuros em arquivos XML, e gera a sinalizao correspondente em lngua de sinais manipulando as juntas do esqueleto de controle do modelo. A interface tridimensional do programa permite ao usurio ter controle sobre a visualizao, como afastar, aproximar, rotacionar e mover a cmera, acelerar, desacelerar ou parar o movimento e repetir a sinalizao. A principal contribuio deste trabalho a proposta de um sistema de transcrio das lnguas de sinais para fins computacionais. A descrio de uma lngua de sinais no tarefa trivial. Mesmo entre os lingustas da rea no existe um consenso sobre quais caractersticas so necessrias e suficientes para a descrio de um sinal sendo que, at o presente momento, no h uma notao universalmente aceita e utilizada para tal propsito. Mesmo com o uso das notaes j existentes, para o entendimento inequvoco de como reproduzir os sinais faz-se necessria a utilizao de outras fontes de informaes, como imagens e anotaes adicionais. Dessa forma, o sistema de transcrio proposto neste trabalho torna-se ferramenta importante de estudo e pesquisa tambm para os linguistas das lnguas de sinais. O sistema aqui proposto descreve explicitamente informaes que esto implcitas nas outras notaes existentes. As informaes so descritas textualmente, em contraste com as notaes icnicas/imagticas. Entre as informaes descritas no sistema de transcrio proposto neste trabalho, importante destacar as seguintes: simultaneidade e sequencialidade de aes contextualizao e parametrizao de sinais expresses no manuais, como faciais e corporais configurao de mo velocidade de movimento repetio de movimento dinmica de movimento pontos de localizao no espao tridimensional de um ponto de vista geomtrico valores de rotao das juntas do esqueleto do modelo virtual necessrios para gerar animao em lngua de sinais notao textual. descrio de sinais compostos

174

Captulo 7 Concluses e trabalhos futuros descrio de condio de simetria das mos

Como trabalhos futuros possvel antecipar que juntamente com as reas de animao facial e inteligncia artificial, o presente trabalho essencial para a obteno de personagens virtuais sinalizadores cada vez mais realistas. Incorporando ainda a sntese de fala possvel reproduzir os sons correspondentes em uma lngua oral ao mesmo tempo em que est sendo articulado o sinal pelo avatar. Outro trabalho futuro investigar o uso de cinemtica inversa para o posicionamento das mos no espao tridimensional de sinalizao. Com a utilizao de tecnologias j existentes de reconhecimento de fala possvel aumentar ainda mais a gama de aplicaes do sistema, uma vez que sua entrada pode ser realizada oralmente, via voz. Ou melhor, o usurio no precisa digitar os dados de entrada, sendo que atravs da fala ele diz em voz alta a sinalizao que deseja gerar com o avatar. Com o reconhecimento de imagens e vdeos possvel criar ferramentas de captura que estabeleam a comunicao total do deficiente auditivo com o sistema, utilizando apenas lngua de sinais. possvel utilizar o sistema proposto em conjunto com mecanismos de captura de vdeos que registre como entrada uma sinalizao em libras de uma pessoa real em frente uma cmera e gere uma resposta, tambm sinalizada em libras, atravs do avatar. Dessa forma possvel estabelecer uma comunicao direta libras-libras entre usurio e computador, por exemplo. Entre as possveis extenses deste trabalho esto ainda o desenvolvimento de aplicativos para dispositivos mveis e TV digital. O sistema de transcrio proposto pode ser utilizado para o desenvolvimento de sistemas que substituam o closed caption dos televisores atuais, uma vez que j foi discutida a ineficcia de tal sistema para aumentar a acessibilidade dos surdos ao contedo, por se tratar de material escrito. Outra interessante extenso ao presente trabalho implementar um programa de computador para gerar os arquivos de transcrio automaticamente. Para o propsito de prova de conceito, os arquivos transcritos foram implementados em XML. um interessante trabalho futuro um programa que auxilie o usurio nesta tarefa, gerando automaticamente e de maneira visual os arquivos XML descritivos dos sinais.

175

Captulo 7 Conclouses e trabalhos futuros Como extenso a esse trabalho temos tambm a avaliao do sistema de transcrio quanto capacidade de descrio de sinais em outras lnguas alm da libras, como a lngua de sinais americana ASL, por exemplo. Uma vez que os sinais so constitudos de movimentos das mesmas juntas do corpo, provvel que o sistema de transcrio possa ser utilizado para descrever contedo em qualquer lngua de sinais, alm da libras. No entanto, testes adicionais seriam necessrios para avaliar o uso do sistema de transcrio com outras lnguas de sinais. Outra interessante contribuio do presente trabalho para pesquisas futuras oferecer um mecanismo para a criao de sistemas de traduo, que em tempo real transformem qualquer lngua escrita, como por exemplo o portugus, em libras, para a posterior reproduo computacional de contedo sinalizado. Uma vez que os softwares de traduo existentes ainda possuem lacunas significativas mesmo entre duas lnguas escritas (ou seja, a traduo de textos ingls portugus por exemplo ainda no completamente satisfatria) um sistema de traduo portugus - libras uma interessante linha de pesquisa futura a este trabalho. As contribuies adicionais do presente trabalho so: publicao de quatro artigos em congressos, sendo um nacional e trs internacionais, nos Estados Unidos e Espanha. apresentao em dois eventos internos no departamento, o EADCA. um pedido de patente foi depositado junto ao INPI quanto ao sistema de transcrio proposto apresentado nos Captulos 3 e 4. um pedido de registro de programa de computador foi depositado junto ao INPI quanto implementao do sistema, apresentada no Captulo 5. trs notcias em sites de cunho acadmico: revista FAPESP revista (http://revistapesquisa.fapesp.br/2012/03/29/conversor-de-textos-para-libras/?), Unicamp

ComCiencia (http://www.comciencia.br/comciencia/?section=3&noticia=744) e Jornal da (http://www.unicamp.br/unicamp/ju/526/comunica%C3%A7%C3%A3oestabelecida ), com diversas repercusses em portais de notcias, blogs e redes sociais. quatro entrevistas para a televiso, uma exibida no Jornal Nacional no dia 23/06/2012 (http://www.youtube.com/watch?v=UTXav54Q3HQ), uma para a UniverspTV (http://www.youtube.com/watch?v=gdGqzws-M-0) uma para a RTV da Unicamp 176

Captulo 7 Concluses e trabalhos futuros (http://www.rtv.unicamp.br/webtv/?vd=414) e uma para a TV cultura, que ainda no foi publicada at a presente data. o trabalho foi proposto e escolhido por uma das equipes do Desafio Unicamp, onde grupos de alunos de graduao da Unicamp procuram conceber um negcio visando o licenciamento da tecnologia.

177

Captulo 7 Conclouses e trabalhos futuros

178

Referncias bibliogrficas
Amaral, W. M., Angare, L. & De Martino, J. M. (2011). Sign Language 3D Virtual Agent. International Conference on Education and Information Systems, Technologies and Applications (EISTA 2011). Florida, USA. Amaral, W. M., Angare, L., Bezerra, J., De Martino & J. M., Franchi Jr, G. O. (2011). Agente Virtual 3D Sinalizador libras. VI Congreso Iberoamericano Sobre Tecnologas de Apoyo a la Discapacidad (Iberdiscap 2011). Espanha. Amaral, W. M. & De Martino, J. M. Towards a Transcription System of Sign Language for 3D Virtual Agents. In: Tarek Sobh, Khaled Elleithy . (Org.). http://www.springer.com/computer/swe/book/978-90-481-9111-6. Bridgeport: Springer, 2010, v. 1, p. 85-90. Amaral, W. M. & De Martino, J. M. Modelo de transcrio da Lngua de Sinais Brasileira voltado a implementao de agentes virtuais sinalizadores, Interaction 09 | South Amrica. So Paulo, 2009. Arafa, Y., Kamyab, K., Mamdani, E., Kshirsagar, S., Magnenat-Thalmann, N., Guye-vuillme, A. & Thalmann, D. (2002). Two Approaches to Scripting Character Animation. Proc. of the AAMAS Workshop on Embodied conversational agents Lets specify and evaluate them!. Bologna, Italy. Arafa, Y., Kamyab, K. & Mamdani, E. (2003) Character animation scripting languages: a comparison. International Conference on Autonomous Agents. Proceedings of the second international joint conference on Autonomous agents and multiagent systems. Arafa, Y. & Mamdani, A. (2003) Scripting embodied agents behaviour with CML: character markup language. International Conference on Intelligent User Interfaces. Proceedings of the 8th international conference on intelligent user interfaces. Awad, , C., Courty, N., Duarte, K., Naour, T. & Gibet, S. (2009). A Combined Semantic and Motion Capture Database for Real-Time Sign Language Synthesis. IVA '09 Proceedings of the 9th International Conference on Intelligent Virtual Agents. Springer-Verlag Berlin, Heidelberg Backus, J.W. (1959). "The syntax and semantics of the proposed international algebraic language of the Zurich ACM-GAMM Conference". Proceedings of the International Conference on Information Processing. UNESCO. p. 125132

179

Referncias bibliogrficas Battison, R. (1974) Phonological deletion in American Sign Language. Sign Language Studies, p 119. Battison, R. (2000) Linguistics of American Sign Language: An introduction. Washington, DC: Clerc Books: Gallaudet University Press. Bergman, B. (1979). Signed Swedish. Stockholm: National Swedish Board of Education and Liber UtbildingsFrlaget. Brito, L. F. (1995). Por uma gramtica da lngua de Sinais. Rio de Janeiro: Tempo Brasileiro, 1995. Capovilla, F. C., Raphael, W. D. & Mauricio, A. D. L. (2009) Novo Deit-libras: Dicionrio Enciclopdico Ilustrado Trilingue da Lngua de Sinais Brasileira (libras). EDUSP. Censo Demogrfico (2010). Caractersticas Gerais da Populao: Resultados da Amostra. Instituto Brasileiro de Geografia e Estatstica IBGE . Disponvel em: ftp://ftp.ibge.gov.br/Censos/Censo_Demografico_2010/Caracteristicas_Gerais_Religiao_Defic iencia/tab1_3.pdf . Acessado em: 19/07/2012. Chan-Vianna, A.C. (2003). Aquisio de portugus por surdos: Estruturas de posse. Dissertao de mestrado, UnB. Cohen, E., Schlesinger, I. M. & Namir, L. (1977). A new dictionary of sign language employing the Eshkol-Wachmann movement notation system. Paris: Mouton. Corazza, S. (1990). The morphology of classifier handshapes in Italian Sign Language. In Ceil Lucas (ed.), Sign language research. Theoretical issues. Washington, DC: Gallaudet Universtity press. Cordeiro, A. (1998). Nota-Anna: A escrita eletrnica dos movimentos do corpo baseada no mtodo Laban. So Paulo: Annablume/Fapesp. Darwin, C. & Ekman, P. (2009) The expression of the emotions in man and animals. Anniversary Edition, Oxford University Press. Ekman, P., Friesen, W. V. (2003). Unmasking the face: a guide to recognizing emotions from facial expressions. Malor Books.

180

Referncias bibliogrficas Farnell, B. (1990). Plains Indian sign talk: action and discourse among the Nakota (Assiniboine) people of Montana. Doctoral dissertation, Indiana University. Felipe. T. (2002) Sistema de Flexo Verbal na LIBRAS: Os classificadores enquanto marcadores de flexo de gnero. Anais do Congresso Surdez e Ps-Modernidade: Novos rumos para a educao brasileira - 1. Congresso Internacional do INES. 7. Seminrio Nacional do INES. Rio de Janeiro: INES, Diviso de estudos e Pesquisas. 2002: 37-58. Felipe, T. (1997). A. Introduo Gramtica de LIBRAS - Rio de Janeiro: 1997. Felipe, T. (1988). O signo gestual-visual e sua estrutura frasal na lngua dos sinais dos centros urbanos do Brasil (LSCB). Dissertao de mestrado, UFPE. Finau, R. (2004). Os sinais de tempo e aspecto na Libras. Tese de doutorado, UFPR. Friedman, L. (1975) Phonological deletion in American Sign Language. Sign Language Studies. Friedman, L. (1976). Phonology of a soundless language: Phonological structure of the American Sign Language. Doctoral dissertation, University of California, Berkeley. Guest, A. H & Kolff, J. (2002) Hands, Fingers. Princeton Book Co Pub. Minneapolis, MN, USA Guest, A.H. (2005) Labanotation: The System of Analyzing and Recording Movement. Routledge, 4 ed. New York. Guimares, B. H. (2002). Um sistema grafico para modelagem de animaes em Labanotation. Dissertao de mestrado apresentada ao Instituto de Artes / Unicamp. Jouison, P. (1990). Analysis and linear transcription of sign language discourse. In Siegmund Prillwitz and Thomas Vollhaber (eds.), Current trends in European sign language research. Proceedings of the 3rd European Congress on Sign Language Research. Hamburg: SignumVerlag, 337-353. Kennaway, R.J. (2004) Experience with and requirements for a gesture description language for synthetic animation. Lecture Notes in Computer Science 2915 300-311. Kennaway, J. R., Glauert, J. R.W., & Zwitserlood, I. (2007). Providing signed content on the internet by synthesized animation. ACM Trans. Comput.-Hum. Interact. 14, 3, Article 15. Klima, E. & Belluigi, U. (1979) The signs of language. Cambridge, Mass: Harvard University Press, 432 p. 181

Referncias bibliogrficas Kshirsagar, S., Magnenat-Thalman, N., Guye-Vuillme, A., Thalmann, D., Kamyab, K & Mamdani. E. (2002) Avatar Markup Language. ACM International Conference Proceeding Series; Vol. 23. Proceedings of the workshop on Virtual environments. Kyle, J. & Woll, B. (1985). Sign language. The study of deaf people and their language. Cambridge: Cambridge University Press. Laban, Rudolf (1978). Domnio do movimento. Edio organizada por Lisa Ullmann. Summus Editorial. 268 pag. Leite, T. A (2008) A segmentao da lngua de sinais brasileira (libras): Um estudo lingstico descritivo a partir da conversao espontnea entre surdos. Tese de doutorado, Universidade de So Paulo, SP, 280p. Liddell, S. K. (1978) Nonmanual signals and relative clauses in American Sign Language. In: P. Siple, P. (Ed.). Understanding language through sign language research. New York: Academic Press., p 5990. Liddell, S. K (1984). THINK and BELIEVE: Sequentiality. in American Sign Language. Language., 60:37299. Liddell, S. K. & Johnson, R. E. (1989). American Sign Language: the phonological base. Sign Language Studies.,64:195278. Liddell, S. K. 2003. Grammar, Gesture, and Meaning in American Sign Language. UK: Cambridge U. Press. Lu, P. & Huenerfauth, M.. 2011. Synthesizing American Sign Language Spatially Inflected Verbs from Motion-Capture Data. Second International Workshop on Sign Language Translation and Avatar Technology (SLTAT), in conjunction with ASSETS 2011, Dundee, Scotland. Mandel, M. (1981). Phonotactics and morphophonology in American Sign Language. Doctoral dissertation, University of California, Berkeley. Marshall, I. & Safar, E. (2005) Grammar development for sign language avatar based synthesis. In Proc. of the 3rd International Conference on Universal Access in Human-Computer Interaction (UAHCI 2005), Las Vegas.

182

Referncias bibliogrficas McCleary, L. & Viotti, E.(2007) Transcrio de dados de uma lngua sinalizada: um estudo piloto da transcrio de narrativas na lngua de sinais brasileira (LSB). In H.Salles (Org) Bilinguismo dos surdos: questes lingsticas e educacionais. Goinia: Cnone Editorial, 2007, v. , p. 73-96. McFarlane, B. (2010) Notes on Anatomy and Physiology: The Elbow-Forearm Complex. Acessado em 10/06/2012, disponvel em: http://ittcs.wordpress.com/2010/10/15/notes-onanatomy-and-physiology-the-elbow-forearm-complex/ Miller, C. (1994). A note on notation. Sign Post: v. 7(3), 191-202. Durham: University of Durham. Moreira, R. L. (2008) Uma Descrio da Dixis de Pessoa na Lngua de Sinais Brasileira (LSB): Pronomes Pessoais e Verbos Indicadores. 2008. 150f. Dissertao de mestrado Faculdade de Filosofia e Cincias Humanas, Universidade de So Paulo, So Paulo. Nader, J. M. V. (2011) Aquisio tardia de uma lngua e seus efeitos sobre o desenvolvimento cognitivo dos surdos. Dissertao de mestrado, Instituto de Estudos da Linguagem, Unicamp, Campinas, SP. Pimenta, N. & Quadros, R. M. (2006) Curso de libras I, LSBVideo. Rio de Janeiro. Prillwitz, S., Leven, R., Zienert, H., Hanke, T., Henning, J & Colleagues. (1989) HamNoSys Version 2.0: Hamburg Notation System for Sign Languages:An Introductory Guide. International Studies on Sign Language and the Communication of the Deaf 5, 195-278. Richer, P. & Hale, R. B. (1971). Artistic Anatomy. Watson-Guptill publications, New York. Santos, F.M, Watanabe, E.T. & Carrata, V. (2006) Estudo da cinemtica inversa aplicada num brao robtico. Encontro de Iniciao Cientfica e Ps-Graduao do ITA, So Jos dos Campos, SP, 16-19/outubro. Santos, D.V. (2002). Estudos de lnguas de sinais: Um contexto para a anlise da lngua brasileira de sinais (Libras). Tese de doutorado, UFRJ. Schermer, T. (1990). In search of a language. Influences from spoken Dutch on Sign Language of the Netherlands. Doctoral dissertation, Universiteit van Amsterdam.

183

Referncias bibliogrficas Stokoe, W.C. (1960) Sign language structure: an outline of the visual communication system of the american deaf. Studies in Linguistics: Occasional Papers 8. Buffalo, NY: Buffalo University. Stokoe, W. C., Casterline, D & Croneberg, C. (1965). A dictionary of American Sign Language on linguistic principles. Silver Spring, Maryland: Linstok Press. Strobel, K. L. & Fernandes, S. (1998). Aspectos lingusticos da libras. Curitiba: SEED/SUED/DEE. 02/06/2012. Stumpf, M. R. Sutton, V. Lies sobre o SignWriting. Traduo Parcial e Adaptao do Ingls/ASL para Portugus libras do livro Lessons in SignWriting , de Valerie Sutton, publicado originalmente pelo DAC Deaf Action Committe for SignWriting. Disponvel em: <http://www.signwriting.org/archive/docs5/sw0472-BR-Licoes-SignWriting.pdf> . Acessado em: 01/05/2011. Sutton, V. (1999) Researcher's Resources SignWriting. Sign Language & Linguistics Vol. 2, no. 2, John Benjamins, pp. 271281. Wilbur, R.B. (1994). Eyeblinks and ASL phrase structure. Sign Language Studies, v.84, p.221240. Xavier, A. N. (2006) Descrio Fontico-Fonolgica dos Sinais da Lngua de Sinais Brasileira (libras). Dissertao de mestrado, Faculdade de Filosofia, Letras e Cincias Humanas, USP. Xavier, A. N. & Barbosa, P. A.(2011). A preliminary study on the production of signs in Brazilian Sign Language when one of the manual articulators is unavailable. In: 12th International Speech Communication Association (ISCA) , Florena. Proceedings of the 12th Annual Conference of the International Speech Communication Association (Interspeech 2011), p. 645-648. Disponvel Acessado em: em: <http://www.feneismg.org.br/doc/Aspectos_linguisticos_LIBRAS.pdf>

184

Apndice I Gramtica formal para o sistema de transcrio proposto

Apndice I Gramtica formal para o sistema de transcrio proposto


Teoria da computao o ramo da cincia da computao que abrange o estudo de modelos computacionais e busca determinar quais problemas podem ser computados em um dado modelo. Como os computadores atuais no entendem diretamente a linguagem humana, faz-se necessria a criao de linguagens formais, que sejam estruturadas e no contenham ambiguidades, para garantir que os comandos dados ao computador tenham sempre o mesmo significado independentemente de onde estejam sendo invocados. As lnguas naturais, como o portugus, possuem em sua representao escrita uma gramtica, que indica onde se deve usar preposio, qual a correta concordncia verbal e nominal, entre outras regras. De forma anloga, as linguagens de programao possuem uma gramtica associada elas, que define a formao de programas vlidos. Por exemplo, se cada comando deve ser seguido de ponto-e-vrgula ou se o tipo de uma varivel vem antes ou depois de seu nome. Portanto, uma gramtica um mecanismo gerador que define a estrutura geral de formao de uma sentena vlida para uma linguagem. Atravs de uma gramtica pode-se gerar todas as sentenas da linguagem definida por ela. Formalmente, na computao gramtica uma qudrupla G = (V, T, P, S), onde: V um conjunto finito de smbolos no-terminais ou variveis; T um conjunto finito de smbolos terminais disjunto de V; P um conjunto finito de pares, denominados regras de produo; S um elemento de V, denominado smbolo inicial ou smbolo de partida.

Este trabalho define de maneira formal o sistema de transcrio proposto baseando-se na notao conhecida como Forma Normal de Backus (BNF). A notao BNF introduz uma forma 185

Apndice I Gramtica formal para o sistema de transcrio proposto de representao textual para descrever gramticas livres de contexto e foi inicialmente desenvolvida para especificar a linguagem Algol 60, uma das predecessoras da linguagem C. BNF usada para definir gramticas onde o lado esquerdo de cada regra composto por um nico smbolo no terminal (Backus, 1959). Nessa notao, os smbolos no-terminais ou variveis, conjunto V, so delimitados por colchetes angulares < e >. O operador o smbolo ::= que permite descrever as produes da gramtica e indica que a varivel sua esquerda pode ser substituda pelos valores direita. O operando do lado esquerdo do operador um smbolo no-terminal e do lado direito, a sua expanso, que pode conter smbolos terminais e no-terminais. Existem vrias extenses e adaptaes do formalismo inicialmente proposto por Backus (1959). Um exemplo o uso de expresses regulares. A seguir sero descritos os operadores utilizados neste trabalho. O operador | (ou) permite expressar em uma mesma regra produes alternativas. Por exemplo, a regra: <S> ::= A|B equivale s duas regras: <S> ::= A <S> ::= B O operador [ ] opcional e permite expressar zero ou uma ocorrncia do smbolo especificado. Por exemplo, a regra <S> ::= [a] equivale s duas regras: <S> ::= <S> ::= a onde representa a string vazia. O operador * representa repetio e assim como para expresses regulares, expressa 0 ou mais ocorrncias do smbolo. Por exemplo, a regra 186

Apndice I Gramtica formal para o sistema de transcrio proposto <S> ::= *a equivale a: <S> ::= <S> ::= a <S> Assim, a ocorrncia do padro no lado direito de uma produo equivale a: | a | aa | aaa | Para representar repetio com o preenchimento obrigatrio da varivel, ou seja, relao de um ou mais, por exemplo, utiliza-se um nmero natural antes do sinal de astersco. Por exemplo, a regra <S> ::= 1*a equivale a: <S> ::= a <S> A palavra VCHAR ser utilizada para indicar que a varivel pode assumir qualquer valor de caracter, ou seja, uma string. A palavra VINT e VDECIMAL sero utilizadas, respectivamente, para indicar um valor inteiro e um decimal. A seguir ser apresentada a gramtica formal para a descrio dos sinais no sistema de transcrio proposto:
<sign>::=<name> 1*<pose> *<movement> <compounds> *<scripts> <pose>::=<dominantHand> [<nondominantHand>] [<face>] [<body>] <movement>::= [<space>] [<forearm>] [<hand>] [<wristM>] [<bodyM>] [*<pause>] <dominantHand>::=<configuration> [<palmOrientation>] [<wrist>] [<wristDeviation>] [<location>] <nondominantHand>::= [<symmetry>] <configuration> [<palmOrientation>] [<wrist>] [<wristDeviation>] [<location>] <face>::=[<preDefined>][<forehead>][<eyebrows>][<eyes>][<look>][<cheeks>][<nose>][<mouth>] [<tongue>][<teeth> <body>::=[<headTranslation>] [<headRotationX>] [<headRotationY>] [<headRotationZ>] [<body>] [<lShoulder>] [<rShoulder>] [<shoulders>] <configuration>::=a | b | c | d | e | f | g | h | i | j | k | l | m | n | o | p | q | r | s | t | u | v | w | x | y | z | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | hand1 | hand2 | hand3 | hand4 | hand5 | hand6 | hand7 | hand8 | hand9 | hand10 | hand11 | hand12 | hand13 | hand14 | hand15 | hand16 | hand17 | hand18 | hand19 | hand20 | hand21 | hand22 | hand23 | hand24 | hand25 | hand26 | hand27 | hand28 | hand29 | hand30 | 1*VCHAR <palmOrientation>::=neutral | supination | pronation | VINT

187

Apndice I Gramtica formal para o sistema de transcrio proposto


<wrist>::=neutral | flexion | extension | relaxedFlexion | relaxedExtension | VINT <wristDeviation>::=neutral |radialDeviation | ulnarDeviation | VINT <location>::=VINT_VINT_VINT_VINT_VINT <symmetry>::=true | false <preDefined>::=angry | happy | surprise | fear | disgust | sarcasm | contempt | respect | disrespect | pity | augmentative | diminutive | default <forehead>::= creased | default <eyebrows>::=up | default | down | upInside <eyes>::= squeezed | closed | wide | default <look>::= top | topRight | topLeft | default | low | lowRight | lowLeft| left| right <cheeks>::=inflated | sucked | tight | blow | default <nose>::=wrinkled | default <mouth>::=smile | laugh | yawn | kiss | tense | ajar | default <tongue>::=default | outsideMouth <teeth>::=biteUpperLip | biteLowerLip | default <headTranslation>::=forward | back | left | right | default <headRotationX>::=forward | back | default <headRotationY>::= left | right | default <headRotationZ>::=left | right | default <body>::= turnLeft | turnRight | inclineLeft | inclineRight | inclineForward | inclineBack | default <lShoulder>::= shrug | circularFront | circularBack | default <rShoulder>::=shrug | circularFront | circularBack | default <shoulders>::=shrug | circularFront | circularBack | default <space>::= [<side>] [<repeat>] [<speed>] <trajectory> <hand>::=nondominant | dominant | both <side>::=nondominant | dominant |both <repeat>::= VINT <speed>::=VDECIMAL <trajectory>::=1*<location> <forearm>::=<orientation>[<side>] [<repeat>] [<speed>] <orientation>::=<palmOrientation> <hand>::=<configuration>[<side>] [<repeat>] [<speed>] <wristM>::=<wrist> <wristDeviation> [<side>] [<repeat>] [<speed>] <bodyM>::=[<headTranslation>] [<headRotationX>] [<headRotationY>] [<headRotationZ>] [<body>] [<lShoulder>] [<rShoulder>] [<shoulders>] [<repeat>] [<speed>] <pause>::=<seconds> <seconds>::=VINT <compounds>::= 2*<name> <name>::= 1*VCHAR

Para a sinalizao de sentenas, adicionam-se os seguintes termos:


<enunciation>::=<pauseBetweenPhrases> <comma> <dot> *<phrase> <phrase>::=<onStart> <onEnd> *<signList> *<param> *<pose> *<movement> *<coproduce> *<pause> <signList>::=<name>

188

Apndice I Gramtica formal para o sistema de transcrio proposto


<param>::=<name><ignoreList> <ignoreList>=1*VCHAR <coproduce>::= *<signList> *<param>*<pose>*<movement> <comma>::=blink|extension|parcialRetraction|retraction|([0-9])* <dot>::=blink|extension|parcialRetraction|retraction|([0-9])* <onStart>::=blink|extension|parcialRetraction|retraction|([0-9])* <onEnd>::=blink|extension|parcialRetraction|retraction|([0-9])*

O conjunto de regras na gramtica formal para a descrio de uma configurao de mo no sistema de transcrio proposto o seguinte:
<configuration>::=<index><middle><ring><little><thumb> <index>::=<proximal><medial><distal><inclined> <middle>::=<proximal><medial><distal><inclined> <ring>::=<proximal><medial><distal><inclined> <little>::=<proximal><medial><distal><inclined> <thumb>::=<proximal><distal><inclined><metacarpal> <proximal>::=VDECIMAL <medial>::=VDECIMAL <distal>::=VDECIMAL <inclined>::=VDECIMAL <metacarpal>::=VDECIMAL

189

Apndice I Gramtica formal para o sistema de transcrio proposto

190

Apndice II Schema dos arquivos XML

Apndice II Schema dos arquivos XML


Schema do XML do sinal <?xml version="1.0" encoding="utf-8" ?> <!--Created with Liquid XML Studio - FREE Community Edition 7.1.4.1284 (http://www.liquid-technologies.com)-> <xs:schema elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <!-- SINAL --> <xs:element name="sign"> <xs:complexType> <xs:sequence> <!-- pose --> <xs:element name="pose" minOccurs="1" maxOccurs="100"> <xs:complexType> <xs:sequence> <!-- DOMINANT HAND --> <xs:element name="dominantHand" minOccurs="0" maxOccurs="1"> <xs:complexType> <xs:attribute name="configuration" use="required"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="[0-9a-z]"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="palmOrientation" default="neutral"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="supination|neutral|pronation|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="wrist" default="neutral"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="flexion|extension|relaxedFlexion|relaxedExtension|neutral|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="wristDeviation" default="neutral"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="radialDeviation|ulnarDeviation|neutral|([0-9])*"/> </xs:restriction>

191

Apndice II Schema dos arquivos XML


</xs:simpleType> </xs:attribute> <xs:attribute name="location"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="[0-9a-z]"/> </xs:restriction> </xs:simpleType> </xs:attribute> </xs:complexType> </xs:element> <!-- FECHA DOMINANT HAND --> <!-- NONDOMINANT HAND --> <xs:element name="nondominantHand" minOccurs="0" maxOccurs="1"> <xs:complexType> <xs:attribute name="configuration" use="required"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="[0-9a-z]"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="palmOrientation" default="neutral"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="supination|neutral|pronation|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="wrist" default="neutral"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="flexion|extension|relaxedFlexion|relaxedExtension|neutral|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="wristDeviation" default="neutral"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="radialDeviation|ulnarDeviation|neutral|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="location"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="[0-9a-z]"/> </xs:restriction> </xs:simpleType> </xs:attribute>

192

Apndice II Schema dos arquivos XML

<xs:attribute name="symmetry"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="true|false"/> </xs:restriction> </xs:simpleType> </xs:attribute> </xs:complexType> </xs:element> <!-- Fecha NONDOMINANT HAND --> <!-- Face --> <xs:element name="face" minOccurs="0" maxOccurs="1"> <xs:complexType> <xs:attribute name="preDefined" type="xs:string"/> <xs:attribute name="forehead" type="xs:string"/> <xs:attribute name="eyebrows" type="xs:string"/> <xs:attribute name="eyes" type="xs:string"/> <xs:attribute name="look" type="xs:string"/> <xs:attribute name="cheeks" type="xs:string"/> <xs:attribute name="nose" type="xs:string"/> <xs:attribute name="mouth" type="xs:string"/> <xs:attribute name="tongue" type="xs:string"/> <xs:attribute name="teeth" type="xs:string"/> </xs:complexType> </xs:element> <!-- FECHA FACE --> <!-- BODY --> <xs:element name="bodyMovement" minOccurs="0" maxOccurs="1"> <xs:complexType> <xs:attribute name="headTranslation" type="xs:string"/> <xs:attribute name="headRotationX" type="xs:string"/> <xs:attribute name="headRotationY" type="xs:string"/> <xs:attribute name="headRotationZ" type="xs:string"/> <xs:attribute name="body" type="xs:string"/> <xs:attribute name="lShoulder" type="xs:string"/> <xs:attribute name="rShoulder" type="xs:string"/> <xs:attribute name="shoulders" type="xs:string"/> </xs:complexType> </xs:element> <!-- FECHA BODY --> </xs:sequence> </xs:complexType> </xs:element> <!-- FECHA pose -->

193

Apndice II Schema dos arquivos XML

<!-- MOVEMENT --> <xs:element name="movement" minOccurs="0" maxOccurs="100"> <xs:complexType> <xs:sequence>

<!-- MOVIMENTO SPACE --> <xs:element name="space" minOccurs="0" maxOccurs="2"> <xs:complexType mixed="true"> <xs:attribute name="side"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="dominant|nondominant|both"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="repeat" type="xs:integer"/> <xs:attribute name="speed" type="xs:decimal"/> </xs:complexType> </xs:element> <!-- MOVIMENTO FOREARM --> <xs:element name="forearm" minOccurs="0" maxOccurs="2"> <xs:complexType> <xs:attribute name="orientation"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="supination|neutral|pronation|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="side"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="dominant|nondominant|both"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="repeat" type="xs:integer"/> <xs:attribute name="speed" type="xs:decimal"/> <xs:attribute name="return" type="xs:string"/> </xs:complexType> </xs:element>

194

Apndice II Schema dos arquivos XML


<!-- MOVIMENTO HAND --> <xs:element name="hand" minOccurs="0" maxOccurs="2"> <xs:complexType> <xs:attribute name="configuration" use="required"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="[0-9a-z]"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="side"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="dominant|nondominant|both"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="repeat" type="xs:integer"/> <xs:attribute name="speed" type="xs:decimal"/> <xs:attribute name="return" type="xs:string"/> </xs:complexType> </xs:element> <!-- MOVIMENTO WRIST --> <xs:element name="wrist" minOccurs="0" maxOccurs="2"> <xs:complexType> <xs:attribute name="wrist"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="flexion|extension|relaxedFlexion|relaxedExtension|neutral|([09])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="wristDeviation"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="radialDeviation|ulnarDeviation|neutral|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="side"> <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="dominant|nondominant|both"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="repeat" type="xs:integer"/> <xs:attribute name="speed" type="xs:decimal"/>

195

Apndice II Schema dos arquivos XML


<xs:attribute name="return" type="xs:string"/> </xs:complexType> </xs:element> <!-- BODY --> <xs:element name="body" minOccurs="0" maxOccurs="1"> <xs:complexType> <xs:attribute name="headTranslation" type="xs:string"/> <xs:attribute name="headRotationX" type="xs:string"/> <xs:attribute name="headRotationY" type="xs:string"/> <xs:attribute name="headRotationZ" type="xs:string"/> <xs:attribute name="body" type="xs:string"/> <xs:attribute name="lShoulder" type="xs:string"/> <xs:attribute name="rShoulder" type="xs:string"/> <xs:attribute name="shoulders" type="xs:string"/> <xs:attribute name="repeat" type="xs:integer"/> <xs:attribute name="speed" type="xs:decimal"/> <xs:attribute name="return" type="xs:string"/> </xs:complexType> </xs:element> <!-- FECHA BODY --> <!-- PAUSE --> <xs:element name="PAUSE" minOccurs="0" > <xs:complexType> <xs:attribute name="seconds" type="xs:string"/> </xs:complexType> </xs:element> <!-- FECHA PAUSE --> </xs:sequence> </xs:complexType> </xs:element> <!-- FECHA MOVIMENTO LOCAL -->

<!-- FECHA MOVIMENTO GLOBAL --> <!-- ABRE COMPOUNDS --> <xs:element name="compounds"> <xs:complexType> <xs:sequence> <xs:element name="signs"/> </xs:sequence> </xs:complexType> </xs:element> <!-- FECHA COMPOUNDS --> </xs:sequence>

196

Apndice II Schema dos arquivos XML


<xs:attribute name="name" type="xs:string" use="required"/> </xs:complexType> </xs:element> </xs:schema> Schema do XML da configurao de mo <?xml version="1.0" encoding="utf-8" ?> <!--Created with Liquid XML Studio - FREE Community Edition 7.1.4.1284 (http://www.liquid-technologies.com)-> <xs:schema elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <!-- CONFIGURACAO --> <xs:element name="configuration"> <xs:complexType> <xs:sequence> <xs:element name="index" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="proximal" use="required" type="xs:float"/> <xs:attribute name="medial" use="required" type="xs:float"/> <xs:attribute name="distal" use="required" type="xs:float"/> <xs:attribute name="inclined" use="required" type="xs:float"/> </xs:complexType> </xs:element> <xs:element name="middle" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="proximal" use="required" type="xs:float"/> <xs:attribute name="medial" use="required" type="xs:float"/> <xs:attribute name="distal" use="required" type="xs:float"/> <xs:attribute name="inclined" use="required" type="xs:float"/> </xs:complexType> </xs:element> <xs:element name="ring" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="proximal" use="required" type="xs:float"/> <xs:attribute name="medial" use="required" type="xs:float"/> <xs:attribute name="distal" use="required" type="xs:float"/> <xs:attribute name="inclined" use="required" type="xs:float"/> </xs:complexType> </xs:element> <xs:element name="little" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="proximal" use="required" type="xs:float"/> <xs:attribute name="medial" use="required" type="xs:float"/>

197

Apndice II Schema dos arquivos XML


<xs:attribute name="distal" use="required" type="xs:float"/> <xs:attribute name="inclined" use="required" type="xs:float"/> </xs:complexType> </xs:element> <xs:element name="thumb" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="proximal" use="required" type="xs:float"/> <xs:attribute name="distal" use="required" type="xs:float"/> <xs:attribute name="inclined" use="required" type="xs:float"/> <xs:attribute name="metacarpal" use="required" type="xs:float"/> </xs:complexType> </xs:element> </xs:sequence> </xs:complexType> </xs:element> </xs:schema> Schema do XML de enunciados <?xml version="1.0" encoding="utf-8" ?> <!--Created with Liquid XML Studio - FREE Community Edition 7.1.4.1284 (http://www.liquid-technologies.com)-> <xs:schema elementFormDefault="qualified" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <!-- TEXTO --> <xs:element name="ennunciation"> <xs:complexType> <xs:sequence> <xs:element name="phrase" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:sequence> <xs:element name="param" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="signName" type="xs:string"/> <xs:attribute name="ignoreList" type="xs:integer"/> <xs:sequence> <xs:element name="pose" minOccurs="1" maxOccurs="1"/> <xs:element name="movement" minOccurs="1" maxOccurs="1"/> </xs:sequence> </xs:complexType> </xs:element> <xs:element name="pose" minOccurs="1" maxOccurs="1"/> <xs:element name="movement" minOccurs="1" maxOccurs="1"/> <xs:element name="coproduce" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:sequence> <xs:element name="signList minOccurs="1" maxOccurs="1"/> <xs:element name="param" minOccurs="1" maxOccurs="1">

198

Apndice II Schema dos arquivos XML


<xs:complexType> <xs:attribute name="signName" type="xs:string"/> <xs:attribute name="ignoreList" type="xs:integer"/> <xs:sequence> <xs:element name="pose" minOccurs="1" maxOccurs="1"/> <xs:element name="movement" minOccurs="1" maxOccurs="1"/> </xs:sequence> </xs:complexType> </xs:element> <xs:element name="pose" minOccurs="1" maxOccurs="1"/> <xs:element name="movement" minOccurs="1" maxOccurs="1"/> </xs:sequence> </xs:complexType> </xs:element> <xs:element name="pause" minOccurs="1" maxOccurs="1"> <xs:complexType> <xs:attribute name="seconds" use="required" type="xs:float"/> </xs:complexType> </xs:element> </xs:sequence> <xs:attribute name="onStart" type="xs:float" > <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="blink|extension|parcialRetraction|retraction|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="onEnd" type="xs:float" > <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="blink|extension|parcialRetraction|retraction|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> </xs:complexType> </xs:element> </xs:sequence> <xs:attribute name="pauseBetweenPhrases" type="xs:float" /> <xs:attribute name="comma" type="xs:integer" > <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="blink|extension|parcialRetraction|retraction|([0-9])*"/> </xs:restriction> </xs:simpleType> </xs:attribute> <xs:attribute name="dot" type="xs:integer" > <xs:simpleType> <xs:restriction base="xs:string"> <xs:pattern value="blink|extension|parcialRetraction|retraction|([0-9])*"/>

199

Apndice II Schema dos arquivos XML


</xs:restriction> </xs:simpleType> </xs:attribute> </xs:complexType> </xs:element> </xs:schema>

200

Apndice III Transcrio dos sinais utilizados na avaliao

Apndice III Transcrio dos sinais utilizados na avaliao


A seguir sero ilustrados os sinais utilizados na avaliao do sistema de transcrio. As imagens foram retiradas do dicionrio Capovilla, e contm a direita de cada figura a transcrio do sinal em SignWriting. Abaixo de cada figura o sinal descrito textualmente, e em seguida apresentada a descrio do sinal no sistema de transcrio proposto.

Sinal AMANHA Sinal AMANHA: Mo vertical aberta, palma para a esquerda. Passar a ponta do dedo mdio no lado direito da testa, e mover a mo para cima e para a direita, curvando o dedo. <sign name="AMANHA"> <pose> <dominantHand configuration="33" location="-10_65_85_123_0" palmOrientation="neutral"/> </pose> <movement> <space side="dominant" speed="0.8">0_60_85_115_0 </space> </movement> </sign> <configuration name=33> <index proximal="0.0" distal="0.0" inclined="6.0"/> <middle proximal="-31.50623121" distal = "-56.82385279" inclined = "10.59804505"/> <ring proximal="0.0" distal="0.0" inclined="-5.0"/> <little proximal="0.0" distal="0.0" inclined="-18.5"/> <thumb proximal="-22.8" distal="-29.3" metacarpal="-7.3" inclined="-7.5"/> </configuration>

201

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal ANDAR Sinal ANDAR: Mo em V invertido, palma para trs. Mover a mo oscilando lentamente os dedos.

<sign name="ANDAR"> <pose> <dominantHand configuration="30" palmOrientation="pronation" location="0_-5_85_105_0" wrist="flexion"/> </pose> <movement> <hand configuration="31" repeat="INF" side="dominant" speed="10"/> <space side="dominant" speed="0.5">0_30_85_65_0</space> </movement> </sign> <configuration name=30> <index proximal="-71.50623121" distal = "-56.82385279" inclined = "6.365156904"/> <middle proximal="-30" distal = "7.918785319" inclined = "0"/> <ring proximal="-90.9" medial="-79.0" distal="-89.1" inclined="13.1"/> <little proximal="-85.2" medial="-71.3" distal="-89.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration> <configuration name=31> <index proximal="-30" distal = "7.918785319" inclined = "0"/> <middle proximal="-91.50623121" distal = "-56.82385279" inclined = "10.59804505"/> <ring proximal="-90.9" medial="-79.0" distal="-89.1" inclined="13.1"/> <little proximal="-85.2" medial="-71.3" distal="-89.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration>

202

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal APLAUDIR Sinal APLAUDIR: O sinalizador simula o ato de bater palmas. <sign name="APLAUDIR"> <pose> <dominantHand configuration="B" palmOrientation="neutral" location="40_10_85_120_0" wrist="relaxedExtension"/> <nondominantHand symmetry="true"/> </pose> <movement> <space side="both" repeat="3" speed="3.5">0_30_75_105_-45</space> </movement> </sign> <configuration name=B> <index proximal="0.0" distal="0.0" inclined="-3.0"/> <middle proximal="0.0" distal="0.0" inclined="-0.6"/> <ring proximal="0.0" distal="0.0" inclined="3.8"/> <little proximal="0.0" distal="0.0" inclined="5.4"/> <thumb proximal="-30.0" distal="-66.8" metacarpal="-25.2" inclined="-23.8"/> </configuration>

Sinal ARVORE Sinal ARVORE: Brao esquerdo horizontal dobrado em frente ao corpo, mo aberta, palma para baixo, dedos separados e curvados; cotovelo direito apoiado no dorso da mo esquerda, mo direita aberta, palma para frente, dedos separados. Girar a palma para trs, duas vezes. <sign name="ARVORE"> <pose> <dominantHand configuration="34" palmOrientation="pronation" location="0_30_85_135_0" wrist="relaxedExtension"/>

203

Apndice III Transcrio dos sinais utilizados na avaliao


<nondominantHand configuration="35" palmOrientation="-30" location="80_40_85_90_-15" /> </pose> <movement> <forearm orientation="supination"/> </movement> </sign> <configuration name=34> <index proximal="-48.0" distal="0.0" inclined="6.0"/> <middle proximal="-48.0" distal="0.0" inclined="0.0"/> <ring proximal="-48.0" distal="0.0" inclined="-5.0"/> <little proximal="-48.0" distal="0.0" inclined="-18.5"/> <thumb proximal="0.8" distal="0.3" metacarpal="-7.3" inclined="-7.5"/> </configuration> <configuration name=35> <index proximal="0.0" distal="0.0" inclined="-3.0"/> <middle proximal="0.0" distal="0.0" inclined="-0.6"/> <ring proximal="0.0" distal="0.0" inclined="3.8"/> <little proximal="0.0" distal="0.0" inclined="5.4"/> <thumb proximal="10.9" distal="9.4" metacarpal="0.0" inclined="0.0"/> </configuration>

Sinal BARATA Sinal BARATA: Mo em V, palma para frente, tocando o centro da testa, balanar alternadamente os dedos indicador e mdio. <sign name="BARATA"> <pose> <dominantHand configuration="30" location="-40_85_85_114_0" palmOrientation="pronation" wristDeviation="ulnarDeviation"/> </pose> <movement> <hand configuration="31" repeat="5" speed="6" side="dominant"/> </movement> </sign>

<configuration name=30> <index proximal="-71.50623121" distal = "-56.82385279" inclined = "6.365156904"/> <middle proximal="-30" distal = "7.918785319" inclined = "0"/>

204

Apndice III Transcrio dos sinais utilizados na avaliao


<ring proximal="-90.9" medial="-79.0" distal="-89.1" inclined="13.1"/> <little proximal="-85.2" medial="-71.3" distal="-89.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration> <configuration name=31> <index proximal="-30" distal = "7.918785319" inclined = "0"/> <middle proximal="-91.50623121" distal = "-56.82385279" inclined = "10.59804505"/> <ring proximal="-90.9" medial="-79.0" distal="-89.1" inclined="13.1"/> <little proximal="-85.2" medial="-71.3" distal="-89.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration>

Sinal BICICLETA Sinal BICICLETA: Mo em S, palmas para baixo. Mov-las alternadamente em crculos verticais para frente, sentido horrio. <sign name="BICICLETA"> <pose> <dominantHand configuration="A" palmOrientation="pronation" location="0_5_85_105_0"/> <nondominantHand configuration="A" palmOrientation="pronation" location="0_30_85_65_0"/> </pose> <movement> <space side="dominant" speed="2.5" repeat="3">0_23_85_100_0 0_30_85_65_0 0_15_85_68_0</space> <space side="nondominant" speed="2.5" repeat="3">0_15_85_68_0 0_5_85_105_0 0_23_85_100_0</space> </movement> </sign> <configuration name=A> <index proximal="-70.0" medial="-110.0" distal="0.0" inclined="-3.0"/> <middle proximal="-98.9" medial="-100.0" distal="0.0" inclined="-0.6"/> <ring proximal="-98.8" medial="-100.0" distal="0.0" inclined="3.8"/> <little proximal="-98.9" medial="-90.0" distal="0.0" inclined="5.4"/> <thumb proximal="-22.8" distal="0.8" metacarpal="-15.3" inclined="-7.5"/> </configuration>

205

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal BOM DIA Sinal BOM DIA: Sinal BOM: mo vertical, palma para trs, pontas dos dedos unidas em frente boca. Mover a mo ligeiramente para frente, distendendo e separando os dedos. Sinal DESPERTAR: Mos em A, palmas para frente a cada lado dos olhos fechados. Abri-las em L, arregalando os olhos. <sign name="BOMDIA"> <compounds>BOM DESPERTAR</compounds> </sign> <sign name="BOM"> <pose> <dominantHand configuration="O" location="-20_45_85_123_-15" palmOrientation="supination"/> </pose> <movement> <hand configuration="36" side="dominant"/> <space>-20_45_85_100_-15</space> </movement> </sign> <sign name=DESPERTAR> <pose> <dominantHand configuration="A" palmOrientation="pronation" location="0_40_85_135_0"/> <nondominantHand symmetry="true"/> </pose> <movement> <hand side="both" configuration="L"/> <space speed="0.5" side="both">10_40_85_135_15</space> </movement> </sign> <configuration name=O> <index proximal="-54.9" medial="-73.4" distal="-73.4" inclined="-3.0"/> <middle proximal="-48.9" medial="-75.5" distal="-75.5" inclined="6.0"/> <ring proximal="-41.0" medial="-79.0" distal="-79.0" inclined="13.1"/> <little proximal="-37.4" medial="-71.3" distal="-71.3" inclined="21.7"/> <thumb proximal="-8.5" distal="-58.4" metacarpal="-30.2" inclined="-25.1"/> </configuration> <configuration name=36> <index proximal="0.0" distal="0.0" inclined="6.0"/> <middle proximal="0.0" distal="0.0" inclined="0.0"/> <ring proximal="0.0" distal="0.0" inclined="-5.0"/> <little proximal="0.0" distal="0.0" inclined="-18.5"/> <thumb proximal="0" distal="0" metacarpal="-20.3" inclined="-7.5"/> </configuration>

206

Apndice III Transcrio dos sinais utilizados na avaliao


<configuration name=A> <index proximal="-70.0" medial="-110.0" distal="0.0" inclined="-3.0"/> <middle proximal="-98.9" medial="-100.0" distal="0.0" inclined="-0.6"/> <ring proximal="-98.8" medial="-100.0" distal="0.0" inclined="3.8"/> <little proximal="-98.9" medial="-90.0" distal="0.0" inclined="5.4"/> <thumb proximal="-22.8" distal="0.8" metacarpal="-15.3" inclined="-7.5"/> </configuration> <configuration name=L> <index proximal="0.0" medial="0.0" distal="0.0" inclined="0.0"/> <middle proximal="-82.9" medial="-105.1" distal="-105.1" inclined="0.0"/> <ring proximal="-78.9" medial="-95.0" distal="-95.0" inclined="5.0"/> <little proximal="-81.5" medial="-76.3" distal="-76.3" inclined="8.5"/> <thumb proximal="10.9" distal="9.4" metacarpal="0.0" inclined="0.0"/> </configuration>

Sinal BRASIL Sinal BRASIL: Mo em B, palma para a esquerda, na altura da cabea. Mov-la para baixo com movimentos ondulatrios. <sign name="BRASIL"> <pose> <dominantHand configuration="B" location="0_60_85_115_0"/> </pose> <movement> <space speed="1">-20_45_85_125_-15 0_40_85_135_0 -10_20_90_120_-10</space> </movement> </sign> <configuration name=B> <index proximal="0.0" distal="0.0" inclined="-3.0"/> <middle proximal="0.0" distal="0.0" inclined="-0.6"/> <ring proximal="0.0" distal="0.0" inclined="3.8"/> <little proximal="0.0" distal="0.0" inclined="5.4"/> <thumb proximal="-30.0" distal="-66.8" metacarpal="-25.2" inclined="-23.8"/> </configuration>

207

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal CACHORRO Sinal CACHORRO: Mo vertical aberta, palma para trs, dedos separados e curvados, diante da boca. Mov-la ligeiramente para frente e para trs. <sign name="CACHORRO"> <pose> <dominantHand configuration="43" location="-20_45_85_100_-15" palmOrientation="supination"/> </pose> <movement> <space repeat=2>-20_45_85_123_-15</space> </movement> </sign> <configuration name=43> <index proximal="-35.0" distal="-25.0" inclined="0.0"/> <middle proximal="-35.0" distal="-25.0" inclined="0.0"/> <ring proximal="-35.0" distal="-25.0" inclined="0.0"/> <little proximal="-35.0" distal="-25.0" inclined="0.0"/> <thumb proximal="10.0" distal="0" metacarpal="-39.6" inclined="-30"/> </configuration>

Sinal COMER Sinal COMER: Os dedos da mo aberta diante da boca se flexionam repetidamente, como se estivessem colocando o alimento para dentro dela. <sign name="COMER"> <pose> <dominantHand configuration="36" location="-20_40_85_115_-15" palmOrientation="supination"/> </pose> <movement> <hand configuration="37" repeat="2" speed="8" side="dominant"/>

208

Apndice III Transcrio dos sinais utilizados na avaliao


</movement> </sign> <configuration name=36> <index proximal="0.0" distal="0.0" inclined="6.0"/> <middle proximal="0.0" distal="0.0" inclined="0.0"/> <ring proximal="0.0" distal="0.0" inclined="-5.0"/> <little proximal="0.0" distal="0.0" inclined="-18.5"/> <thumb proximal="0" distal="0" metacarpal="-20.3" inclined="-7.5"/> </configuration> <configuration name=37> <index proximal="-81.50623121" distal = "-56.82385279" inclined = "6.365156904"/> <middle proximal="-81.50623121" distal = "-56.82385279" inclined = "10.59804505"/> <ring proximal="-81.50623121" distal = "-56.82385279" inclined = "11.0067252"/> <little proximal="-89.20257475" distal = "-56.82385279" inclined = "10.30472758"/> <thumb proximal="0" distal="0" metacarpal="-20.3" inclined="-7.5"/> </configuration>

Sinal COMPUTADOR Sinal COMPUTADOR: Mo em X vertical, palmas para frente. Mover as mos em crculos verticais para os lados opostos, aproximando-as e afastando-as. <sign name="COMPUTADOR"> <pose> <dominantHand configuration="38" palmOrientation="pronation" location="0_10_85_125_15" wrist="relaxedExtension"/> <nondominantHand symmetry="true"/> </pose> <movement> <space side="both" speed="2" repeat="1">0_20_85_125_5 0_20_85_125_-5 0_10_85_125_-15 0_0_85_125_-5 0_0_85_125_5</space> </movement> </sign> <configuration name=38> <index proximal="-28.9" medial="-31.4" distal="-31.4" inclined="-3.0"/> <middle proximal="-98.8" medial="-75.5" distal="-89.1" inclined="9.5"/> <ring proximal="-90.9" medial="-79.0" distal="-89.1" inclined="13.1"/> <little proximal="-85.2" medial="-71.3" distal="-89.1" inclined="19.7"/> <thumb proximal="-2.5" distal="-58.4" metacarpal="-20.2" inclined="-25.1"/> </configuration>

209

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal CORAO Sinal CORACAO: Mo em B, palma para trs, tocando o lado esquerdo do peito. Balanar a mo para baixo e para cima, duas vezes. <sign name="CORACAO"> <pose> <dominantHand configuration="B palmOrientation="neutral" location="60_50_90_120_-20" wrist="extension"/> </pose> <movement> <forearm orientation="supination" side="dominant" speed="1.5" repeat="3"/> </movement> </sign> <configuration name=B> <index proximal="0.0" distal="0.0" inclined="-3.0"/> <middle proximal="0.0" distal="0.0" inclined="-0.6"/> <ring proximal="0.0" distal="0.0" inclined="3.8"/> <little proximal="0.0" distal="0.0" inclined="5.4"/> <thumb proximal="-30.0" distal="-66.8" metacarpal="-25.2" inclined="-23.8"/> </configuration>

Sinal DEUS Sinal DEUS: Mo em D, palma para a esquerda. Mov-la para cima, acima da cabea. <sign name="DEUS"> <pose> <dominantHand configuration="D" location="0_10_85_125_0"/> </pose> <movement> <space>0_60_85_115_0</space> </movement> </sign>

210

Apndice III Transcrio dos sinais utilizados na avaliao

<configuration name=D> <index proximal="0.0" medial="0.0" distal="0.0" inclined="-3.0"/> <middle proximal="-48.9" medial="-75.5" distal="-75.5" inclined="6.0"/> <ring proximal="-41.0" medial="-79.0" distal="-79.0" inclined="13.1"/> <little proximal="-37.4" medial="-71.3" distal="-71.3" inclined="21.7"/> <thumb proximal="-8.5" distal="-58.4" metacarpal="-20.2" inclined="-25.1"/> </configuration>

Sinal DIFICIL Sinal DIFICIL: A mo em 1, com palma para baixo, e o lado do indicador tocando o lado direito da testa, se move para o lado esquerdo da testa, enquanto o indicador se curva e se distende, sendo que a expresso facial contrada. <sign name="DIFICIL"> <pose> <dominantHand configuration="X" location="0_65_85_120_-15"/> </pose> <movement> <hand configuration="39" repeat="INF" speed="8"/> <space speed="0.5">-18_80_85_115_-20</space> </movement> </sign> <configuration name=X> <index proximal="28.8" medial="-39.3" distal="-39.3" inclined="0.0"/> <middle proximal="-98.8" medial="-95.5" distal="-99.1" inclined="9.5"/> <ring proximal="-90.9" medial="-99.0" distal="-99.1" inclined="13.1"/> <little proximal="-85.2" medial="-91.3" distal="-99.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration> <configuration name=39> <index proximal="28.8" medial="-90.3" distal="-90.3" inclined="0.0"/> <middle proximal="-98.8" medial="-95.5" distal="-99.1" inclined="9.5"/> <ring proximal="-90.9" medial="-99.0" distal="-99.1" inclined="13.1"/> <little proximal="-85.2" medial="-91.3" distal="-99.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration>

211

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal FEIJAO Sinal FEIJAO: Mo esquerda em 1 horizontal, palma para trs; mo direita horizontal, palma para a esquerda, dedos unidos pelas pontas, tocando a ponta do indicador esquerdo. Girar a palma para trs, duas vezes.

<sign name="FEIJAO"> <pose> <dominantHand configuration="O" location="0_10_58_125_-40" wrist="relaxedExtension" /> <nondominantHand configuration="G" location="0_8_54_125_-45" </pose> <movement> <forearm orientation="supination" repeat="3" speed="1"/> </movement> </sign>

/>

<configuration name=O> <index proximal="-54.9" medial="-73.4" distal="-73.4" inclined="-3.0"/> <middle proximal="-48.9" medial="-75.5" distal="-75.5" inclined="6.0"/> <ring proximal="-41.0" medial="-79.0" distal="-79.0" inclined="13.1"/> <little proximal="-37.4" medial="-71.3" distal="-71.3" inclined="21.7"/> <thumb proximal="-8.5" distal="-58.4" metacarpal="-30.2" inclined="-25.1"/> </configuration> <configuration name=G> <index proximal="0.0" medial="0.0" distal="0.0" inclined="0.0"/> <middle proximal="-82.9" medial="-105.1" distal="-105.1" inclined="0.0"/> <ring proximal="-78.9" medial="-95.0" distal="-95.0" inclined="1.0"/> <little proximal="-81.5" medial="-76.3" distal="-76.3" inclined="2.5"/> <thumb proximal="-22.8" distal="-29.3" metacarpal="-13.3" inclined="-7.5"/> </configuration>

212

Apndice III Transcrio dos sinais utilizados na avaliao

Sinal FUTEBOL Sinal FUTEBOL: Mos horizontais fechadas, palma a palma, polegares destacados. Mover as mos alternadamente para cima e para baixo.

<sign name="FUTEBOL"> <pose> <dominantHand configuration="1" palmOrientation="neutral" location="30_8_80_130_0"/> <nondominantHand configuration="1" palmOrientation="neutral" location="30_0_80_100_0"/> </pose> <movement> <space side="dominant" speed="1.5" repeat="1">-30_0_80_100_0</space> <space side="nondominant" speed="1.5" repeat="1">-30_8_80_130_0</space> </movement> </sign> <configuration name=1> <index proximal="-98.7" medial="-99.1" distal="-99.1" inclined="2.8"/> <middle proximal="-98.8" medial="-95.5" distal="-99.1" inclined="9.5"/> <ring proximal="-90.9" medial="-99.0" distal="-99.1" inclined="13.1"/> <little proximal="-95.2" medial="-91.3" distal="-99.1" inclined="19.7"/> <thumb proximal="15.9" distal="-5" metacarpal="0.0" inclined="0.0"/> </configuration>

Sinal MOTO Sinal MOTO: Mos em S, palmas para baixo, a cada lado do corpo. Girar as palmas para trs, vrias vezes. <sign name="MOTO"> <pose> <dominantHand configuration="S" palmOrientation="pronation" location="0_5_85_105_0"/>

213

Apndice III Transcrio dos sinais utilizados na avaliao


<nondominantHand symmetry="true"/> </pose> <movement> <wrist wrist="extension" repeat="3" side="both"/> </movement> </sign> <configuration name=S> <index proximal="-98.7" medial="-89.1" distal="-89.1" inclined="2.8"/> <middle proximal="-98.8" medial="-75.5" distal="-89.1" inclined="9.5"/> <ring proximal="-90.9" medial="-79.0" distal="-89.1" inclined="13.1"/> <little proximal="-85.2" medial="-71.3" distal="-89.1" inclined="19.7"/> <thumb proximal="-10.0" distal="-68.2" metacarpal="-36.9" inclined="-24.3"/> </configuration>

Sinal SURDO Sinal SURDO: Mo em 1, palma para a esquerda. Tocar a ponta do indicador na orelha direita, virar a palma para trs, e tocar a ponta do indicador nos lbios.

<sign name="SURDO"> <pose> <dominantHand configuration="G" location="-10_55_85_138_-5"/> </pose> <movement> <space speed="2">-10_55_85_125_5 -10_30_85_140_-20</space> <forearm orientation="supination"/> </movement> </sign> <configuration name=G> <index proximal="0.0" medial="0.0" distal="0.0" inclined="0.0"/> <middle proximal="-82.9" medial="-105.1" distal="-105.1" inclined="0.0"/> <ring proximal="-78.9" medial="-95.0" distal="-95.0" inclined="1.0"/> <little proximal="-81.5" medial="-76.3" distal="-76.3" inclined="2.5"/> <thumb proximal="-22.8" distal="-29.3" metacarpal="-13.3" inclined="-7.5"/> </configuration>

214

Apndice IV Parecer Consubstanciado do CEP

Apndice IV Parecer Consubstanciado do CEP

215

Apndice IV Parecer Consubstanciado do CEP

216

Apndice V TCLE

Apndice V TCLE
TERMO DE CONSENTIMENTO LIVRE E ESCLARECIDO - TCLE Voc foi selecionado(a) e est sendo convidado(a) para participar da pesquisa intitulada: Sistema de Transcrio da Lngua de Sinais Brasileira Voltado a Implementao de Agentes Virtuais Sinalizadores. O objetivo deste estudo criar um sistema de transcrio das lnguas de sinais para gerar contedo em lngua de sinais em ambientes virtuais. Sua participao voluntria. A qualquer momento voc pode desistir de participar e retirar seu consentimento. Sua recusa no trar nenhum prejuzo em sua relao com o pesquisador ou com a instituio. Sua participao nesta pesquisa consistir em testar sinais da libras feitos por um programa de computador, dizendo se entendeu o sinal. Este teste tem durao aproximada de 30 a 40 minutos. Suas respostas sero tratadas de forma annima e confidencial, isto , em nenhum momento ser divulgado o seu nome em qualquer fase do estudo. Quando for necessrio exemplificar determinada situao, sua privacidade ser assegurada uma vez que seu nome ser substitudo de forma aleatria. Os dados coletados sero utilizados apenas nesta pesquisa e os resultados divulgados em eventos e/ou revistas cientficas. O(a) sr(a) no ter nenhum custo ou quaisquer compensaes financeiras. No vai haver nenhuma forma de reembolso de dinheiro, j que com a participao na pesquisa voc no vai ter nenhum gasto. No haver riscos de qualquer natureza relacionada a sua participao. O benefcio relacionado sua participao ser de aumentar o conhecimento cientfico para a rea de lngustica das lngua de sinais e de computao. Voc receber uma cpia deste termo onde consta o telefone e o endereo do pesquisador principal, podendo tirar suas dvidas sobre o Projeto de Pesquisa de sua participao, agora ou a qualquer momento. Neste termo consta tambm os dados do Comit de tica em Pesquisa/FCM/UNICAMP, que poder ser utilizado para denncias e/ou reclamaes referentes aos aspectos ticos da pesquisa.

_____________________________________________________ Wanessa Machado do Amaral Dados da pesquisadora: Universidade Estadual de Campinas - Faculdade de Engenharia Eltrica e de Computao Depto. de Engenharia de Computao e Automao Industrial Av. Albert Einstein, 400 - 13083-852 Campinas-SP, Brasil Telefone: +55 (019) 3454-4587 - Email: wmamaral@dca.fee.unicamp.br

Declaro estar ciente do inteiro teor deste TERMO DE CONSENTIMENTO e estou de acordo em participar do estudo proposto, sabendo que dele poderei desistir a qualquer momento, sem sofrer qualquer punio ou constrangimento. Campinas, ______ de _______________ de 2012. Sujeito da Pesquisa: ______________________________________________ Aassinatura: ______________________________________________ (em caso de menor, assinatura do pai / me ou responsvel legal)

Comit de tica em Pesquisa/FCM/UNICAMP Rua: Tesslia Vieira de Camargo, 126 CEP 13083-887 Campinas SP Fone (019) 3521-8936 ou 3521-7187 e-mail: cep@fcm.unicamp.br

217

You might also like