Thèse A. FORT - Synesthésie

UNIVERSITE LUMIERE LYON II
INSTITUT DE PSYCHOLOGIE DEPARTEMENT DE PSYCHOLOGIE COGNITIVE
THESE
Pour obtenir le grade de
DOCTEUR DE L'UNIVERSITE LYON 2

Spcialit : Sciences Cognitives - Option Psychologie Cognitive Prsente et soutenue publiquement par
Alexandra FORT
le 12 Dcembre 2002
Corrlats lectrophysiologiques de l'intgration des informations auditives et visuelles dans la perception intermodale chez l'homme
Jury :
Mme Mr Mr Mr Mme Mr
M-H Giard O. Koenig J. Pernier B. Renault M. Taylor D. Woods
Directeur de thse
Rapporteur Rapporteur
Rien dans lintelligence qui ne soit pass par nos sens Aristote
Ce que je vois et ce que jentends du monde extrieur, cest simplement ce que mes sens en extraient pour clairer ma conduite Bergson
Remerciements
J'aimerais ici remercier l'ensemble des personnes qui ont permis ce projet d'aboutir en commenant par Marie-Hlne GIARD qui a initi et dirig ce travail. Son implication, tant au travers de ses comptences scientifiques, de son enthousiasme et de ses encouragements, a constitu pour moi un soutien sans faille durant ces 4 annes. Je remercie galement Jacques PERNIER, directeur de lunit 280, qui en plus de mavoir accueillie dans son laboratoire a suivi le droulement de la thse avec beaucoup dintrt et a accept de participer mon jury. Je remercie encore Pierre-Emmanuel AGUERA, Patrick BOUCHET, Claude DELPUECH et Jean-Francois ECHALLIER pour leur disponibilit et pour la gestion de tous ces problmes techniques qui sans eux perturberaient largement notre travail. La ralisation de cette thse sappuie galement sur un environnement qui est essentiel. A ce titre, je voudrais remercier lensemble des membres du laboratoire pour le climat qui l'y rgne. Enfin, pour leur lecture minutieuse du manuscrit, j'aimerais remercier les rapporteurs de ma thse : Margot TAYLOR, directeur de recherche au CNRS et David W OODS, professeur de Neurologie, ce dernier ayant accept ce rle malgr le long voyage que cela lui imposait pour venir assister ma soutenance. Pour avoir accept de juger ce travail, j'exprime encore mes remerciements Messieurs Olivier KNIG, professeur l'universit lumire Lyon 2 et directeur de l'cole doctorale de Sciences Cognitives qui a accept d'tre prsident de ce jury et Bernard Renault, directeur de recherche au CNRS.
SOMMAIRE
SOMMAIRE
AVANT-PROPOS
PARTIE I - INTRODUCTION
CHAPITRE 1 - INTGRATION MULTISENSORIELLE DANS LA PERCEPTION : APPROCHE COMPORTEMENTALE ET NEUROPSYCHOLOGIE
1.1 - ILLUSIONS PERCEPTIVES INTERMODALES 1.1.1 - QUAND LA VISION ALTRE L'AUDITION "Effet McGurk" Ventriloquie 1.1.2 - QUAND L'AUDITION ALTRE LA VISION 1.1.3 - AUTRES ILLUSIONS PERCEPTIVES Audition et toucher Vision et systme vestibulaire Les gots et les couleurs 1.2 - SITUATIONS NON-ILLUSOIRES : QUAND DEUX VALENT MIEUX QU'UN 1.2.1 - FACILITATION INTERSENSORIELLE Effet d'un stimulus accessoire sur la localisation d'une cible Attention intermodale Modles explicatifs de la facilitation intersensorielle 1.2.2 - "EFFET DE CIBLES REDONDANTES" Dtection et identification d'vnements ou d'objets dfinis par deux modalits sensorielles Cohrence audio-visuelle de la parole Localisation de cibles bimodales Modles explicatifs de l'effet de redondance 1.3 - LES RELATIONS TEMPORELLES ET SPATIALES DES COMPOSANTES UNIMODALES 1.3.1 - INFLUENCE DE LA DISPARIT TEMPORELLE 1.3.2 - INFLUENCE DE LA DISPARIT SPATIALE
5 5 5 7 8 9 9 9 10 10 11 11 12 13 13 13 14 14 16 17 17 18
SOMMAIRE
1.4 - UN TROUBLE DE LA PERCEPTION INTERMODALE : LA SYNESTHSIE 1.4.1 - DFINITION : LORSQUE "LES PARFUMS, LES COULEURS ET LES SONS SE RPONDENT" 1.4.2 - BASES NEURONALES DE LA SYNESTHSIE 1.5 - CONCLUSION CHAPITRE 2 - RAPPELS SUR L'ARCHITECTURE NEURO-FONCTIONNELLE DES SYSTMES AUDITIF ET VISUEL
19 19 21 21
23
2.1 - LE SYSTME VISUEL 2.1.1 - ORGANISATION GNRALE La rtine Les fibres visuelles Organisation des aires visuelles Plusieurs voies de traitement 2.1.2 - LA VOIE RTINO-GNICULO-CORTICALE De la rtine au noyau gnicul dorso-latral (NGLd) Du NGLd au cortex : les voies dorsale et ventrale Une organisation purement hirarchique ? 2.1.3 - LA VOIE RTINO-TECTALE 2.2 - LE SYSTME AUDITIF 2.2.1 - TRANSDUCTION PRIPHRIQUE Sensibilit de la membrane basilaire au son Organe de Corti et cellules cilies 2.2.2 - LES VOIES AUDITIVES ASCENDANTES (FIGURE 15) Relais sous-corticaux Aires auditives corticales 2.2.3 - LES VOIES AUDITIVES DESCENDANTES 2.2.4 - LES VOIES AUDITIVES DORSALE ET VENTRALE 2.3 - CONCLUSION
23 24 24 25 26 28 28 28 30 33 33 34 34 35 35 37 37 39 41 41 42
CHAPITRE 3 - LES BASES NEURONALES DE L'INTGRATION MULTIMODALE : TRAVAUX CHEZ L'ANIMAL 43
3.1 - NEURONES MULTISENSORIELS 3.1.1 - COLLICULUS SUPRIEUR Organisation gnrale Neurones multisensoriels dans le colliculus suprieur 3.1.2 - RGLES D'INTGRATION AU NIVEAU DU NEURONE UNITAIRE 3.1.3 - AUTRES SITES D'INTGRATION ET DE CONVERGENCE MULTISENSORIELLE 3.2 - CONNEXIONS DES SITES DE CONVERGENCE/INTGRATION MULTISENSORIELLE
43 43 43 44 45 47 49
ii
SOMMAIRE
3.2.1 - CONNEXIONS SUBCORTICO-TECTALES ET CORTICO-TECTALES 3.2.2 - CONNEXIONS CORTICO-CORTICALES Aires polysensorielles Aires modalit-spcifiques 3.3- CONCLUSION CHAPITRE 4 - ETUDES NEUROPHYSIOLOGIQUES DE L'INTGRATION MULTISENSORIELLE CHEZ LHOMME
49 50 50 51 52
53
4.1 - ETUDES PAR INTERSECTION : ZONES DE CONVERGENCE INTERSENSORIELLE 4.1.1 - APPARIEMENT VISUO-TACTILE 4.1.2 - TCHES DE DTECTION ET PERCEPTION PASSIVE 4.1.3 - TRAITEMENT INTERMODAL DU MOUVEMENT 4.1.4 - ZONES DE CONVERGENCE EMOTIONNELLE 4.2 - INTERACTIONS MULTISENSORIELLES (informations non-langagires) 4.2.1 - INTGRATION AUDIO-VISUELLE 4.2.2 - INTGRATION AUDIO-SOMESTHSIQUE 4.3 - TRAITEMENT AUDIO-VISUEL DE LA PAROLE 4.4 - CONCLUSION ET PRSENTATION DE NOTRE PROBLMATIQUE DE RECHERCHE
54 54 55 58 59 59 60 65 66 69
PARTIE II - METHODOLOGIE : L'EEG POUR ETUDE DE L'INTEGRATION

MULTISENSORIELLE
CHAPITRE 5 - ELECTRO-ENCPHALOGRAPHIE ET POTENTIELS VOQUS 73
5.1 - PRINCIPES GNRAUX 5.1.1 - ENREGISTREMENT DE L'ACTIVIT LECTRIQUE CRBRALE ET EXTRACTION

DES POTENTIELS VOQUS
73 73 75 75 76 76 76 78 79 79
5.1.2 - POSITION DES ELECTRODES Electrode d'enregistrement Electrode de rfrence 5.2 - LOCALISATION DES SOURCES 5.2.1 - "DIPLES DE COURANT QUIVALENTS" : BASES PHYSIOLOGIQUES 5.2.2 - CARTOGRAPHIE DES CHAMPS DE POTENTIEL 5.2.3 - CARTOGRAPHIE DES DENSITS DE COURANT RADIAL DU SCALP 5.2.4 - MODLISATION DE L'ACTIVIT LECTRIQUE CRBRALE
iii
SOMMAIRE
5.3 - INTRODUCTION AUX POTENTIELS VOQUS VISUELS ET AUDITIFS 5.3.1 - POTENTIELS VOQUS VISUELS 5.3.2 - POTENTIELS VOQUS AUDITIFS CHAPITRE 6 - APPLICATION LTUDE DES INTRACTIONS AUDIO-VISUELLES
81 81 82
85
6.1 - SUJETS 6.2 - ACQUISITION DU SIGNAL 6.2.1 - SYSTME D'ACQUISITION ET DE STIMULATION 6.2.2 - MONTAGE DES LECTRODES 6.2.3 - AMPLIFICATION ET FILTRAGE 6.2.4 - EXTRACTION DES POTENTIELS VOQUS 6.3 - TRAITEMENT DES DONNES 6.3.1 - LE MODLE ADDITIF 6.3.2 - ANALYSE STATISTIQUE
85 85 85 85 86 87 87 87 89
PARTIE III - TRAVAUX EXPERIMENTAUX : ETUDE DE LA FLEXIBILITE DES PROCESSUS

INTEGRATIFS
CHAPITRE 7 - INTGRATION AUDIO-VISUELLE DANS L'IDENTIFICATION D'OBJETS BIMODAUX (INFORMATIONS UNIMODALES NON-REDONDANTES) 95
7.1 - PROBLMATIQUE 7.2 - MTHODE 7.2.1 - STIMULI 7.2.2 - PROTOCOLE 7.3 - RSULTATS 7.3.1 - MESURES COMPORTEMENTALES 7.3.2 - MESURES ELECTROPHYSIOLOGIQUES Rponses aux stimuli unimodaux Interactions multisensorielles 7.4 - ANALYSE COMPARATIVE : NON-REDONDANCE VERSUS REDONDANCE
DES MESSAGES SENSORIELS
95 95 95 96 97 97 97 97 98
99 103
7.5 ARTICLE
iv
SOMMAIRE
CHAPITRE 8 - INTGRATION AUDIO-VISUELLE DANS LA DTECTION D'OBJETS BIMODAUX
117
8.1 - PROBLMATIQUE 8.2 - MTHODE 8.3 - RSULTATS 8.3.1 - RSULTATS COMPORTEMENTAUX 8.3.2 - RSULTATS ELECTROPHYSIOLOGIQUES Rponses aux stimuli unimodaux Interactions multisensorielles 8.4 - ANALYSE COMPARATIVE : DTECTION VERSUS IDENTIFICATION (informations uni-sensorielles redondantes) 8.5 - ARTICLE CHAPITRE 9 - L'ATTENTION EST-ELLE NCESSAIRE L'INTGRATION MULTISENSORIELLE ?
117 117 118 118 118 118 118
121 123
135
9.1 - PROBLMATIQUE 9.2 - MTHODE 9.2.1 - SUJETS 9.2.2 - STIMULI 9.2.3 - PROTOCOLE Condition" NON-ATTENTION" Condition "ATTENTION" 9.2.4 - ENREGISTREMENT DE L'EEG ET ANALYSES DES DONNES 9.3 - RSULTATS 9.3.1 - RSULTATS COMPORTEMENTAUX 9.3.2 - RSULTATS LECTROPHYSIOLOGIQUES Rponses aux stimuli unimodaux Estimation des effets d'interactions : [AV-(A+V)] 9.4 - DISCUSSION : ATTENTION VERSUS NON-ATTENTION 9.4.1 - INTERACTIONS DANS LES AIRES MODALIT-SPCIFIQUES Dans le cortex auditif Dans les aires visuelles 9.4.2 - INTERACTIONS NEURONALES DANS LES RGIONS TEMPORO-FRONTALES 9.4.3 - CONCLUSION
135 136 136 136 136 137 138 138 139 139 140 140 141 147 147 147 148 149 150
SOMMAIRE
PARTIE IV - DISCUSSION
CHAPITRE 10 - MULTIPLICIT ET FLEXIBILIT DES MCANISMES PHYSIOLOGIQUES DE L'INTGRATION AUDIO-VISUELLE 155
10.1 - FLEXIBILIT DES PROCESSUS INTGRATIFS DANS LES AIRES SENSORIELLES

SPCIFIQUES
155 155 156 156 157 158
10.1.1 - INFLUENCE DE LA SENSIBILIT SENSORIELLE DOMINANTE DU SUJET

POUR LA TCHE
10.1.2 - INFLUENCE DE LA TCHE PERCEPTUELLE 10.1.3 - INFLUENCE DU CONTENU INFORMATIONNEL DES STIMULI 10.1.4 - INFLUENCE DE L'ATTENTION PORTE AUX OBJETS 10.1.5 - CONCLUSION : DES CORTEX "UNI-SENSORIELS" ?
10.2 - FLEXIBILIT DES PROCESSUS INTEGRATIFS DANS LES RGIONS NON-SPCIFIQUES 159 10.2.1 - IMPLICATION PROBABLE DU COLLICULUS SUPRIEUR DANS LA DTECTION DE CIBLES BIMODALES 159 10.2.2 - IMPLICATION DES RGIONS TEMPORO-FRONTALES DANS LE TRAITEMENT EXPLICITE D'VNEMENTS BIMODAUX 160 10.3 - CONCLUSION CHAPITRE 11 - APPORTS SPCIFIQUES DES MESURES LECTROPHYSIOLOGIQUES POUR LA COMPRHENSION DES MCANISMES INTGRATIFS 160
161
11.1 - DYNAMIQUE TEMPORELLE DES PROCESSUS INTGRATIFS 11.2 - MESURES COMPORTEMENTALES ET PHYSIOLOGIQUES :
DES DIVERGENCES POSSIBLES
161
163
11.3 - DPRESSION DE LA RPONSE NEURONALE ET FACILITATION COMPORTEMENTALE 163 CONCLUSION : INTGRER POUR ATTEINDRE EFFICACEMENT UN BUT 165
PERSPECTIVES : "THE BINDING PROBLEM"
165
TABLE DES ILLUSTRATIONS REFERENCES BIBLIOGRAPHIQUES PUBLICATIONS SCIENTIFIQUES
169 175 193
vi
AVANT-PROPOS
AVANT-PROPOS
Comment lhomme acquiert lexprience perceptuelle des vnements du monde extrieur ?
Cette question dj formule par Aristote 350 ans av. JC, se pose aujourdhui aux psychologues cognitivistes et aux neuro-scientifiques avec la mme acuit mais en termes plus prcis : comment les systmes sensoriels intgrent les lments spars dun objet pour former un percept unifi ? Si cette question a fait l'objet de nombreuses recherches comportementales et neurophysiologiques dans les modalits sensorielles spares (et particulirement visuelle), elle a t trs peu aborde dans son aspect intermodal. Pourtant, nous sommes quotidiennement confronts des "objets" caractriss par des composantes de plusieurs modalits sensorielles,
particulirement auditive et visuelle (une voiture qui passe, un chien qui aboie) ; nos perceptions et nos comportements ne sont pas bass sur la juxtaposition d'expriences sensorielles indpendantes, mais sur l'impression globale qui rsulte de la combinaison d'informations de diffrentes modalits. De nombreuses tudes comportementales ont permis de montrer l'influence de processus intgratifs dans nos perceptions. Depuis une vingtaine d'annes, les donnes lectrophysiologiques chez l'animal ont corrobor ces observations et ont apport des lments fondamentaux sur les bases neuronales de ces processus intgratifs. En revanche, les recherches neurophysiologiques chez l'homme n'ont connu un essor que trs rcemment notamment grce au dveloppement des techniques de neuroimagerie fonctionnelle (Partie I). En utilisant la technique des potentiels voqus (Partie II), nous avons ralis une srie d'expriences destines tudier les corrlats lectrophysiologiques de l'intgration des informations auditives et visuelles dans la perception chez l'homme, en tentant de dcrire la nature, l'organisation et les proprits fonctionnelles des interactions neuronales impliques dans les phnomnes intgratifs (Partie III). Les rsultats de ces tudes seront discuts dans la partie IV de ce document.
AVANT-PROPOS
NB : on distingue gnralement quatre grands domaines d'tude des phnomnes intgratifs : Le dveloppement des processus intgratifs, La plasticit intermodale, L'attention intermodale, Le traitement perceptuel et cognitif d'vnements ou d'objets multimodaux (dont la parole). Les travaux raliss au cours de cette thse portent sur ce dernier axe de recherche. Les donnes relatives aux trois autres domaines ne seront donc abordes que de faon sporadique. Par ailleurs, si l'motion est par nature centre de convergence ou d'intgration multimodale dans le sens o elle peut tre induite par des phnomnes sensoriels trs divers, les tudes s'y rapportant ne seront pas non plus dveloppes ici tant elles touchent un domaine particulier.
Rponse d'orientation induite par la convergence d'informations issues de la cochle, de la rtine et de la peau. D'aprs d'Alex Meredith
CHAPITRE 1 - INTEGRATION
MULTISENSORIELLE DANS LA PERCEPTION :
APPROCHE COMPORTEMENTALE ET NEUROPSYCHOLOGIE
Dans la vie quotidienne, les donnes sensorielles atteignant simultanment nos diffrents sens offrent gnralement des informations congruentes. Par exemple, les paroles prononces par un locuteur sont perues la fois par le canal auditif (missions sonores) et par le canal visuel (mouvement articulatoire des lvres). Dans des conditions bruites, l'accs cette dernire information peut grandement faciliter la comprhension du message auditif. On peut alors s'interroger sur la contribution respective de chacune de ces informations unimodales sur la perception, et sur leur possible interaction dans des conditions normales (non bruites). D'un point de vue comportemental, deux approches principales peuvent apporter des lments de rponse : d'une part, l'tude des perceptions et des ractions comportementales de sujets face des situations sensorielles conflictuelles qui engendrent des illusions perceptives, d'autre part, l'tude des performances de sujets face des entres sensorielles bi(ou multi-) modales qui portent des informations complmentaires ou non d'un point de vue structurel ou smantique.
1.1 - ILLUSIONS PERCEPTIVES INTERMODALES

1.1.1 - QUAND LA VISION ALTERE L'AUDITION
"Effet McGurk" L'un des exemples les plus frappants de ces illusions a t mis en vidence par McGurk et McDonald (1976) dans le domaine de la parole. Cet effet McGurk est d
l'influence de la perception visuelle du mouvement articulatoire des lvres sur la perception auditive de la parole. Dans leur exprience princeps, McGurk et McDonald montrent que la perception auditive de la syllabe /ba/ est modifie par la perception simultane du mouvement des lvres articulant la syllabe /ga/, la syllabe finalement perue tant /da/ (fusion des syllabes /ba/ et /ga/) (Figure 1)1. Cet effet est particulirement robuste puisqu'il persiste lorsque les sujets connaissent la nature des informations unimodales. Ce percept illusoire peut s'expliquer par le fait que les informations auditives et visuelles de la parole dans les conditions habituelles, sont complmentaires et concordantes. Or acoustiquement et visuellement, les syllabes /ba/ et /ga/ sont trs diffrentes l'une de l'autre, mais d'un point de vue acoustique la syllabe /ba/ est plus proche de /da/ que de /ga/, et d'un point de vue visuel la syllabe /ga/ est plus proche de /da/ que de /ba/. Compte tenu des proximits perceptuelles diffrentes de ces syllabes dans les deux modalits, et afin de satisfaire la concordance habituelle des informations bimodales, l'interprtation la plus cohrente est /da/.
/ga/ /da/ /ba/
Figure 1. Illustration de l'effet McGurk. Lorsque la bouche articule la syllabe /ga/ alors que l'information sonore est la syllabe /ba/, les sujets peroivent gnralement /da/.
Plus rcemment, on a montr que cet effet pouvait galement tre observ pour des phrases entires. La prsentation visuelle de la squence "my gag kok me koo grive" double de la squence sonore "my bab pop me poo brive" induit la perception de la phrase "my dad taught me to drive" (Massaro et Stork, 1998). Dans ce cas, l'illusion perceptive est d'autant plus forte que les deux squences isoles n'ont aucun sens et que seule leur fusion permet d'obtenir une phrase intelligible, cohrente pour le sujet.
Cette illusion peut tre teste sur le site : http://www.psych.ucr.edu/avspeech/VSMcGurk.html.
"la perception est fonction non pas tant de l'intensit d'une stimulation que de la concordance de celle-ci avec une hypothse faite par le cerveau" Berthoz (1997, p.61) L'existence de l'effet McGurk suggre que les informations linguistiques visuelles et auditives convergent trs tt dans la chane de traitement, avant l'interprtation phontique (Summerfield, 1987).
Ventriloquie De faon similaire, la perception d'un mouvement articulatoire des lvres peut influencer le jugement de la localisation spatiale d'une source sonore (Driver, 1996). C'est notamment le cas lorsqu'un ventriloque parle en vitant de bouger les lvres mais en animant la bouche d'une marionnette : la parole est alors attribue cette dernire (Figure 2). Cette notion de ventriloquie est tendue au domaine non-langagier lorsque la perception d'une source spatiale sonore (fixe) est modifie par la prsence d'une information visuelle : la source sonore est perue comme tant plus proche de la source visuelle qu'elle ne l'est rellement (Bertelson et Radeau, 1981 ; Spence et Driver, 2000 ; Slutsky et Recanzone, 2001). Toutefois, ce biais perceptuel diminue progressivement avec l'loignement des sources auditive et visuelle (Bermant et Welch, 1976 ; Bertelson et Radeau, 1981). Par exemple, Bermant et Welch (1976) montrent qu'en sparant les sources de 10, 20 et 30 le biais est respectivement de 57, 17 et 12 %. Autrement dit, plus les stimuli sont loigns dans l'espace, plus ils ont tendance tre traits comme deux vnements indpendants l'un de l'autre.
Figure 2. Ventriloque et sa marionnette. Les seules donnes visuelles que le public peut associer aux paroles entendues proviennent de la marionnette.
Plus rcemment, Soto-Faraco et collaborateurs ont montr que la perception de la direction d'un son en mouvement peut tre influence par la prsentation simultane
d'une information visuelle galement dynamique mais non pertinente pour raliser la tche. Lorsque les stimuli visuels et sonores avaient des directions opposes, dans 47 % des cas les sujets avaient l'impression que le son suivait la mme direction que le stimulus visuel, et ceci bien que la direction du son soit facilement discriminable lorsqu'il tait prsent seul. Cette illusion ne se produisait cependant que lorsque les stimuli sonores et visuels partageaient la mme orientation, des orientations orthogonales ne permettant pas d'induire un tel phnomne (Soto-Faraco et al., 2002). Enfin, un autre exemple d'illusions spatiales auditives concerne le phnomne intermodal d'"after-effect" observ par Ehrenstein et Reinhard-Rutland (1996) : la perception de la source d'une stimulation auditive (fixe) est dcale aprs habituation un mouvement visuel (ensemble de points dynamiques), ce dcalage se faisant dans la direction oppose celle du mouvement d'habituation.
1.1.2 - QUAND L'AUDITION ALTERE LA VISION

En miroir ces illusions auditives, il existe des illusions visuelles induites par des informations sonores. Par exemple, il a t rcemment montr qu'un simple flash lumineux pouvait tre peru comme une succession de plusieurs flashs lorsqu'il tait accompagn de plusieurs "bips" auditifs (Shams et al., 2000, 2002)2. Par ailleurs, dans le domaine de la ventriloquie, certains auteurs ont rapport l'existence d'un biais auditif sur la localisation d'une cible visuelle (Bertelson et Radeau, 1981). Toutefois cet effet semble moins fort que le biais visuel sur la localisation d'une source sonore ce qui peut s'expliquer par la supriorit de la modalit visuelle dans le domaine de la localisation. La prsence d'un son peut galement influencer l'interprtation d'un mouvement visuel ambigu. En effet, la prsentation sur un cran de deux cibles visuelles avanant l'une vers l'autre peut donner lieu deux interprtations au moment o elles se rejoignent : soit elles rebondissent l'une contre l'autre et repartent chacune en direction oppose, soit elles se croisent sans changer de trajectoire. Gnralement, la deuxime interprtation est privilgie. Toutefois, si un son bref est prsent au moment o les deux cibles visuelles concident, on peroit un rebond (Sekuler et al., 1997). Ce phnomne s'explique par notre intuition des causes physiques : le son est attribu l'impact entre les deux objets qui doivent alors rebondir l'un sur l'autre. Notons
Cette illusion peut tre teste sur le site : http://neuro.caltech.edu/~lshams/demo.html.
cependant que la perception de rebond peut galement tre induite par la prsentation brve d'un flash lumineux ou d'une vibration tactile sur le doigt du sujet (Watanabe et Shimojo, 1998). Les auteurs suggrent que dans ce cas, les stimuli lumineux ou tactiles jouent un rle de distracteur attentionnel : l'interprtation de rebond serait due cette distraction alors que la perception de continuit serait facilite par l'attention porte la cible.
1.1.3 - AUTRES ILLUSIONS PERCEPTIVES
Audition et toucher Jousmaki et Hari (1998) ont mis en vidence une illusion audio-tactile suggrant une dominance de la modalit auditive sur la modalit somesthsique. Les sujets devaient se frotter les mains l'une contre l'autre et juger de leur scheresse. Le bruit associ aux frottements tait enregistr et prsent aux sujets par des couteurs, avec ou sans modifications. Les rsultats ont montr que l'accentuation ou la diminution des hautes frquences induit une modification de la sensation tactile, les mains tant ressenties comme plus sches dans le premier cas et plus humides dans le second. Inversement, une influence de la modalit somesthsique sur la modalit auditive a pu tre observe dans le domaine spatial : lorsque les stimuli sont prsents simultanment, une stimulation tactile (vibration au niveau des index) peut biaiser la localisation d'une source sonore en direction de la source tactile (Caclin et al., 2002).
Vision et systme vestibulaire D'autres illusions peuvent tre cres en associant des informations visuelles et vestibulaires contradictoires. D'une part, l'information visuelle peut influencer les sensations vestibulaires. C'est par exemple le cas, lorsque nous regardons un film reprsentant la vue que nous aurions d'un avion ralisant des acrobaties ariennes. Bien que notre corps garde la mme posture durant la projection du film, il peut tre soumis des sensations vestibulaires similaires celles ressenties en situation relle. D'autre part, les sensations vestibulaires peuvent influencer la perception
d'informations visuelles : si nous demandons un sujet de juger l'orientation d'une ligne lumineuse horizontale (de faible intensit) projete contre un mur dans une pice sombre, les performances sont trs bonnes. Mais si ce jugement doit tre effectu
pendant ou aprs un mouvement centrifuge du sujet, alors la ligne est perue incline (Revue dans Stein et Meredith, 1993)3.
Les gots et les couleurs Enfin, il semble que la couleur puisse influencer la fois nos perceptions gustatives et olfactives. Par exemple, le got d'une boisson aromatise la cerise sera jug de faon correcte lorsque cette boisson est colore en rouge mais induira un fort pourcentage de rponses errones lorsqu'elle est colore en orange (le got peru tant l'orange) (Dubose et al., 1980). De la mme faon, l'odeur d'un vin blanc artificiellement color en rouge sera dcrite comme celle d'un vin rouge (i.e. avec des descripteurs de vin rouge tels que pruneau, myrtille, chocolat, havane, cannelle) (Morrot et al., 2001). Ces illusions seraient en partie dues un effet d'attente perceptive induite par la couleur du produit.
1.2 - SITUATIONS NON-ILLUSOIRES : QUAND DEUX VALENT MIEUX QU'UN

Les illusions perceptives tmoignent donc de l'existence d'interactions
multisensorielles. Cependant, dans la vie quotidienne, nous sommes rarement confronts ce type de situations artificielles o les informations reues par nos diffrents sens sont contradictoires. Les recherches menes pour mieux comprendre ces mcanismes intgratifs dans des situations non-illusoires ont utilis deux types d'approches : l'tude de la prsentation d'un stimulus accessoire4 sur le traitement d'un stimulus cible de modalit diffrente (stimulus principal), on parle de facilitation intersensorielle la comparaison du traitement de cibles bimodales celui de cibles unimodales, on parle alors d'effet de cibles redondantes ("redundant target effect").
Le lecteur intress pourra notamment se rfrer au treizime chapitre de l'ouvrage d'A. Berthoz qui rapporte un grand nombre d'illusions visuo-vestibulaires [Berthoz, A. (1997). Le sens du mouvement. Paris.].
3
Un stimulus accessoire est un stimulus non pertinent pour la ralisation de la tche et n'ayant pas de relation smantique ou structurelle avec le stimulus cible.
4
10
1.2.1 - FACILITATION INTERSENSORIELLE

Welch et Warren (1986) ont rapport un grand nombre de donnes comportementales concernant les effets de ces stimuli accessoires sur les seuils de dtection et les temps de raction (TR) aux stimuli principaux. Ainsi, le seuil de dtection dans une modalit sensorielle donne serait influenc par la prsentation concomitante ou proche dans le temps d'un stimulus d'une autre modalit. Cette influence peut se manifester par une facilitation (diminution du seuil de dtection) ou une inhibition, et ceci en fonction de l'intensit relative des deux stimuli, de leur dure respective, de l'intervalle inter-stimulus (ISI) utilis, ou de la tche demande aux sujets. Par ailleurs, la prsentation simultane ou proche dans le temps, d'un stimulus accessoire induit une diminution du temps de raction une cible de modalit sensorielle diffrente. Toutefois, cette facilitation dpend encore de critres exprimentaux tels que l'ISI utilis et l'intensit des stimulations. Un autre exemple concerne l'influence d'un stimulus accessoire sur la saillance perceptuelle d'une cible : Stein et collaborateurs ont montr que, dans une tche de jugement d'intensit d'un stimulus visuel, la prsentation simultane d'un son, non pertinent pour la ralisation de la tche, augmentait l'intensit perue du stimulus principal (Stein et al., 1996).
Effet d'un stimulus accessoire sur la localisation d'une cible Des rsultats similaires ont t obtenus dans des tches de localisation de cibles visuelles accompagnes de stimuli sonores accessoires. Les temps de raction (rponses manuelles ou saccades oculaires) peuvent tre diminus de plusieurs dizaines de millisecondes lorsque le signal sonore est prsent partir de la mme source spatiale (Simon et Craft, 1970 ; Engelken et Stevens, 1989 ; Frens et al., 1995 ; Hughes et al., 1998 ; McDonald et al., 2000). Par ailleurs, l'tude de la dpendance spatio-temporelle de cet effet rvle que plus la stimulation sonore est loigne - dans le temps ou dans l'espace - du stimulus principal, moins l'effet de facilitation est marqu. Cependant, un dcalage temporel peu important peut donner lieu de meilleurs effets de facilitation qu'une prsentation simultane. Ainsi, Frens et collaborateurs ont observ un effet de facilitation maximum lorsque les deux informations partagent la mme source spatiale ET lorsque le signal sonore est prsent lgrement en avance (50ms) par rapport au signal visuel (Frens et al., 1995, exprience 3). En revanche, d'autres tudes comportementales montrent que cet effet
11
de facilitation est plus important lorsque le signal visuel prcde le signal auditif (Miller, 1986 ; Giray et Ulrich, 1993) (voir 1.3.1). Il est galement intressant de noter que cet effet facilitateur peut tre observ chez des sujets atteints d'hmingligence visuo-spatiale, syndrome se traduisant par une incapacit ragir ou traiter des stimuli prsents dans un hmichamp visuel (gnralement gauche) la suite d'une lsion unilatrale (droite) du cortex parital. Frassinetti et collaborateurs (2002) ont demand des sujets hmingligents de raliser une tche de dtection de cibles visuelles. Ces cibles pouvaient tre mises partir d'une source spatiale parmi 6. De temps en temps, un son tait mis simultanment, soit de la mme source spatiale, soit partir de l'une des 5 autres sources. Les rsultats montrent une augmentation du taux de dtection de la cible visuelle lorsque les stimuli auditif et visuel sont issus de la mme source ou de sources proches. Par ailleurs cette amlioration des performances est plus importante pour les stimuli mis partir des sources spatiales dont le traitement est le plus affect par la dficience (i.e. rgion priphrique du champ visuel). Des effets d'interactions similaires sont galement induits dans des tches manipulant d'autres combinaisons sensorielles. Par exemple, Kennett et collaborateurs (2001) ont montr un effet de facilitation intersensorielle dans une tche visuo-tactile. La stimulation tactile consistait en une ou deux pressions simultanes (spatialement distinctes) sur l'avant-bras des sujets qui devaient discriminer ces deux conditions. Les auteurs ont rapport que la vision du bras facilitait le traitement, bien que le bras ne soit jamais visible aux moments mmes o les stimulations tactiles taient prsentes. Autrement dit, une information visuelle ne contenant pas d'information pertinente pour la tche permettait d'augmenter les performances relatives un jugement tactile.
Attention intermodale Enfin, de nombreux auteurs ont utilis les paradigmes de stimulus accesoire pour l'tude des processus attentionnels intermodaux, qui constituent un autre grand domaine d'investigation des phnomnes multisensoriels. Sans dtailler ces travaux, notons que la prsentation d'un stimulus quelconque peut orienter automatiquement l'attention vers sa zone d'mission (attention exogne) et facilite le traitement d'un second stimulus de modalit diffrente ayant une mme source spatiale et prsent dans la mme fentre temporelle. Des effets semblables peuvent tre observs dans les processus d'attention endogne, c'est--dire lorsque le sujet porte volontairement
12
son attention vers une zone de l'espace prdtermine dans l'attente d'une information sensorielle prcise (Pour une revue voir Driver et Spence, 1998b ; Eimer, 2001 ; Spence, 2002). Ces rsultats mettent ainsi en vidence l'existence de liens intermodaux de lattention spatiale.
Modles explicatifs de la facilitation intersensorielle Sachant que l'augmentation d'intensit d'un stimulus peut diminuer le temps de raction ce stimulus, certains auteurs ont suggr que les effets de facilitation intersensorielle pouvaient tre expliqus par une sommation d'nergie des deux stimuli. Cette sommation d'nergie se traduirait donc par la perception d'une intensit accrue du stimulus principal (Nickerson, 1973) une observation confirme par les expriences de Stein et collaborateurs (1996). Une autre hypothse est que les effets de facilitation observs pourraient tre attribus une amlioration de la prparation la rponse, introduite par le stimulus accessoire ("preparation-enhancement model" ou effet d'alerte) (Nickerson, 1973).
1.2.2 - "EFFET DE CIBLES REDONDANTES"

Paralllement aux travaux sur la facilitation intersensorielle, de nombreux auteurs ont cherch rendre compte des mcanismes d'interactions bimodales dans le cas o les informations sensorielles sont issues d'un mme objet (ou vnement) et sont donc congruentes. Dans ce cas, les donnes comportementales montrent quun objet bimodal est mieux et plus rapidement trait que le mme objet dfini
par une seule de ses composantes, et ceci quelle que soit la tche effectuer sur cet objet : simple dtection (Hershenson, 1962 ; Miller, 1982, 1986 ; Giray et Ulrich, 1993 ; Forster et al., 2002 ; Molholm et al., 2002), localisation (Stein et al., 1989 ; Miller, 1991 ; Hughes et al., 1994 ; Schrger et Widmann, 1998), ou identification (Miller, 1982 ; Reisberg et al., 1987 ; Summerfield, 1987 ; Miller, 1991 ; Giard et Peronnet, 1999).
Dtection et identification d'vnements ou d'objets dfinis par deux modalits sensorielles Ainsi, dans l'tude de Giard et Peronnet (1999), les sujets devaient discriminer deux objets, A et B. Chaque objet tait dfini soit par une composante visuelle seule (dformation dun cercle en ellipse horizontale (objet A) ou verticale (objet B)), soit par une composante auditive seule (son grave (A) ou aigu (B)), soit par la combinaison de
13
ses deux composantes unimodales. Les rsultats comportementaux ont montr que les objets taient mieux et plus rapidement identifis sur la base de leurs composantes multimodales (TR moyen : 562 ms) que lorsquils taient prsents de faon auditive ou visuelle seule (TR moyens : 621 et 631 ms respectivement). Par ailleurs, cet effet de facilitation semble plus marqu lorsque la combinaison des composantes unimodales forme une unit perceptuelle. Ainsi, Miller (1991) a montr que l'effet est plus important (1) pour une combinaison audio-visuelle congruente que pour une combinaison non-congruente (association entre la hauteur tonale d'un son et la position plus ou moins leve d'une cible visuelle sur un cran) et (2) pour une combinaison frquente (prsentation rpte d'une combinaison audio-visuelle particulire) que pour une combinaison rare (prsentation ponctuelle d'une combinaison audio-visuelle particulire).
Cohrence audio-visuelle de la parole L'effet McGurk ( 1.1.1) illustre l'importance de l'information visuelle issue du mouvement des lvres sur la perception de la parole, mais le rle des informations visuelles sur la perception auditive se manifeste galement dans des situations non-illusoires. Par exemple, la vision du mouvement articulatoire facilite le traitement de la parole dans des conditions o le message auditif est bruit ou lorsque la comprhension est rendue difficile par l'utilisation d'une langue trangre ou d'un matriel langagier smantiquement complexe (Reisberg et al., 1987 ; pour revue voir Cathiard et Tiberghien, 1994). Nous ne rentrerons pas plus avant dans la revue de littrature trs volumineuse consacre l'intgration bimodale dans la parole. Notons cependant que cette capacit prendre en compte la fois les donnes visuelles et auditives de la parole est trs prcoce puisqu'elle a t observe chez des enfants de 4 5 mois. On a en effet montr que ces derniers sont prfrentiellement attirs par un visage dont les mouvements articulatoires s'accordent avec un message acoustique prsent simultanment que par un visage articulant un message non-concordant (Kuhl et Meltzoff, 1982).
Localisation de cibles bimodales Dans le domaine de la localisation, Stein et collaborateurs ont entrains des chats s'approcher d'une cible visuelle ou auditive mise partir d'une source spatiale parmi 7
14
(montage illustr Figure 3). Au cours de l'exprience, les stimuli sonores et visuels taient prsents isolment ou ensemble (en concidence spatiale et temporelle). La source d'mission et l'intensit des stimuli variaient alatoirement. Comme on l'attendait, les chats ragissaient moins bien aux stimuli de faible intensit mis partir des sources les plus priphriques. Cependant, les performances taient largement augmentes dans le cas o les stimuli taient prsents par paire. Par exemple, comme l'illustre la Figure 3, bien qu'un stimulus visuel prsent -90 (90 degrs gauche du point de fixation) n'induise pas de raction, et qu'un stimulus sonore mis de la mme source spatiale ne provoque une rponse qu'une fois sur 10, les performances pouvaient atteindre 80% de rponses correctes lorsque ces deux stimuli taient prsents simultanment.
VA V
Figure 3. Donnes comportementales chez le chat. Les performances (pourcentage de bonnes rponses) de chats entrains s'orienter vers un stimulus sonore ou visuel sont largement augmentes quand les deux stimuli sont prsents simultanment partir de la mme source spatiale. (D'aprs Stein et al., 1989).
Des rsultats similaires ont t rapports chez l'homme par Schrger et Widmann (1998). Dans cette tude, un stimulus audio-visuel compos dun bruit blanc et dun
15
flash lumineux tait prsent de faon rpte partir dune source spatiale fixe situe 15 droite ou gauche dun point de fixation plac 0 dans le plan azimutal. Occasionnellement, le flash et/ou le son provenaient dune source spatiale diffrente (stimulus dviant, 15%). Les sujets devaient dtecter tous les stimuli dviants. En accord avec les donnes prcdemment cites, les temps de raction taient plus courts lorsque les deux composantes du stimulus taient dplaces (en moyenne : 316 ms) que lorsque seule l'information auditive (360 ms) ou visuelle (361 ms) l'tait.
Modles explicatifs de l'effet de redondance Afin de rendre compte de cet effet de facilitation, Raab (1962) proposa un modle statistique ("independent race model ") selon lequel les composantes unimodales dune cible bimodale seraient traites sparment et paralllement dans leur canal sensoriel respectif, la rponse motrice tant dtermine par le traitement unimodal le plus rapide. Les temps de raction pour les cibles bimodales correspondant une distribution de minima (i.e. chaque essai le temps de raction correspond au temps de traitement le plus court entre les deux modalits), ils seraient en moyenne plus courts que ceux obtenus pour les stimuli unimodaux. Cependant, dans une srie d'tudes sur l'attention divise, Miller (1982 ; 1986) a montr que les distributions statistiques des temps de raction ne pouvaient tre expliques par le modle de Raab. En effet, il relve des temps de raction aux cibles bimodales plus courts que ceux obtenus pour chacune des cibles unimodales. Il suggre donc que les diffrentes informations dun stimulus bimodal ne sont pas traites indpendamment, mais convergent et sont intgres dans le systme nerveux central. Plus tard, Miller (1991) a propos un modle dit de co-activation interactive, selon lequel les interactions entre les deux modalits seraient modules par les liens existants entre les composantes unimodales. Ce modle permettrait d'expliquer la diffrence entre les temps de raction aux stimuli dont les composantes unimodales sont congruentes ou frquentes et ceux obtenus pour des stimuli bimodaux incongruents ou rares. Il est opposer aux modles dits de co-activation indpendante qui stipulent que les composantes sont traites indpendamment et que la facilitation observe est due la seule sommation des nergies dans les deux canaux sensoriels (voir 1.2.1).
16
1.3 - LES
RELATIONS TEMPORELLES ET SPATIALES DES COMPOSANTES
UNIMODALES Des effets de facilitation comportementale peuvent donc tre observs lorsque des informations issues de deux modalits sensorielles sont combines. Toutefois, comme nous avons pu l'entrevoir, les donnes montrent une influence des relations spatiales et temporelles des composantes unimodales sur ces effets.
1.3.1 - INFLUENCE DE LA DISPARITE TEMPORELLE

Dans le cadre des recherches portant sur les effets de facilitation intersensorielle (i.e. influence d'un stimulus accessoire sur le stimulus principal) ou sur les effets de cibles redondantes, plusieurs tudes ont galement examin l'influence, sur les performances, de l'asynchronie dans la prsentation des stimuli unimodaux. La majorit de ces travaux ont utilis une combinaison d'informations auditives et visuelles et ont rapport une facilitation comportementale lorsque le signal auditif tait prsent quelques dizaines de millisecondes aprs le signal visuel (Hershenson, 1962 ; Miller, 1986 ; Giray et Ulrich, 1993 ; Slutsky et Recanzone, 2001 ; Corneil et al., 2002) (voir toutefois Frens et al., 1995). Lorsque les sujets doivent explicitement dtecter la prsence d'une asynchronie entre des signaux auditifs et visuels, les rsultats montrent une certaine tolrance la disparit temporelle (autrement dit, les sujets dtectent moins facilement l'asynchronie) dans le cas o le signal visuel est prsent avant le signal sonore, alors que l'inverse est observ lorsque le son est prsent avant le signal visuel (Dixon et Spitz, 1980 ; Lewkowicz, 1996 ; Bushara et al., 2001). Cette tolrance est plus importante pour la parole que pour des informations non-langagires (Dixon et Spitz, 1980). Enfin, notons que cette capacit dtecter une disparit temporelle intersensorielle prend place trs tt dans le dveloppement de l'enfant puisqu'elle peut tre observe ds l'ge de deux mois (Lewkowicz, 1996, 2000). Ces rsultats peuvent s'expliquer sur le plan cologique. En effet, dans un milieu naturel les ondes sonores se dplacent plus lentement que la lumire, et lorsque survient un vnement ou un objet caractris par des lments des deux modalits, le signal visuel est reu avant le signal auditif. Le cerveau est donc habitu une certaine disparit temporelle, et a appris la tolrer lorsque le son suit le signal visuel (cologiquement frquent), mais non lorsqu'il le prcde (cologiquement improbable).
17
1.3.2 - INFLUENCE DE LA DISPARITE SPATIALE

Les donnes comportementales montrent que l'effet de facilitation discut plus haut est galement sensible aux relations spatiales existant entre les diffrentes composantes unimodales. Ainsi, comme l'illustre la Figure 4, des chats entrans rpondre (raction d'orientation) un stimulus visuel voient leurs performances trs diminues lorsqu'un stimulus auditif non pertinent pour la tche est prsent simultanment, d'une source situe 60 de la cible visuelle. En effet, les chats ont alors tendance s'orienter vers une position mi-chemin entre les sources visuelle et auditive (Stein et al., 1989).
VA V
Figure 4. Influence de la disparit spatiale sur les effets d'interactions. La prsentation d'un stimulus auditif accessoire (A) spatialement loign (60) d'une cible visuelle (V) diminue les performances d'orientation du chat vers cette cible visuelle. (D'aprs Stein et al., 1989).
L'utilisation de protocoles similaires chez l'homme a permis d'observer que (1) les rponses de type saccade oculaire en direction d'une cible ou par pointage manuel, ont des latences plus courtes lorsque la cible est accompagne d'un stimulus auditif accessoire spatialement concident, et (2) plus la distance augmente entre la cible et le
18
stimulus accessoire, plus cet effet de facilitation (diminution du temps de raction) est faible (Hughes et al., 1994 ; Frens et al., 1995). Toutefois, les effets dcrits plus hauts ont t observs lorsque la tche ncessitait la localisation d'une cible, cette tche se trouvant perturbe par la prsentation simultane d'un autre stimulus spatialement loigne dans le champ de perception. Dans le cas o la tche n'implique pas de localisation, la concordance spatiale des informations unimodales semble moins essentielle au maintien de l'effet facilitateur. En effet, Hughes et collaborateurs (1994) ont ralis une exprience dans laquelle le sujet devait rpondre une cible bimodale par une simple rponse manuelle (relchement d'un bouton poussoir) quelle que soit sa position. Dans ce cas, les effets de facilitation observs lorsque deux composantes unimodales taient prsentes en concordance spatiale ne diffraient pas de ceux trouvs lorsque les deux composantes provenaient de deux sources diffrentes. De faon similaire, dans l'exprience de Stein et collaborateurs (1996), la perception de l'intensit plus forte d'une cible visuelle en prsence d'un stimulus sonore accessoire tait observe quelles que soient les positions spatiales relatives de la cible et du stimulus sonore.
1.4 - UN TROUBLE DE LA PERCEPTION INTERMODALE : LA SYNESTHESIE

Nous prsentons ici les grandes lignes d'un trouble sensoriel encore mal compris, la synesthsie, qui a fait l'objet trs rcemment de deux revues dtailles (Grossenbacher et Lovelace, 2001 ; Rich et Mattingley, 2002).
1.4.1 - DEFINITION :
REPONDENT"
LORSQUE
"LES
PARFUMS, LES COULEURS ET LES SONS SE
Ce vers de Charles Baudelaire (Correspondances), illustre assez bien le phnomne de synesthsie (du grec syn : union et aisthesis : perception). Chez les sujets synesthtes, des sensations correspondant un sens (appel inducteur) voquent spontanment des sensations lies un autre sens (appel concurrent).
La synesthsie est une exprience perceptuelle consciente, concrte et involontaire et n'est pas un produit de l'imagination. Il existe de nombreuses formes de synesthsie qui mettent en jeu diffrentes combinaisons inducteur-concurrent avec des perceptions trs prcises. Par exemple, chez un sujet particulier, un got peut induire la sensation d'une forme gomtrique
19
spcifique dans sa main gauche. Certains synesthtes pourront parler de la couleur, de la forme ou de la saveur de la voix d'un locuteur ou d'une musique. Toutefois, les formes les plus rpandues de synesthsie - illustres par le pome d'Arthur Rimbaud, Voyelles - sont celles o un mot ou une lettre entendu induit la perception d'une couleur (Figure 5). Par ailleurs, l'exprience peut tre intra-modale : par exemple, la forme graphmique de mots, lettres ou chiffres induit une perception de couleur.
Figure 5. Illustration d'un cas de synesthsie. La perception de chacque caractre induit la sensation d'une couleur spcifique.
La synesthsie est un phnomne durable et robuste dans le temps : chez un sujet donn, la perception de la couleur rouge l'entente (ou la vue) de la lettre "B" sera reproductible. C'est galement un phnomne unidirectionnel : si la perception de la lettre "B" induit la couleur rouge, la couleur rouge n'induit pas la perception de la lettre "B".
20
1.4.2 - BASES NEURONALES DE LA SYNESTHESIE

Si des sensations synesthsiques peuvent survenir aprs la consommation de certaines drogues (haschisch, mescaline) ou des troubles neurologiques (crise pileptique, lsion), la synesthsie est gnralement de nature dveloppementale et apparat ds le plus jeune ge. Dans ce cas, elle est le plus souvent rencontre chez les femmes et est frquemment observe dans la descendance, ce qui suggre une prdisposition gntique. Bien que les bases neuronales de la synesthsie soient encore inconnues aujourd'hui, deux thories neurobiologiques ont t proposes pour rendre compte de ce phnomne : La premire suggre que la synesthsie pourrait tre due une connectivit anormale entre les aires crbrales des modalits sensorielles de l'inducteur et du concurrent. Chez de nombreuses espces, on constate l'existence la naissance, de connexions abondantes et exubrantes entre les diffrentes rgions crbrales sensorielles dont la plupart disparait avec la maturation du systme nerveux. Ainsi, nous serions tous synesthtes la naissance, et nous perdrions cette exprience perceptuelle avec la perte de connexions intermodales. L'exprience synesthsique pourrait tre due au maintien de ces connexions exubrantes au cours du dveloppement ou la cration de connexions neuronales "anormales" (Baron-Cohen et al., 1993). En revanche, Grossenbacher et Lovelace (2001) suggrent que la synesthsie n'est pas due au maintien ou la cration de connexions exubrantes mais un dysfonctionnement de connexions prsentes chez tout individu. Il s'agirait plus prcisment de dsactivation de connexions en retour (feedback) dans les voies neuronales "normales" provenant de zones de convergence intra- ou inter-modale. Cette hypothse s'appuie notamment sur l'observation mentionne plus haut, que le phnomne de synesthsie peut tre induit chez les non-synesthtes par la consommation de drogues qui agissent sur le cerveau en modifiant l'activit de rseaux neuronaux dj existants.
1.5 - CONCLUSION
Les tudes portant sur les illusions perceptives mais galement sur des situations multimodales non-illusoires (facilitation intersensorielle, effet de cibles redondantes)
21
mettent donc en vidence l'existence de processus d'intgration intermodale qui peuvent apparatre trs tt dans la chane de traitement sensoriel. Par ailleurs ces phnomnes apparaissent dpendre en partie des relations spatiales et temporelles existant entre les diffrentes informations unimodales, ainsi que de la tche effectuer sur les cibles bimodales (orientation, jugement d'intensit, dtection). Enfin, le phnomne de synesthsie suggre l'existence de connexions neuronales intra- et inter-modales qui, probablement, seraient galement prsentes chez les sujets non-synesthtes. Ces processus intgratifs ont un rle fondamental dans nos comportements quotidiens puisqu'ils facilitent la perception des vnements ou des objets forms d'lments de plusieurs modalits, en augmentant leur probabilit de dtection ou en amliorant leur identification. Si personne ne conteste aujourd'hui l'hypothse selon laquelle les phnomnes intgratifs reposent sur des interactions intersensorielles au sein du systme nerveux central, il reste dterminer o et quand, dans la chane de traitement, ces interactions prennent place, par quels mcanismes
neurophysiologiques et comment ces systmes d'interactions sont relis aux systmes dits modalit-spcifiques. Les tudes chez l'animal ont apport des lments fondamentaux pour la comprhension des bases neuronales de ces mcanismes intgratifs au niveau du neurone unitaire. Chez l'homme, les recherches neurophysiologiques portant sur ces processus sont beaucoup plus rcents. Mais avant d'exposer les donnes issues de ces diffrentes approches, nous ferons un rappel succint de l'organisation anatomique et fonctionnelle des systmes sensoriels auditif et visuel qui ont t l'objet de nos investigations.
22
CHAPITRE 2 - RAPPELS SUR

L'ARCHITECTURE NEURO-FONCTIONNELLE DES SYSTEMES AUDITIF ET VISUEL
Les organismes vivants sont en interaction constante avec leur environnement, ce qui ncessite une prise permanente d'informations afin de ragir de faon adquate aux vnements du monde extrieur. Cette prise d'information se fait par nos cinq sens (vue, audition, toucher, odorat, got) auxquels viennent s'ajouter la proprioception et le sens vestibulaire. Chacun de ces sens possde un type de cellules rceptrices sensibles une forme d'nergie spcifique : nergie lectromagntique pour les cellules photosensibles de l'il, nergie mcanique pour les cellules rceptrices de l'oreille (engages dans la perception auditive et l'quilibre) ainsi que pour celles lies au toucher, et nergie chimique pour le got et l'odorat. Ces systmes sensoriels ont en commun la capacit de transduction, c'est--dire la transformation des stimuli (lumire, onde sonore, pression mcanique, molcules) en signaux nerveux analysables par le systme nerveux central. Ces signaux se propagent jusqu'au cerveau via plusieurs relais o ils pourront tre traits et intgrs d'autres informations.
2.1 - LE SYSTEME VISUEL

La vision est considre comme le sens le plus dvelopp chez l'homme et reprsente le systme sensoriel le plus tudi. Les donnes lectrophysiologiques et lsionnelles chez l'animal et chez l'homme ont permis de mettre en vidence l'existence de plusieurs voies parallles de traitement de l'information visuelle, commenant ds la rtine et mettant en jeu des structures sous-corticales et un grand nombre d'aires corticales organises hirarchiquement.
23
2.1.1 - ORGANISATION GENERALE
La rtine Lorsqu'une personne regarde un objet, les rayons lumineux (qui ont frapp et se sont rflchis sur cet objet) pntrent dans l'il et traversent plusieurs milieux aqueux (corne, humeur aqueuse, cristallin, humeur vitre) avant d'atteindre la rtine qui tapisse la partie postrieure du globe oculaire (Figure 6A). La rtine est compose de trois couches de cellules successives, de telle sorte que la lumire traverse la couche de cellules ganglionnaires, puis celle de cellules bipolaires avant d'atteindre les cellules rceptrices (photosensibles) proprement dites, qui assurent la transduction de l'information lumineuse en signaux nerveux. Notons galement la prsence de deux types d'inter-neurones : les cellules horizontales qui relient les photorcepteurs aux cellules bipolaires et les cellules amacrines qui relient les cellules bipolaires aux cellules ganglionnaires. Enfin, l'arrire des cellules photosensibles, on trouve une couche de cellules contenant un pigment noir, la mlanine, charges d'viter la rflexion de la lumire et sa diffusion dans l'il (Figure 6B).
Figure 6. Globe oculaire (A) et dtails de la rtine (B). Les axones des cellules ganglionnaires se regroupent pour former le nerf optique qui se dirige vers le cerveau. (d'aprs Purves et al., 2001).
24
Les cellules rceptrices sont de deux types : les cnes, qui assurent la perception des formes et des couleurs, et les btonnets qui ont pour fonction principale la vision en lumire crpusculaire. Au centre de la rtine se situe la macula, et au centre de celle-ci la fova qui correspond la zone d'acuit maximale. Les cellules photosensibles projettent, via les cellules bipolaires, sur les cellules ganglionnaires dont les axones se regroupent pour former le nerf optique. Celui-ci transmet l'information jusqu'aux structures crbrales via le noyau gnicul latral dorsal du thalamus (NGLd). On distingue morphologiquement et
fonctionnellement trois types de cellules ganglionnaires : les cellules alpha (encore appeles cellules parasols ou Y), les cellules bta (midgets ou X) et les cellules gamma (W). Brivement, les cellules alpha possdent les plus gros corps cellulaires et semblent impliques dans la perception de contrastes de luminance et des variations rapides de contrastes, tandis que les cellules bta, de taille moyenne, semblent responsables de la vision des couleurs et de l'acuit visuelle. Enfin, les cellules gamma (plus petites et moins connues) joueraient un rle dans la perception des couleurs, mais pourraient galement avoir des fonctions spcialises comme la mesure de la direction des mouvements d'images sur la rtine. Nous verrons que ces trois types de cellules projettent respectivement sur des zones diffrentes du noyau gnicul latral et donnent naissance deux voies parallles de traitement visuel (Bullier, 1998 Casagrande, 1999). ;
Les fibres visuelles Les fibres visuelles vont emprunter des chemins diffrents selon leur origine rtinienne. Chaque rtine peut en effet tre divise en deux parties, nasale et temporale, la rtine nasale de l'il gauche et la rtine temporale de l'il droit tant stimules par les informations visuelles provenant de l'hmichamp visuel gauche, et inversement. Les nerfs optiques issus de chaque il convergent au niveau du chiasma optique. Ensuite, selon leur origine rtinienne (nasale/temporale), les fibres vont prendre des voies diffrentes et donner naissance aux bandelettes optiques : les fibres provenant des rtines nasales de chaque il changent d'hmisphre crbral tandis que les fibres issues des rtines temporales restent dans le mme hmisphre. Ainsi, les fibres issues de la rtine nasale de l'il gauche et celles issues de la rtine temporale de l'il droit (et captant les informations provenant du champ visuel gauche) empruntent la mme bandelette optique dans l'hmisphre crbral droit, et inversement (Figure
25
7). La plupart des axones issus des rtines se projettent au niveau du noyau gnicul latral ou au niveau du colliculus suprieur avant d'atteindre le cortex (voir plus loin).
Champ visuel droit Champ visuel gauche
rtine temporale rtines nasales rtine temporale nerf optique chiasma optique
bandelette optique
pulvinar noyau gnicul latral colliculus suprieur radiations optiques cortex visuel primaire
Figure 7. Schma des voies visuelles sous-corticales.
Organisation des aires visuelles Le systme visuel est compos d'une mosaque d'aires corticales se distinguant par leur cytoarchitecture, leurs connectivits et leurs fonctions. Notamment, la structure laminaire5 du cortex visuel primaire est caractrise par une couche 4 trs dveloppe qui peut tre subdivise en 4 sous-couches : 4A, 4B, 4C, 4C. La couche 4C est organise en colonnes de dominance oculaire : chaque colonne reoit
prfrentiellement les informations en provenance d'un il (soit ipsi- soit controlatral). Chacune de ces colonnes contient elle-mme un ensemble de colonnes
L'analyse cytoarchitectonique permet de diviser le cortex crbral en 6 couches en fonction de la morphologie et de la densit des neurones. Ces couches sont numrotes de 1 6 partir de la surface externe du cerveau. La couche 4 est dite granulaire tandis que les couches 2/3 et 5/6 sont respectivement dites supraet infra- granulaires.
5
26
d'orientation
qui
rpondent
prfrentiellement
une
orientation
spcifique.
Cette couche reoit les projections du NGLd et projette sur les couches 2/3. L'utilisation d'un marqueur (le cytochrome oxydase) a permis de mettre en vidence l'existence, au sein des couches 2/3, de "blobs", petites rgions caractrises par une plus forte intensit mtabolique (Horton, 1984). Cette technique de marquage a galement permis de mettre en vidence la structure en bande de l'aire visuelle V2 qui comprend des bandes dites paisses, des bandes fines ainsi que des inter-bandes ou bandes ples (Livingstone et Hubel, 1982). L'architecture du systme visuel a t tout d'abord dcrite de faon exclusivement hirarchique (Van Essen, 1979) avec des traitements de plus en plus avancs au fur et mesure de la progression dans la hirarchie. Cette conception s'est peu peu complexifie avec la dcouverte d'un grand nombre d'aires visuelles largement interconnectes au moyen de trois types de connexions cortico-corticales (Rockland et Pandya, 1979) : les connexions feedforward ou ascendantes qui relient une aire de bas niveau une aire de plus haut niveau et qui se projettent sur la couche 4 du cortex, les connexions feedback ou descendantes qui relient une aire de haut niveau une aire situe plus bas dans la hirarchie, et qui se projettent sur les couches supraet infra- granulaires en vitant la couche 4, et enfin, les connexions latrales qui relieraient des aires de mme niveau et qui se terminent sur l'ensemble des couches corticales. Ce tableau est d'autant plus complexe que les connexions entre deux aires sont gnralement rciproques. Ainsi, en 1991, Felleman et Van Essen distinguaient plus de trente aires impliques dans le traitement visuel chez le singe, rparties dans les lobes occipitaux, paritaux, temporaux et frontaux relis par prs de 200 connexions, la majorit tant rciproques.
27
Plusieurs voies de traitement On a montr l'existence de deux voies de traitement de l'information visuelle partir de la rtine: la voie rtino-gniculo-corticale qui transmet l'information de la rtine au cortex via le noyau gnicul latral dorsal, la voie rtino-tectale qui projette l'information de la rtine vers le colliculus suprieur (quivalent du tectum ou toit optique chez les non-mammifres) et le pulvinar. Par ailleurs, au sein de la voie rtino-gniculo-corticale on distingue deux voies parallles de traitement mettant en jeu une mosaque d'aires visuelles organises hirarchiquement : la voie dorsale (occipito-paritale) implique dans la localisation et le traitement spatial, la voie ventrale (occipito-temporale) implique dans l'identification d'informations visuelles.
2.1.2 - LA VOIE RETINO-GENICULO-CORTICALE
De la rtine au noyau gnicul dorso-latral (NGLd) Les connexions de l'il au NGLd et du NGLd au cortex sont organises topographiquement, c'est--dire que, quel que soit le niveau considr, il existe une organisation topique (rtinotopie) des projections de telle sorte que des cellules anatomiquement proches intgrent des informations issues de rgions proches dans le champ visuel. Environ 80 90 % des fibres issues du nerf optique projettent sur le NGLd. Chez le macaque comme chez l'homme, il est form de 6 couches de neurones notes de 1 6 en commenant par la plus superficielle (ou dorsale). Les deux couches ventrales sont composes de cellules pourvues de gros corps cellulaires : elles sont appeles couches magnocellulaires ou M. Les 4 couches plus dorsales sont composes de cellules petits corps cellulaires et sont appeles couches parvocellulaires ou P. Chaque couche n'est relie qu' un seul il : les fibres issues de
28
l'il ipsilatral se terminent dans les couches 2, 3 et 5, tandis que les fibres issues de l'il controlatral se terminent dans les couches 1, 4, et 6 (Figure 8). Enfin, le NGLd comprend galement des couches de neurones intralaminaires dites koniocellulaires ou K. Les trois types de cellules ganglionnaires issues de la rtine (cellules alpha, bta et gamma) et traitant diffrents types d'informations visuelles, projettent respectivement sur ces trois types de couches cellulaires M, P et K, assurant ainsi une certaine sgrgation du traitement de l'information qui sera maintenue jusqu'au cortex. Les fibres sortant du NGLd empruntent ensuite les radiations optiques qui projettent sur le cortex visuel primaire V1 (encore appele aire strie ou aire 17 de Brodmann) qui s'tend sur les deux lvres du sillon calcarin. Ainsi, le NGLd comme le cortex visuel de chaque hmisphre crbral reoit une reprsentation complte de l'hmichamp visuel controlatral. Notons galement que le NGLd reoit des projections du cortex stri qui pourraient avoir un rle dans la slection des informations transitant par le NGLd.
chiasma optique
noyau gnicul latral dorsal
ventral voie magnocellulaire voie parvocellulaire
cortex visuel primaire
Figure 8. Schma de la voie gniculo-strie. Le noyau gnicul latral est le principal site sous-cortical du traitement visuel. Les entres provenant des hmi-rtines (cellules ganglionnaires) de chaque il projettent sur diffrentes couches du NGLd (C = entres provenant de l'il contralatral ; I = entres provenant de l'il ipsilatral). Les projections des cellules ganglionnaires X et Y projettent respectivement sur les couches M et P du NGLd tandis que les cellules ganglionnaires W (non reprsentes ici) projettent sur les couches infralaminaires du NGLd. L'ensemble projette sur le cortex primaire.
29
Du NGLd au cortex : les voies dorsale et ventrale La sgrgation des informations relatives au domaine spatial d'une part, et la reconnaissance de forme d'autre part, qui commence ds la rtine se poursuit dans les niveaux de traitement plus levs. On a en effet montr l'existence chez le singe (Mishkin et al., 1983) et chez l'homme (Ferrera et al., 1992 ; Ungerleider et Haxby, 1994 ; Ffytche et al., 1995 ; Tootell et al., 1995) de deux voies corticales de traitement, appeles voie dorsale (occipito-paritale) et voie ventrale (occipito-temporale) (Figure 9).
Voie dorsale
Voie ventrale
Figure 9. Voies de traitement visuel chez le singe. Les lignes pleines correspondent aux connexions existant pour les reprsentations du champ visuel central et priphrique, les lignes pointilles correspondent aux connexions restreintes aux reprsentations du champ visuel priphrique En rouge apparaissent les aires crbrales appartenant la voie ventrale et en vert celles appartenant la voie dorsale. (D'aprs Ungerleider, 1995).
La voie dorsale qui rpond prfrentiellement la question "o" (voie du "where") est implique dans le traitement visuel spatial et serait domine par les projections de la
30
voie M issues du NGLd. Les couches M du NGLd projettent principalement sur la couche 4C de V1 qui projette son tour sur les bandes paisses de V2, V3 puis l'aire MT (responsable du traitement du mouvement) et le cortex parital (impliqu dans les interactions visuo-motrices, la perception d'objet en mouvement ainsi que le dplacement propre) (Figure 10). Les rgions FST (floor of superior temporal sulcus) et
MST
(medial superior temporal sulcus) appartenant au cortex temporal suprieur font
galement partie de cette voie dorsale. Paralllement, la voie ventrale qui traite principalement la question "quoi" (voie du "what") est implique dans le traitement de la couleur et de la reconnaissance de forme et serait domine par la voie P issue du NGLd : les couches P du NGLd projettent principalement sur la couche 4C de V1, qui projette sur les couches supragranulaires (2/3) avant d'atteindre les bandes ples de V2, V3 puis V4 (responsables du traitement des formes et de la couleur), et le cortex infro-temporal (impliqu dans la reconnaissance de forme et la vision fovale) (Figure 10). Cette sgrgation se poursuit jusque dans le cortex frontal. En effet, chez le singe, Bullier et collaborateurs ont montr que la voie ventrale projette sur la partie latrale du champ oculomoteur frontal FEF (frontal eye fields, aire 45) tandis que la voie dorsale projette sur les parties mdiale et latrale de FEF (aire 8a) ainsi que sur l'aire 46 (voir aussi, Wilson, 1993 ; Schall et al., 1995 ; Bullier et al., 1996) (Figure 9). Paralllement, chez l'homme, Ungerleider et collaborateurs (1998) ont mis en vidence une activation du cortex frontal infrieur dans une tche d'appariement de visages, et du cortex frontal suprieur dans une tche d'appariement de localisation. Bien que cette sparation fonctionnelle ait t largement documente, il semble que l'organisation des voies visuelles de traitement soit plus complexe. Des tudes chez le singe et chez l'homme ont en effet montr un grand nombre de connexions corticocorticales entre diffrentes aires visuelles appartenant ces deux voies (Felleman et Van Essen, 1991). Notons galement que les fibres issues des couches K du NGLd projettent directement sur les couches supragranulaires (2/3) de V1 au niveau des blobs, qui projettent sur les bandes fines de V2, puis sur V4 (Hendry et Reid, 2000). Par ailleurs, les blobs reoivent des entres provenant des couches 4C et 4B (innerves par la voie M) et de la couche 4C (innerve par la voie P) (Bullier, 1998). Enfin, les couches 5 et 6 de V1 projettent respectivement vers le colliculus suprieur et le NGLd. Par ailleurs, les aires V4 et, dans une moindre mesure, MT reoivent des entres provenant la fois des voies sous-corticales M et P (Maunsell et al., 1990 ; Ferrera et al., 1992, 1994a ; Ferrera et al., 1994b) ; les cellules K, projetant
31
principalement sur la voie ventrale, semblent galement jouer un rle dans le traitement du mouvement (Casagrande, 1994 ; Morand et al., 2000). Enfin, si le cortex parital postrieur est largement impliqu dans le traitement spatial, il aurait galement un rle dans la slection des effecteurs ncessaires la ralisation de la tche, autrement dit dans la prparation de l'action (Goodale et Milner, 1992 ; Calton et al., 2002), et c'est pourquoi certains auteurs parlent d'une composante "how" du cortex parital en regard sa composante "where".
Figure 10. Reprsentation schmatique des voies de traitement visuel de la rtine au cortex. NGLd : noyau genicul latral dorsal. (Modifi d'aprs Bullier, 1998).
32
Une organisation purement hirarchique ? L'hypothse d'un traitement purement squentiel de l'information visuelle, de la rtine aux aires visuelles les plus leves a t remise en cause notamment par l'observation des latences de rponses dans ces diffrentes aires. On a en effet mis en vidence des rponses simultanes d'aires neuronales appartenant diffrents tages du systme visuel (Bullier et Nowak, 1995 ; Schmolesky et al., 1998) (Pour revue voir Lamme et Roelfsema, 2000). Ces diffrences de latences peuvent en partie tre dues l'existence des voies M, P et K issues du NGLd. En effet, il a t montr que le transfert d'informations par la voie M tait plus rapide (de 10 20 ms) que celui effectu par la voie P, et que les neurones K ont une rponse retarde d'environ 10 ms par rapport aux neurones P. Par consquent les traitements effectus par les voies plus rapides (M-P) pourraient influencer ceux effectus par les voies plus lentes (P-K) au moyen de connexions feedback et latrales (Bullier et Nowak, 1995 ; Lamme et Roelfsema, 2000). Par ailleurs, l'inactivation de V1 entrane une inactivation de certaines aires visuelles situes dans des tages plus levs (V2, V3, V4) mais pas de toutes puisque les aires MT et STP, bien que prsentant une diminution de rponse, continuent tre actives (Girard et al., 1992). Ces donnes limitent donc l'hypothse d'une organisation purement hirarchique des aires visuelles.
2.1.3 - LA VOIE RETINO-TECTALE

Seulement 10 20% des fibres ganglionnaires (alpha et gamma) vont innerver le colliculus suprieur ( CS) o elles participent l'accommodation. Le colliculus suprieur innerve les couches koniocellulaires du NGLd (Harting et al., 1991) et le pulvinar, noyau thalamique connect de faon rciproque avec les aires visuelles stries et extrastries. Par ailleurs, le colliculus suprieur reoit des affrences des cortex sensoriels (notamment occipital et temporal) et associatifs ainsi que du champ oculomoteur frontal FEF ; il projette en retour sur les cortex associatifs, en particulier au niveau des aires paritales, et sur le FEF (voir Sommer et Wurtz, 2001). Une description plus dtaille du colliculus suprieur et de ses connexions sera donne dans le chapitre 3.
33
2.2 - LE SYSTEME AUDITIF

2.2.1 - TRANSDUCTION PERIPHERIQUE
La structure de l'oreille est gnralement dcrite en trois parties : externe, moyenne et interne (Figure 11). La partie externe assure la rception du signal. Elle est compose du pavillon dont la forme permet de capter et de concentrer les vibrations qui seront achemines travers le canal auditif vers l'oreille moyenne. Cette dernire constitue un appareil de transmission compos du tympan et des osselets. La membrane du tympan oscille sous l'effet des fluctuations de l'onde acoustique dans le conduit auditif. Le signal est alors amplifi et transform en vibrations mcaniques qui provoquent le mouvement des trois osselets : le marteau, l'enclume et l'trier. Le mouvement de l'trier transmet les vibrations l'oreille interne qui contient un liquide appel endolymphe permettant la transformation les ondes sonores en ondes de pression. Celles-ci vont tre transmises la cochle abritant l'organe de Corti qui repose sur la membrane basilaire.
Figure 11. Structure des rgions externe, moyenne et interne de l'oreille. (D'aprs Bear et al., 1997).
34
Sensibilit de la membrane basilaire au son La membrane basilaire est paisse et troite la base du limaon osseux que forme la cochle et s'largit progressivement en s'affinant vers le sommet ou apex. Une stimulation sonore provoque une onde qui se propage tout le long de la membrane basilaire. Pour chaque hauteur de son, il existe un point d'amplitude maximale sur la membrane : les sons de basses frquences induisent une amplitude maximale l'apex, tandis que les sons de frquences leves induisent une amplitude maximale la base. Autrement dit, il existe une reprsentation tonotopique dj au niveau cochlaire qui se maintient travers les diffrents noyaux relais jusqu'au cortex (Figure 12) (pour revue voir Ashmore et Gale, 2000 ; Purves et al., 2001).
Figure 12. Membrane basilaire et reprsentation tonotopique. En fonction de sa frquence, la vibration a un effet maximal (rsonance) en un point diffrent de la membrane basilaire
Organe de Corti et cellules cilies L'organe de Corti comprend deux types de cellules : une range de cellules cilies internes (CCI) et trois ranges de cellules cilies externes (CCE) (Figure 13). Ces cellules sont pourvues de strocils (d'o leur nom) qui, en prsence de mouvements liquidiens, sont tirs provoquant l'ouverture des canaux ioniques. Les ions potassium, trs concentrs dans l'endolymphe, vont migrer dans les cellules et provoquer leur excitation (dpolarisation) : c'est la transduction cochlaire.
35
Figure 13. Organe de Corti et cellules cilies internes et externes. (D'aprs Boisacq-Schepens et Crommelinck, 1996).
Lorsque les CCI sont dpolarises, elles librent un neurotransmetteur dans leurs synapses avec les fibres auditives, qui dclenche la transmission d'un message sous forme d'influx nerveux vers les tages suprieurs du systme nerveux central travers le systme affrent radial. Les messages sensoriels sont galement sous le contrle du systme effrent latral constitu de fibres peu nombreuses, issues de petits neurones du bulbe rachidien : ces fibres font synapses avec les CCI (Figure 14) (Pujol, 1990). Ce systme de rtroaction module le dpart des messages dans les fibres auditives et jouerait un rle inhibiteur limitant l'intensit des stimulations trop fortes. Les cellules cilies externes sont lies aux cellules de Deiters (cellules de soutien) qui sont elles-mmes ancres sur la membrane basilaire, de telle sorte que tout mouvement des CCE se rpercute sur la cloison cochlaire. Par ailleurs, leurs strocils sont solidaires de la membrane tectoriale (Figure 13). Ds qu'une onde de faible intensit atteint l'endolymphe, la membrane tectoriale se dplace impliquant le mouvement des strocils. Comme pour les CCI, ce mouvement induit une dpolarisation des cellules avec, pour consquence, leurs contractions.
Ces contractions vont rapprocher la membrane tectoriale de la membrane basilaire, rduisant ainsi l'espace liquidien et augmentant l'intensit de l'onde qui se propage (inversement proportionnelle la section du canal). La vibration est donc amplifie par 36
la contraction des CCE, et les CCI, moins sensibles, seraient leur tour stimules (pour revue voir Robles et Ruggero, 2001). Par ailleurs, ces CCE jouent aussi un rle important dans la discrimination des frquences, en amplifiant l'intensit de vibration d'une rgion troite de la membrane basiliaire selon la frquence du son.
Figure 14. Voies auditives priphriques. (D'aprs Pujol, 1990).
Les CCE sont faiblement connectes au systme nerveux central par l'intermdiaire du systme affrent latral (Figure 14). Par contre, elles reoivent des effrences relativement importantes du tronc crbral (systme effrent mdian) qui rguleraient les contractions de ces cellules en fonction d'informations pouvant provenir des structures les plus hautes du systme auditif (voir 2.2.3).
2.2.2 - LES VOIES AUDITIVES ASCENDANTES (FIGURE 15)
Relais sous-corticaux Le nerf auditif pntre dans le tronc crbral au niveau du bulbe rachidien pour atteindre le noyau cochlaire ipsilatral. Celui-ci peut tre subdivis en trois parties (dorsale, ventrale postrieure et ventrale antrieure) qui contiennent diffrentes populations de neurones, et dans lesquelles l'organisation tonotopique de la cochle est maintenue. Le signal atteint ensuite le complexe olivaire suprieur qui recueille l'information provenant des deux cochles (interfrence dichotique). Cette structure
37
traite les diffrences inter-aurales de temps et d'intensit qui jouent un rle fondamental dans la localisation des sources sonores. Les fibres issues de ce complexe empruntent ensuite le lemnisque latral et atteignent le colliculus infrieur dont l'organisation code l'espace auditif. De faon intressante, il a t trs rcemment montr que les rponses des neurones auditifs du colliculus infrieur sont modules par la position des yeux, suggrant une influence prcoce du systme visuel sur le traitement spatial de l'information auditive (Groh et al., 2001). Par ailleurs, le colliculus infrieur est dj impliqu dans le traitement de structures temporelles complexes des sons (rponse spcifique des sons moduls en frquence ou ayant une dure prcise). L'information atteint ensuite le noyau gnicul mdian du thalamus qui respecte toujours la distribution tonotopique (bandes d'iso-frquences) et qui est sensible aux combinaisons spectrales et temporelles. Enfin, il existe plusieurs aires corticales de projections organises hirarchiquement (Rauschecker, 1998 ; Wessinger et al., 2001). Notons que le noyau gnicul mdian reoit des affrences du colliculus suprieur qui fait partie de la voie intgrative visuelle. Son organisation topographique code galement l'espace sonore. En effet, des cellules rpondant aux stimuli sonores se trouvent dans les couches moyennes et profondes du CS. Par ailleurs comme on le verra dans le chapitre suivant, certaines cellules rpondant aux stimuli sonores sont galement sensibles aux stimuli visuels. Dans ce cas, les champs rcepteurs auditif et visuel concident permettant ainsi une reprsentation audio-visuelle de l'espace (voir 3.1.1). Il faudra moins de 20 millisecondes pour que les ondes sonores captes au niveau de l'oreille externe soient transmises au cortex auditif (Celesia, 1976 ; Liegeois-Chauvel et al., 1991).
38
Primary auditory cortex
Rostral midbrain
Medial geniculate complex of the thalamus
Inferior colliculus Caudal midbrain Nucleus of lateral leminiscus Ponsmidbrain junction
Mid-pons
Superior olive Cochlear nuclei

Dorsal Posteroventral Anteroventral
Auditory nerve
Cochlea
Spiral ganglion
Figure 15. Reprsentation des voies auditives ascendantes. (D'aprs Purves et al., 2001).
Aires auditives corticales De faon similaire ce qui est observ chez le macaque (voir Recanzone et al., 2000), le cortex auditif humain est compos d'une srie d'aires corticales (Celesia, 1976). On distingue principalement : les aires auditives primaires (aire 41 de Brodmann ou A1) situes dans les gyri temporaux transverses de Heschl.
39
les aires associatives primaires ou para-sensorielles qui entourent les cortex primaires (aire 42 de Brodmann)
et les aires associatives secondaires au sein des gyri temporaux suprieurs et sur une partie du planum temporal (aire 22 de Brodmann).
Les aires associatives reoivent des projections provenant du corps genouill mdian ainsi que du pulvinar, et sont connectes de faon rciproque avec les aires auditives primaires. Paralllement la reprsentation tonotopique de la cochle, des travaux chez l'animal (Merzenich et al., 1975 ; Imig et al., 1977 ; Recanzone et al., 2000) et des donnes lectromagntiques chez l'homme (Romani et al., 1982 ; Pantev et al., 1988 ; Bertrand et al., 1991 ; Tiitinen et al., 1993 ; Woods et al., 1993 ; Cansino et al., 1994 ; Verkindt et al., 1995) ont permis de mettre en vidence plusieurs organisations tonotopiques des cortex auditifs primaires et associatifs. Au niveau du cortex auditif primaire, les frquences basses sont projetes dans la partie rostrale, et les frquences leves en position caudale (Figure 16) (Imig et al., 1977). Outre les reprsentations tonotopiques, il existe une reprsentation orthogonale de la binauralit, avec des alternances de bandes rpondant la stimulation des deux oreilles (projection binaurale) et de bandes ne rpondant qu la stimulation de loreille controlatrale et inhibes par la stimulation de loreille ipsilatrale. Une organisation en colonnes, comparable celle rencontre dans le cortex visuel, existe donc galement au niveau du cortex auditif.
Figure 16. Schma des aires audtives chez l'homme. (A) cortex auditif primaire (bleu) et secondaire (rose) ; (B) reprsentation de l'organisation tonotopique du cortex primaire. (D'aprs Purves et al., 2001).
40
2.2.3 - LES VOIES AUDITIVES DESCENDANTES

Nous avons dj vu que le systme effrent mdian vhicule des projections feedback du tronc crbral sur les cellules cilies externes. Il existe en fait des voies effrentes tous les niveaux du systme nerveux, du cortex auditif jusqu la cochle. Elles suivent le chemin suivant : cortex auditif primaire, noyaux gniculs internes et colliculi infrieurs, complexe olivaire suprieur, noyaux cochlaires pour gagner les cellules cilies. Ces effrences, permettant un contrle en retour d'un relais sur le relais prcdent, pourraient intervenir dans le traitement slectif de sons, l'adaptation, la dtection du signal dans le bruit, l'amlioration de la discrimination, la protection contre la sur-stimulation ou le traitement attentionnel et ceci dj au niveau cochlaire (Pujol, 1990 ; Avan et Bonfils, 1992 ; Giard et al., 1994a ; Meric et Collet, 1994 ; Maison et al., 2001).
2.2.4 - LES VOIES AUDITIVES DORSALE ET VENTRALE

Paralllement ce qui a t observ dans la modalit visuelle, des travaux trs rcents chez le singe et chez l'homme suggrent l'existence de voies parallles de traitement auditif "what" et "where" issues du noyau thalamique relais (Figure 17) (Rauschecker, 1998 ; Bushara et al., 1999 ; Romanski et al., 1999 ; Weeks et al., 1999 ; Clarke et al., 2000 ; Rauschecker et Tian, 2000 ; Alain et al., 2001 ; Anourova et al., 2001 ; Wessinger et al., 2001). La voie "where" traitant les informations relatives au domaine spatial aurait son origine dans la partie caudale du gyrus temporal suprieur et projetterait vers la partie caudale du cortex prfrontal dorsolatral (dont le champ oculomoteur frontal FEF) via les aires paritales postrieures, qui sont galement impliques dans la localisation spatiale visuelle (Andersen et al., 1997 ; Bushara et al., 1999). Paralllement, la voie du "what" traitant les informations non-spatiales aurait son origine dans la partie rostrale du gyrus temporal suprieur et projetterait principalement vers la partie ventrale du cortex prfrontal via le cortex temporal suprieur (Romanski et al., 1999 ; Rauschecker et Tian, 2000).
41
Figure 17. Schma des voies "what" (rouge) et "where" (vert) dans le systme cortical auditif du primate. MGd et MGv : parties dorsale et ventrale du noyau gnicul mdian ; A1 : cortex auditif primaire ; R et CM : aires rostrolatrale et caudiomdiale, reprsentant le centre des aires auditives (core) ; CL, ML et AL : parties caudio-, mdio- et antro-latrale du cortex entourant le centre ( belt) ; PP: cortex parital postrieur ; PB :"parabelt cortex" ou cortex auditif associatif ; T2/T3 : 2me et 3me champs temporal ; PFC : cortex prfrontal. (D'aprs Rauschecker et Tian, 2000).
2.3 - CONCLUSION
Comme on l'a vu dans le chapitre 1, si des vnements ou des objets caractriss par des lments de plusieurs modalits sensorielles (et en particulier auditives et visuelles) peuvent donner naissance un percept unitaire, c'est que les informations traites par les diffrents systmes sensoriels doivent interagir "quelque part". Comment ces systmes apparemment indpendants cooprent-ils pour offrir une perception cohrente et unifie du monde environnant ? Nous avons voqu un exemple de cette coopration avec une influence du systme visuel sur le traitement spatial auditif. Nous allons maintenant examiner de faon plus approfondie, les mcanismes neuronaux qui permettent une telle collaboration.
42
CHAPITRE 3 - LES BASES NEURONALES

DE L'INTGRATION MULTIMODALE : TRAVAUX CHEZ L'ANIMAL
La convergence multisensorielle a t observe chez toutes les espces tudies, de l'organisme le plus primitif (unicellulaire comme la paramcie, un protozoaire sensible aux stimuli mcaniques, chimiques, thermiques et la lumire) jusqu'aux primates les plus volus.
3.1 - NEURONES MULTISENSORIELS

Un rsultat fondamental dans le domaine de l'intgration intermodale a sans aucun doute t la dcouverte de neurones dits multisensoriels du fait de leur capacit rpondre plusieurs stimuli de modalit diffrente. Ces neurones ont notamment t observs dans le colliculus suprieur (CS) - une structure sous-corticale engage dans les comportements d'orientation attentionnelle - ainsi que dans certaines rgions corticales.
3.1.1 - COLLICULUS SUPERIEUR
Organisation gnrale Les colliculi encore appels tubercules quadrijumeaux sont des structures appartenant au tronc crbral. On distingue les colliculi infrieurs et suprieurs, Nous avons vu que les premiers sont impliqus dans des traitements auditifs alors que les seconds sont principalement responsables des rflexes d'orientation visuelle (voir chapitre 2). Par ailleurs, le colliculus suprieur ( CS) est subdivis en 7 couches cellulaires : les plus superficielles (de 1 3) semblent impliques exclusivement dans le traitement d'informations visuelles tandis que les plus profondes (de 4 7) reoivent des projections visuelles mais galement auditives, somesthsiques et motrices. Par ailleurs, les neurones des couches profondes du CS projettent vers le thalamus
43
ainsi que vers des rgions motrices. Le CS constitue donc une zone de convergence des informations sensorielles (visuelles, auditives et/ou somesthsiques) qui peuvent tre issues dun mme objet ou d'un mme vnement et il peut gnrer un comportement d'orientation vers cet objet ou cet vnement par des projections vers les systmes prmoteur et moteur responsables du mouvement des yeux, de la tte, voire des moustaches et des oreilles selon lespce considre (Meredith et Stein, 1985).
Neurones multisensoriels dans le colliculus suprieur Les couches profondes du CS contiennent des neurones unimodaux rpondant des stimuli visuels, auditifs ou somesthsiques, et des neurones bi- ou tri-modaux qui rpondent des stimuli de deux ou trois modalits sensorielles diffrentes. Chacun de ces neurones multisensoriels possde plusieurs champs rcepteurs dvolus aux diffrentes modalits auxquelles il est sensible. Il n'existe pas de correspondance stricte entre ces diffrents champs rcepteurs mais, quelle que soit leur modalit, des stimuli issus de la mme source spatiale activent des neurones situs dans la mme rgion du CS (Kadunce et al., 2001)(Figure 18).
Figure 18. Rgions excitatrices et inhibitrices des champs rcepteurs d'un neurone multisensoriel type. En haut : les champs rcepteurs excitateurs visuel ( gauche) et auditif ( droite) sont gnralement entours d'une zone inhibitrice. En bas : reprsentation du chevauchement des champs rcepteurs visuel et auditif. (D'aprs Stein et Meredith, 1993, p.131).
44
Les neurones multisensoriels du CS non seulement forment une zone de convergence intermodale en rpondant diffrents types de stimuli sensoriels, mais ils ont une vritable capacit intgrative puisqu'ils accroissent leur taux de dcharge de faon multiplicative (jusqu' un facteur de 1000-1200) en prsence d'entres multimodales (comparativement leur rponses aux stimuli unimodaux prsents sparment) (Figure 19). Toutefois, Stein et son quipe ont montr que ces rponses intgratives dpendent de plusieurs rgles (Pour revue, Stein et Meredith, 1993 ; Stein et al., 1995).
Figure 19. Accroissement de la rponse audio-visuelle (VA) par rapport aux rponses unimodales visuelle (V) ou auditive (A). (D'aprs Meredith et Stein, 1986b).
U NIVEAU DU NEURONE UNITAIRE
Le caractre intgratif d'un neurone multisensoriel dpend de quatre rgles ou principes d'intgration : (1) la rgle de concidence spatiale est une consquence du chevauchement des champs rcepteurs unimodaux dans le neurone multisensoriel. Cette rgle stipule que, pour que la rponse de ces neurones multisensoriels puisse tre augmente, il faut que les composantes unimodales soient issues d'une mme source spatiale. Lorsque les stimuli unimodaux sont issus de sources loignes, la rponse est inchange voire diminue (response depression) : un neurone qui rpondait une stimulation isole aura une rponse significativement plus faible cette mme stimulation si un autre stimulus sensoriel est prsent distance et "tombe" par
45
consquent en dehors de la zone excitatrice de son champ rcepteur (Figure 20) (Meredith et Stein, 1986a, 1986b, 1996 ; Kadunce et al., 1997).
Figure 20. Dpression de la rponse audio-visuelle. L'application d'un stimulus auditif apparemment inefficace diminue fortement la rponse au stimulus visuel. (D'aprs Meredith et Stein, 1986b).
(2) de la mme faon, la rgle de concidence temporelle indique que lampleur de la rponse bi ou tri-modale est d'autant plus forte que les composantes unimodales sont temporellement proches ; en cas de disparit temporelle,
la rponse sera inchange ou attnue. Toutefois, les informations auditives atteignent le CS plus rapidement que les informations somesthsiques, qui transitent plus rapidement que les informations visuelles. Par consquent, les diffrentes informations issues d'un mme vnement activent les neurones multisensoriels diffrentes latences. Pour pallier cette "asynchronie", les stimuli induisent en gnral une activit neuronale qui dure suffisamment longtemps pour permettre un chevauchement des activits induites par les diffrentes composantes et donc leur intgration. Ce fonctionnement explique la "fentre temporelle" relativement large au cours de laquelle l'intgration multisensorielle est possible (Meredith et al., 1987). La dure de cette fentre dpend des combinaisons sensorielles et peut atteindre 1500 ms. Les effets d'interaction maximum sont obtenus lorsque les pics d'activation des dcharges unimodales se chevauchent. (3) la rgle dite d'efficacit inverse stipule que le gain d'activit neuronale induit par le stimulus bimodal est inversement proportionnel la saillance perceptive de chacune des composantes unimodales : si l'efficacit d'une entre sensorielle est forte, laugmentation dactivit induite par sa combinaison avec une composante d'une autre modalit sera faible, et vice-versa. Ainsi, un stimulus unimodal non peru (intensit infrieure au seuil de dtection) peut le devenir par ladjonction dune autre composante sensorielle elle-mme peu ou pas efficace (Meredith et
46
Stein, 1986b). Cette proprit est comportementalement trs intressante car elle permet d'augmenter la saillance (baisse du seuil de dtection) des stimuli peu efficaces. Ce phnomne peut expliquer les bonnes performances obtenues par des sujets hmingligents dans une tche de localisation (voir 1.2.1) (Frassinetti et al., 2002). (4) la rgle de prservation des champs rcepteurs indique que les champs rcepteurs des neurones multisensoriels gardent les mmes proprits pour les entres multimodales et unimodales, assurant ainsi la cohrence du monde sensoriel. Comme cela a t prsent au cours du premier chapitre, ces rgles dfinies au niveau du neurone unitaire s'appliquent aussi globalement aux mesures
comportementales chez lanimal et chez lhomme. En effet, les composantes unimodales sont plus aisment dtectes et identifies comme appartenant un mme objet si elles ont la mme origine spatiale et temporelle. Leur intgration, ou au contraire la diminution de la rponse en cas de disparit spatiale peut tre d'un intrt cologique considrable (Hughes et al., 1998). " the presence of wide temporal windows gives critical flexibility in detecting and responding to minimal, albeit important stimuli at different distances from the animal, and the appearance of maximal depression when spatially disparate stimuli are in close temporal proximity is a means of focusing attention on the strongest, and presumably the most important, stimulus in the presence of potential distractors. Both effects have an impact on vertebrate viability, and are likely to have been major factors in their survival and proliferation." Stein and Meredith (1993, p.147-148)
3.1.3 - AUTRES SITES D'INTEGRATION ET DE CONVERGENCE MULTISENSORIELLE

Des neurones multisensoriels ont galement t observs dans d'autres rgions sous-corticales chez l'animal, comme le noyau latral de l'amygdale, le putamen ou l'insula, ainsi qu'au niveau cortical dans des rgions dj dcrites comme tant des sites de convergence multisensorielle (Horster et al., 1989 ; Romanski et al., 1993 ; Benedek et al., 1996 ; Graziano, 2001). Parmi ces rgions corticales, on a dcrit chez le singe :
47
des rgions temporales comme le sillon temporal suprieur (STS) et l'aire polysensorielle temporale suprieure (STP) (Jones et Powell, 1970 ; Benevento et al., 1977 ; Bruce et al., 1981 ; Hikosaka et al., 1988 ; Watanabe et Iwai, 1991),
des rgions paritales dont le cortex parital postrieur qui a notamment un rle important dans la cration et le maintien d'un systme de rfrence spatiale travers les modalits sensorielles (vision, audition, toucher, sensation vestibulaire) (Pour revue, Andersen et al., 1997 ; Tees, 1999), avec notamment le sillon intraparital (IPS) dont l'aire intraparitale ventral (VIP) (Hyvarinen et Poranen, 1974 ; Iriki et al., 1996 ; Mazzoni et al., 1996 ; Duhamel et al., 1998 ; Cohen et Wessinger, 1999 ; Zhou et Fuster, 2000),
et certaines rgions frontales comme le cortex prmoteur qui semble impliqu dans l'initiation et le contrle de mouvement sur la base de signaux tactiles, visuels et auditifs (Benevento et al., 1977 ; Rizzolatti et al., 1981 ; Graziano et al., 1994 ; Graziano et Gross, 1998 ; Graziano et al., 1999).
Chez le chat, on a identifi des neurones multisensoriels dans : le sillon ectosylvien antrieur (AES) qui se subdivise en trois rgions modalitspcifiques (somesthsique, auditive et visuelle) aux frontires desquelles se situent les neurones multisensoriels, et le cortex latral suprasylvien (LS) qui constitue une structure principalement visuelle mais qui contient galement des neurones multisensoriels dans sa partie rostrale (Wallace et al., 1992 ; Stein et al., 1993). Comme le CS, ces rgions sont donc constitues la fois de neurones unimodaux et de neurones multisensoriels. Bien que Stein et collaborateurs aient montr que les neurones multisensoriels dans les rgions corticales AES et LS chez le chat et IPS et
STS
chez le singe rpondent globalement aux mmes rgles d'intgration que celles
dcrites au niveau du CS (Wallace et al., 1992 ; Stein et al., 1993), on a montr que les neurones multisensoriels du cortex (AES, LS) sont moins sensibles la disparit spatiale que ceux du CS : ils pourraient donc tre impliqus dans des fonctions intgratives distinctes (voir aussi 3.2.1) (Stein et Wallace, 1996). Par ailleurs, il faut noter que nombre d'tudes cites plus haut n'ont pas examin les capacits proprement intgratives (i.e. augmentation ou dpression de la rponse aux stimuli bimodaux) des neurones multisensoriels enregistrs.
48
3.2
CONNEXIONS
DES
SITES
DE
CONVERGENCE/INTEGRATION
MULTISENSORIELLE
3.2.1 - CONNEXIONS SUBCORTICO-TECTALES ET CORTICO-TECTALES

Le CS est connect plusieurs structures sous-corticales dont le colliculus infrieur, le pulvinar et le noyau gnicul dorso-latral qui, comme nous l'avons vu est un noyau relais des voies visuelles (voir chapitre 2) (Benevento et Fallon, 1975 ; Harting et al., 1991). Il reoit galement des entres ascendantes et descendantes provenant d'aires visuelles, auditives et somesthsiques (Huerta et Harting, 1984). En particulier, les travaux chez le chat ont rvl l'existence de connexions cortico-tectales entre les neurones unimodaux du sillon ectosylvien antrieur (AES) et du cortex latral suprasylvien (LS) et les neurones multisensoriels du CS. En revanche, les neurones multisensoriels de ces rgions corticales ne projettent pas sur ceux du CS (Figure 21) (Wallace et al., 1993 ; Wallace et Stein, 1994). Ceci suggre que les neurones multisensoriels dans le CS et dans le cortex appartiennent des circuits neuronaux distincts pouvant servir des fonctions intgratives diffrentes. Par ailleurs,
la dsactivation temporaire de ces structures corticales (AES et LS) par refroidissement a montr l'importance de ces connexions pour la gnration de rponses intgratives dans le CS (Wallace et Stein, 1994). En effet, la dsactivation d'AES et /ou de LS ne semble pas perturber les rponses des stimuli unisensoriels, mais l'effet facilitateur de stimuli bimodaux est supprim (Wilkinson et al., 1996 ; Jiang et al., 2001). Les neurones multisensoriels du CS reoivent galement des projections du cortex parital postrieur et du cortex frontal. Des connexions rciproques ont en particulier t observes avec le champ oculomoteur frontal FEF, chez le singe, le chat et le rat (Meredith, 1999 ; Guandalini, 2001 ; Hanes et Wurtz, 2001 ; Sommer et Wurtz, 2001). Cette rgion est implique dans le contrle visuomoteur et la coordination des mouvements des yeux et de la tte, avec notamment un rle dans l'initiation de saccades vers une cible pertinente (van der Steen et al., 1986). Par ailleurs, les donnes chez le singe montrent que le champ oculomoteur frontal FEF est galement connect de faon rciproque avec le sillon temporal suprieur et le sillon intra-parital (Huerta et al., 1987), et avec le pulvinar (Huerta et al., 1986 ; Sommer et Wurtz, 1998).
49
Figure 21. Organisation schmatique des rseaux multisensoriels dans le cortex et le CS chez le chat. 1 : neurones multisensoriels du CS qui reoivent des convergences des neurones unimodaux du cortex ; 2 : neurones multisensoriels indpendants appartenant AES et LS ; 3 : neurones multisensoriels du CS qui ne reoivent pas de convergence corticale. (D'aprs Wallace et al., 1993).
3.2.2 - CONNEXIONS CORTICO-CORTICALES
Aires polysensorielles Chez le singe, Lewis et Van Essen (2000) ont rapport un grand nombre de connexions cortico-corticales impliquant diffrentes rgions paritales dont LIP et VIP. Par exemple, laire VIP reoit des entres issues d'aires visuelles, auditives, somesthsiques, vestibulaires, motrices et polysensorielles (voir aussi Schroeder et Foxe, 2002). La partie ventrale de LIP connecte avec des aires traitant des informations spatiales (l'aire visuelle MT et l'aire caudiomdiale auditive), ainsi qu'avec le champ oculomoteur frontal FEF (Schall et al., 1995), tandis que sa partie dorsale est connecte avec des aires responsables du traitement des formes dans le cortex infro-temporal (voie visuelle du "quoi"). Paralllement, le STS reoit des projections des cortex parital, temporal et occipital (Seltzer et Pandya, 1994). Il est galement connect avec l'aire auditive associative secondaire (A22 de Brodmann) (Pandya et Seltzer,
50
1982). Enfin, l'aire polysensorielle temporale suprieure (STP) peut tre active par des entres auditives, visuelles et somesthsiques travers des connexions de type feedforward (Schroeder et Foxe, 2002). Toujours chez le singe, Graziano et collaborateurs ont dcrit un rseau d'aires polymodales interconnectes qui seraient impliques dans la perception de stimuli visuels, auditifs et tactiles en mouvement dans une rgion de l'espace proche du corps. Ce rseau, illustr par la Figure 22, comprendrait le putamen, le cortex prmoteur, VIP et l'aire paritale 7b (Graziano et Gross, 1998 ; Graziano, 2001). Enfin, comme nous l'avons vu prcdemment (voir chapitre 2), le cortex prfrontal qui aurait un rle dans lintgration temporelle reoit des projections des cortex sensoriels auditif et visuel (voir Gaffan et Harrison, 1991 ; Romanski et al., 1999 ; Fuster et al., 2000).
VIP (in sulcus) Polysensory Zone in Premotor cortex
7b
Putamen (subcortical) Figure 22. Localisation de quatre aires polymodales interconnectes chez le singe macaque. (D'aprs Graziano, 2001).
Aires modalit-spcifiques Comme leur nom l'indique, les cortex sensoriels primaires et secondaires ont longtemps t considrs comme exclusivement "modalit-spcifiques". Cependant, ds les annes 70, des tudes chez le chat avaient rapport que des entres auditives pouvaient activer des neurones bimodaux situs dans les aires 17, 18 et 19 du cortex visuel (Morrell, 1972 ; Fishman et Michael, 1973). Bien que ces rsultats aient t reus avec beaucoup de prcautions, l'existence de neurones bimodaux a t rcemment rapporte dans le cortex visuel (entre les aires 17 et 18a) chez le rat (Barth et al., 1995) et dans le cortex auditif chez le singe (Watanabe et Iwai, 1991).
51
Par ailleurs, des tudes ont montr l'existence de projections parses du cortex auditif vers laire visuelle 18 chez le rat et le chat (Miller et Vogt, 1984 ; Innocenti et al., 1988). Cependant, aucun rsultat similaire n'avait t observ chez le singe. Or, trs rcemment, l'utilisation de traceurs antrogrades et rtrogrades chez le singe a permis de mettre en vidence des projections directes du cortex auditif associatif sur les aires visuelles primaires et secondaires (Rockland et Ojima, 2001) ainsi que du STP et du cortex auditif primaire sur laire visuelle primaire (A17 de Brodmann) priphrique (Falchier et al., 2002). Ces projections du cortex auditif vers les aires visuelles primaires mettraient en jeu des connexions de type feedback et selon les auteurs, pourraient avoir un rle dans la "fovation" dune source auditive priphrique. Inversement, des enregistrements intra-corticaux raliss par Schroeder et
collaborateurs chez les singe ont montr que des entres auditives et somesthsiques pouvaient activer des neurones de la couche 4 du cortex auditif associatif postrieur (connexions de type feedforward) (Lindsley et al., 1999 ; Schroeder et al., 2001 ; Schroeder et Foxe, 2002). Des entres visuelles peuvent galement activer des neurones du cortex auditif associatif postrieur, mais au niveau des couches supraet infra-granulaires (connexions de type feedback) (Schroeder et Foxe, 2002). Ces rsultats suggrent que la convergence multisensorielle dans les aires unisensoriels peuvent intervenir des tapes du traitement de bas niveaux, travers des circuits feedback ET feedforward.
3.3- CONCLUSION
Les donnes recueillies chez lanimal apportent des lments fondamentaux pour la comprhension des mcanismes physiologiques des processus intgratifs au niveau du neurone unitaire et au niveau des connexions neuronales. Ces donnes suggrent notamment l'existence de circuits neuronaux distincts qui pourraient tre impliqus dans diffrentes fonctions intgratives. Ces rseaux impliquent des structures souscorticales, en particulier le colliculus suprieur, et des rgions corticales non modalitspcifiques (paritales, temporales et frontales) ainsi que modalit-spcifiques.
52
CHAPITRE 4 - ETUDES
NEUROPHYSIOLOGIQUES DE L'INTEGRATION MULTISENSORIELLE CHEZ LHOMME
Malgr le caractre multimodal de la plupart de nos perceptions quotidiennes et les nombreuses tudes comportementales qui leur ont t consacres (voir chapitre 1), ce n'est que trs rcemment que les recherches ont port sur les bases neurophysiologiques de l'intgration multisensorielle chez l'homme. Ce dveloppement tardif peut s'expliquer en partie par la difficult apprhender ces questions en raison de la complexit spatio-temporelle des interactions bimodales, et par la disponibilit seulement rcente des techniques d'imagerie crbrale. Les donnes rapportes ici concernent des mesures lectromagntiques (potentiels voqus (PE/EEG) et magnto-encphalographie (MEG)) et hmodynamiques et mtaboliques (tomographie par missions de positons (TEP) et imagerie par rsonance magntique fonctionnelle (IRMf)). Les premires offrent une trs bonne rsolution temporelle des phnomnes observs (de l'ordre de la milliseconde) alors que les secondes ont une meilleure rsolution spatiale. Ces deux types de mesures sont donc complmentaires ; cette complmentarit est cependant encore trs peu investie ce qui ne permet pas de comparaisons directes des rsultats obtenus par ces diffrentes approches. Outre cette diversit mthodologique, il est difficile de synthtiser les donnes disponibles en raison de la variabilit due aux modalits sensorielles examines (visuelle et/ou auditive et/ou somesthsique), aux protocoles mis en oeuvre (observation passive, dtection, discrimination et identification, localisation, apprentissage ), et aux types de stimulations utilises (stimuli congruents ou non-congruents, parole, objets). Une diffrence majeure galement prendre en compte concerne le type d'analyses effectues. Nous distinguerons en effet les tudes utilisant une analyse par intersection et les tudes utilisant une analyse par interaction. Les premires pourront mettre en vidence des aires crbrales de convergence intersensorielle, c'est--dire pouvant tre actives par des informations de plusieurs modalits (par exemple, l'image d'un
53
chien et un aboiement). En revanche, les secondes examinent les interactions multisensorielles proprement dites, c'est--dire les activits lies spcifiquement au caractre bimodal du stimulus. Par ailleurs, les tudes portant sur l'intgration dans le domaine de la parole bimodale seront traites sparment tant donn le caractre particulier du langage chez l'homme.
4.1 - ETUDES
INTERSENSORIELLE
PAR
INTERSECTION
ZONES
DE
CONVERGENCE
Dans ce type d'tudes, les sujets sont gnralement enregistrs dans plusieurs conditions exprimentales spares manipulant chacune une modalit sensorielle. Les images d'activits crbrales sont alors compares afin de dterminer les rgions communes actives dans toutes les conditions exprimentales. Cette technique permet donc de mettre en vidence des aires polymodales, mais elle ne permet pas de distinguer les activations dues diffrentes populations de neurones unimodaux qui coexisteraient au sein d'une mme rgion, de celles dues des neurones multisensoriels proprement dits qui rpondraient individuellement plusieurs modalits sensorielles. Une autre approche est de contraster les rponses aux stimuli unimodaux (par exemple auditifs (A) ou visuels (V)) celles obtenues pour des stimuli bimodaux (audio-visuels (AV)) afin de dterminer les rgions crbrales prsentant une rponse plus ample au stimulus bimodal qu' l'un ou l'autre des stimuli unimodaux. Dans le cas de stimulations audio-visuelles, il s'agirait donc d'extraire les activits crbrales correspondant la conjonction des deux contrastes (AV-V) et (AV-A), soit [(AV-V) I (AV-A)]. Toutefois, comme le signale Calvert (2001), si les activits bimodales reprsentent la somme linaire des activits unimodales, et que les deux diffrences, (AV-V) et (AV-A), sont significatives, alors, comme prcdemment, les rgions mises en vidence par cette analyse peuvent correspondre des zones de simple convergence intersensorielle.
4.1.1 - APPARIEMENT VISUO-TACTILE

Une tche souvent utilise pour l'tude des processus visuo-tactiles est l'appariement de stimuli dans les deux modalits sensorielles. Par exemple dans une tude TEP, Hadjikhani et Roland (1998) ont demand des sujets de dterminer si deux objets tri-dimensionnels possdaient la mme forme. L'exprience comportait trois conditions
54
exprimentales : deux conditions intramodales dans lesquelles les deux objets taient soit prsents visuellement (sur un cran) soit explors manuellement, et une condition intermodale o l'un des objets tait prsent visuellement et l'autre tactilement. L'analyse des images TEP a permis de mettre en vidence une rgion spcifiquement active dans le transfert d'informations intermodales, au niveau de l'insula/claustrum droit confortant ainsi des donnes lsionnelles obtenues chez le singe (Horster et al., 1989). Cependant, dans une tude similaire - les sujets devaient dterminer si la courbure d'un arc de cercle mtallique (explor manuellement) correspondait l'un des 4 cercles (de diamtres diffrents) prsents simultanment sur un cran -, Banati et collaborateurs (2000) ont observ un rseau beaucoup plus large incluant le cortex cingulaire antrieur, le lobule parital infrieur, le cortex prfrontal dorso-latral et nouveau, l'insula/claustrum. Plus rcemment, Grefkes et collaborateurs (2002), dans une tude IRMf, n'ont pas observ d'activation au niveau de l'insula mais ont montr une implication du cortex parital postrieur, et plus prcisment dans la partie antrieure du sillon parital infrieur (IPS) qui pourrait avoir un rle dans la mmorisation de formes tri-dimensionnelles. En effet, dans leur tche, les sujets devaient mmoriser la forme d'un stimulus prsent soit visuellement (sur un cran) soit tactilement (exploration manuelle), et dterminer si un deuxime stimulus prsent ensuite, toujours visuellement (V) ou tactilement (T), correspondait au premier. Les appariements effectuer taient donc soit intramodal (VV ou TT), soit intermodal (VT ou TV). La partie antrieure du sillon parital infrieur tait active de faon plus importante dans les conditions intermodales qu'intramodales. La disparit des rsultats obtenus dans ces tudes peut tre en partie explique par les diffrences de protocoles et de techniques utilises (PET versus IRMf). Notamment, les stimuli visuels et tactiles taient prsents simultanment dans les expriences d'Hadjikhani et Roland (1998) et de Banati et al. (2000) alors qu'ils taient prsents successivement dans la tche de Grefkes et al. (2002).
4.1.2 - TACHES DE DETECTION ET PERCEPTION PASSIVE

Dans une autre tude IRMf base sur l'analyse par intersection, Downar et collaborateurs ont montr l'existence d'un rseau d'aires crbrales commun aux trois modalits (auditive, visuelle et somesthsique) qui serait impliqu dans la dtection dun changement soudain dans lenvironnement sensoriel (orientation involontaire de lattention) (Downar et al., 2000). Dans cette exprience, les sujets "observaient"
55
passivement trois stimuli (un de chaque modalit) qui taient prsents simultanment et de faon rptitive. Le stimulus visuel tait une forme abstraite rouge ou bleue, le stimulus sonore un bruit de pluie ou un croassement de grenouille, et le stimulus somesthsique un mouvement circulaire ou un "tapotement" effectu avec une ponge sur la jambe du sujet. De temps autre, l'un des trois stimuli tait remplac par son homogue (par exemple, la forme rouge tait remplace par la forme bleue). Les rsultats ont mis en vidence un rseau commun impliquant la jonction temporoparitale, le gyrus frontal infrieur, linsula ces activations tant plus importantes au niveau de lhmisphre droit -, ainsi que laire motrice supplmentaire et laire cingulaire gauche. Par ailleurs, en utilisant une tche o les sujets devaient rapporter si un changement avait effectivement eu lieu dans une modalit particulire (visuelle ou auditive), ces mmes auteurs ont montr que la jonction temporo-paritale ainsi que l'aire cingulaire antrieure sont impliques de faon prfrentielle dans la dtection de changement sonore ou visuel lorsque la modalit est pertinente pour la ralisation de la tche (Downar et al., 2001). Enfin, un rseau trs similaire serait galement activ dans le traitement de la nouveaut quelle que soit la modalit sensorielle impliqu (auditive, visuelle ou somesthsique) (Downar et al., 2002) (Figure 23). A la lumire de ces rsultats, les auteurs ont suggr que la jonction temporoparitale, le gyrus frontal infrieur, l'aire cingulaire antrieure et l'insula antrieure seraient engags dans la dtection d'vnements sensoriels, les activations tant d'autant plus fortes que ces vnements seraient perceptivement saillants (des stimuli nouveaux tant plus saillants que des stimuli familiers).
TPJ
IFG
Ant. Insula
X -7
Figure 23. Localisation des rgions multimodales prsentant une rponse plus fortes pour les stimuli nouveaux que pour les stimuli familiers. TPJ : jonction temporo-paritale droite, IFG : gyrus frontal infrieur droit, LACC : cortex cingulaire antrieur gauche. (D'aprs Downar et al., 2002).
L ACC
56
Ces rsultats peuvent tre rapprocher des observations relatives au syndrome d'hmingligence. En effet, ce syndrome est le plus souvent observ la suite d'une lsion du cortex parital droit, et en particulier de la jonction temporo-paritale droite, et se caractrise par une incapacit ragir ou traiter des stimuli sensoriels (visuels, auditifs, tactiles, olfactifs) prsents dans l'hmichamp contro-latral la lsion (Friedrich et al., 1998). Par ailleurs, ces patients prsentent galement souvent des lsions au niveau de l'insula et/ou des cortex frontal dorsal et temporal suprieur (Driver et Mattingley, 1998 ; Kerkhoff, 2001). Par le mme type d'analyse IRMf, Foxe et collaborateurs (2002) ont montr que des informations auditives et somesthsiques pouvaient converger au niveau du cortex auditif, le long du gyrus temporal suprieur (Figure 24). Dans leur expreince les sujets observaient passivement des stimuli auditifs et somesthsiques prsents de faon spare. Ces rsultats s'accordent avec des donnes rcemment obtenues chez le singe et qui ont t dcrites dans le prcdent chapitre : partir d'enregistrements intracrniens, Schroeder et collaborateurs ont en effet montr une convergence des informations somesthsiques et auditives au niveau du cortex auditif associatif (Schroeder et al., 2001 ; Schroeder et Foxe, 2002).
Figure 24. Activations obtenues par la prsentation de stimuli auditifs (A) et somesthsiques (B) projetes sur une reprsentation 3-D de l'hmisphre gauche. L'chelle de couleur reprsente les valeurs significatives de p<0.05 (rouge) p<0.01 (jaune). Rgion de chevauchement de ces deux cartes au niveau de la portion postrieur du cortex auditif (C) et sur des coupes axiale et coronale (D). (D'aprs Foxe et al., 2002).
57
4.1.3 - TRAITEMENT INTERMODAL DU MOUVEMENT

Dans une autre tude IRMf, Lewis et collaborateurs (2000) ont dcrit l'existence d'un rseau commun activ lors du traitement de cibles auditives (sons purs de 300Hz) et visuelles (points lumineux) en mouvement. L'exprience tait constitue de deux conditions, l'une visuelle et l'autre auditive, o les sujets devaient juger de la rapidit du mouvement des cibles. Les rsultats ont mis en vidence un rseau trs proche des activations rapportes dans les tches de dtection et de perception passive voques plus haut. En effet, ce rseau mettrait en jeu le cortex parital latral (incluant le sillon parital infrieur), le cortex frontal latral, le gyrus frontal suprieur et l'insula antrieure. L'implication du sillon parital infrieur et de rgions frontales dans le traitement de stimuli en mouvement, quelle que soit leur modalit sensorielle, a t confirme par Bremmer et collaborateurs (2001) dans une tche d'observation passive de stimuli auditifs (sons purs de 500Hz), visuels (points lumineux) et tactiles (courants d'air sur le front des sujets) en mouvement (Figure 25). Ces donnes rpliquent au moins partiellement les rsultats obtenus chez le singe, prsents dans le chapitre prcdent (Figure 22) (Graziano, 2001).
Figure 25. Localisation des rgions multimodales sensibles au mouvement. 1 : aire paritale postrieure localis au fond du IPS, 2 : rgion frontale correspondant au cortex prmoteur ventral, 3 : cortex post-central infrieur latral. (D'aprs Bremmer et al., 2001).
58
4.1.4 - ZONES DE CONVERGENCE EMOTIONNELLE

Les comportements de survie tel que l'vitement (fuite devant un danger) ou l'approche (recherche de nourriture) sont guids par des rponses motionnelles induites par des stimuli extrieurs. Sans dvelopper les travaux portant sur ces phnomnes motionnels, nous pouvons citer une tude TEP qui a cherch mettre en vidence un rseau commun activ indiffremment par des stimuli motionnels auditifs, visuels et olfactifs (Royet et al., 2000). Pour cela, les sujets taient soumis une tche de jugement hdonique de stimuli visuels, auditifs ou olfactifs (plaisants, dplaisants ou neutres) prsents au cours de diffrents scans successifs. Une analyse par conjonction a mis en vidence un rseau neuronal engag dans le traitement motionnel, commun aux trois modalits. Ce rseau implique le cortex orbito-frontal, le pole temporal et le gyrus frontal suprieur dans l'hmisphre gauche et serait activ en plus de circuits neuronaux modalit-spcifiques.
4.2 - INTERACTIONS MULTISENSORIELLES (informations non-langagires)

Afin d'estimer les interactions neuronales lies au traitement bimodal proprement dites, c'est--dire les activits qui ne seraient pas induites par les modalits considres sparment (par exemple, auditive A ou visuelle V), mais qui seraient spcifiquement lies au caractre bimodal des stimuli (AV), une mthode frquemment utilise consiste soustraire la somme des activits unimodales (A+V) des activits obtenues en condition bimodale (AV). Cette mthode soustractive doit cependant tre utilise avec prcautions dans les diffrentes techniques d'imagerie employes. En effet, toutes les activits qui seraient communes toutes les conditions de stimulation (unimodales et bimodales) seraient ajoutes une fois et soustraites deux fois dans la diffrence [AV-(A+V)], et pourraient donc tre interprtes tort comme des interactions bimodales alors qu'elles ne reprsenteraient que des zones de convergence ou des processus communs engags dans toutes les conditions exprimentales (par exemple la prparation motrice et les processus lis la rponse, si une rponse est demande) Des solutions pour s'affranchir de ces activits ou processus communs sont (1) l'utilisation de conditions contrles adaptes, ou (2) dans le cas des techniques forte rsolution temporelle (potentiels voqus et MEG), la restriction de l'analyse une fentre temporelle (latence) relativement courte pendant laquelle le traitement concerne essentiellement l'analyse sensorielle proprement dite du stimulus (pour plus de dtails, voir chapitre 6).
59
4.2.1 - INTEGRATION AUDIO-VISUELLE

En 1999, Giard et Peronnet publiaient une tude lectrophysiologique mettant en vidence des interactions neuronales audio-visuelles dans une tche de
reconnaissance d'objets bimodaux. Deux objets, A et B, taient utiliss. Chaque objet tait dfini par la dformation dun cercle en ellipse associe un son (ellipse horizontale et son grave pour l'objet A et ellipse verticale et son aigu pour l'objet B). Les deux objets taient prsents alatoirement soit par l'une ou l'autre de leurs composantes unimodales seule (auditive ou visuelle), soit de faon bimodale. La tche des sujets tait d'identifier chaque essai quel objet, A ou B, avait t prsent en pressant un bouton parmi deux. Comme on l'attendait des prdictions
comportementales, les sujets taient plus rapides pour catgoriser les objets prsents en condition bimodale que dans l'une ou l'autre des conditions unimodales. Par ailleurs, certains sujets avaient rapport spontanment aprs l'exprience qu'il leur tait plus facile, en condition unimodale, d'identifier les objets prsents visuellement que les objets prsents par leur composante sonore, alors que d'autres sujets (en gnral ceux qui avaient une exprience musicale, mme limite) estimaient l'inverse. Les sujets ont donc t spars en deux groupes sur la base de leur temps de raction le plus court pour identifier les objets unimodaux, et les interactions audio-visuelles ont t analyses sparment chez les sujets dominance visuelle (TR visuel < TR auditif) et chez les sujets dominance auditive (TR auditif < TR visuel). Ces interactions ont t estimes dans la diffrence entre les potentiels voqus par les stimuli bimodaux et les somme de potentiels voqus pour les stimuli unimodaux [AV(A+V)]. Les rsultats ont montr l'existence de plusieurs patterns dinteractions neuronales commenant trs tt, ds 40 ms aprs la stimulation, et affectant les cortex sensoriels spcifiques auditifs et visuels, ainsi que la rgion temporo-frontale droite. De faon intressante, les effets diffraient partiellement en fonction de la dominance sensorielle des sujets (Figure 26) : les sujets dominance auditive (mais non les sujets "visuels") prsentaient des patterns dinteractions significatifs entre 40 et 140 ms dans les aires visuelles postrieures peu ou pas actives par les stimulations unimodales (colonne 1), en revanche, les sujets "visuels" (mais non les sujets "auditifs") prsentaient des interactions significatives entre 90 et 105 ms dans les rgions temporales. La latence et la topographie de ces interactions taient similaires celle de l'onde
60
N1 auditive et suggraient donc une activit accrue du cortex auditif induite par lajout dune information visuelle (colonne 2). Autrement dit, aux latences prcoces (< 150 ms), les interactions dans les cortex sensoriels spcifiques taient plus importantes dans le cortex de la modalit "la plus faible". Par ailleurs : tous les sujets prsentaient les mmes interactions dans les rgions temporofrontales droites (entre 140 et 165 ms) (colonne 3), et enfin, tous les sujets prsentaient une diminution de l'amplitude de l'onde visuelle N1 (ou N185) interprte comme une facilitation du traitement visuel (moins d'nergie visuelle engage) en prsence d'une composante sonore (colonne 4).
Figure 26. Interactions audio-visuelles observes par Giard et Peronnet (1999). Les distributions de potentiel analyses sparment chez les sujets dominance auditive (en haut) et visuelle (en bas) montrent que les interactions neuronales [AV-(A+V)] (illustres la latence indique au-dessus des cartes) sont plus importantes dans les cortex de la modalit sensorielle non-dominante. Elles sont similaires chez tous les sujets dans les aires temporo-frontales droites non spcifiques.
Ces rsultats mettent donc en vidence une coactivation interactive trs prcoce des traitements sensoriels, dj dans les cortex modalit-spcifiques et bien avant les tapes motrices (sans pour autant exclure une facilitation ce niveau). Par ailleurs ils montrent que les rseaux neuronaux impliqus dans ces processus sont trs flexibles puisqu'ils s'adaptent aux capacits sensorielles des sujets pour la tche effectuer. L'observation d'effets aussi prcoces (ds 40 ms) dans le cortex visuel tait inattendue et les rsultats ont t reus avec beaucoup de circonspection. En particulier, Teder-Slejrvi et collaborateurs (2002) ont suggr que ces effets trs prcoces pourraient tre dus des ondes d'anticipation du stimulus, du type Variation
61
Contingente Ngative (VCN), prsentes dans toutes les conditions exprimentales et donc non annules dans la diffrence [AV-(A+V)]. Bien que cette hypothse soit thoriquement plausible, Teder-Slejrvi et collaborateurs n'ont pu mettre en vidence de tels effets d'anticipation qu'en utilisant des conditions expriementales trs particulires par rapport l'tude de Giard et Peronnet (1999)6. Par ailleurs, l'observation d'effets aussi prcoces dans le cortex visuel a t confirme par d'autres auteurs : dans une tche de simple dtection de stimuli auditifs et/ou visuels, Molholm et collaborateurs (2002) ont observ des interactions dans le cortex visuel ds 45 ms aprs la stimulation. Des analyses complmentaires spcifiques leur ont permis d'exclure une possible influence de phnomnes d'anticipation sur ces effets prcoces (Figure 27).
Figure 27. Interactions audio-visuelles prcoces observes par Molholm et al. (2002). A gauche : carte de potentiel la latence du pic de l'effet (56 ms) et tracs des PE aux stimuli bimodaux AV (rouge), somme des rponses unimodales A+V (bleu) et diffrence AV-(A+V) (vert), enregistrs partir d'une lectrode occipito-paritale (point noir). A droite : carte de potentiel obtenue la mme latence en condition visuelle seule (V). (D'aprs Molholm et al., 2002).
Les interactions bimodales prcoces observes dans le cortex visuel pourraient s'expliquer de deux faons non exclusives :
Les diffrences entre les observations de Teder-Slejrvi et al. (2002) et celle de Giard et Peronnet (1999) peuvent s'expliquer par les diffrences de protocoles. Dans l'tude de Teder-Slejrvi et al., les sujets devaient raliser une tche de discrimination rapide et difficile, entre des stimuli ayant un temps de prsentation trs court (33 ms) et se succdant rapidement (intervalle interstimulus (ISI) de 600 800 ms). Dans ce cas, les performances des sujets peuvent tre largement augmentes par des processus d'anticipation, visibles galement dans la morphologie de PE (figure 3 dansTeder-Slejrvi et al., 2002). En revanche, dans l'tude de Giard et Peronnet, les stimuli taient prsents pendant 240 ms avec un ISI beaucoup plus "confortable" (TR + 1350 ms), limitant de ce fait la ncessit de recouvrir des processus d'anticipation comme en tmoignent les PE (figure 4 dans Giard et Peronnet, 1999).
6
62
le cortex auditif (qui reoit des affrences ds 15-20 ms aprs la stimulation) pourrait activer des rgions polymodales (telles que STS, IPS) qui, via des connexions en retour, moduleraient l'activit du cortex visuel,
le cortex auditif pourrait moduler directement l'activit du cortex visuel par des connexions directes telles que celles dcrites par Falchier et al. (2002) et Rockland et Ojima (2001) chez le singe.
Suivant une autre approche, Schrger et Widmann (1998) ont utilis une tche de type oddball7 au cours de laquelle les sujets devaient dtecter des changements de position de cibles auditives et/ou visuelles (protocole dcrit 1.2.2). Conformment aux donnes de la littrature, les temps de raction taient plus courts lorsque les deux composantes du stimulus taient dplaces, impliquant une interaction des traitements auditifs et visuels entre ltape d'encodage de linformation et lexcution de la rponse motrice. Les auteurs nont pas observ dinteraction avant 180 ms post-stimulus, mais ont montr des diffrences entre la somme des rponses unimodales et le potentiel bimodal aprs la Mismatch Negativity (MMN), au niveau de londe N2b. Ils concluent que dans leur protocole, les interactions bimodales sont gnres "aprs lanalyse sensorielle et avant la rponse motrice", et interprtent labsence dinteractions un niveau prcoce de traitement par le recours des processus de mmorisation (MMN) pour dtecter les cibles. Notons cependant que londe N2b reflte des processus non-spcifiques. Une diffrence entre la rponse bimodale et la somme des rponses unimodales ce niveau pourrait "simplement" traduire la mise en jeu de processus communs aux deux modalits sensorielles (zone de convergence et non
ncessairement dintgration). L'utilisation d'un protocole d'IRMf vnementielle n'a pas permis Calvert et collaborateurs (2001) d'observer d'effets spcifiques dans les cortex sensoriels auditif ou visuel dans le traitement de stimuli bimodaux, peut-tre pour des raisons lies la sensibilit de la technique employe (en particulier sa rsolution temporelle insuffisante). Les sujets devaient percevoir passivement un damier qui s'inversait
Une tche de type oddball consiste prsenter, au cours dune succession de stimuli identiques standards, des stimuli rares (gnralement 5 15 %) dviant sur un ou plusieurs trait(s) physique(s) (par exemple dans un paradigme visuel : taille, couleur, position dans lespace...). Ces paradigmes dans la modalit auditive permettent denregistrer la Mismatch Negativity (MMN) une onde de potentiels voqus obtenue dans la diffrence entre les PE aux stimuli standards et les pe aux stimuli dviants. La MMN est maximum entre 100 et 200 ms post-stimulus sur les rgions fronto-centrales et semble en grande partie gnre dans le cortex supratemporal auditif [Ntnen, R. (1992). Attention and Brain Function. Hillsdale, NJ.]. Elle peut tre observe en labsence dattention et reflte donc un traitement automatique de discrimination auditive (dtection de la dviance) au sein du cortex auditif.
7
63
priodiquement toutes les 125 ms et/ou un stimulus sonore (bruit blanc de 100 ms) rpt avec un ISI de 25 ms. Grce des priodes ON/OFF diffrentes pour les stimuli auditifs (39s) et visuels (30s), le paradigme (Figure 28) mettait en jeu 4 conditions de stimulations se succdant de faon pseudo-alatoire : deux conditions unimodales o seule l'information auditive ou visuelle tait disponible, une condition bimodale o les deux informations taient prsentes simultanment et une condition contrle durant laquelle aucun stimulus n'tait prsent.
Figure 28. Paradigme exprimental utilis par Calvert et al. (2001). Le stimulus visuel (bleu) est prsent toutes les 30s pendant 30s alors que le stimulus auditif est prsent toutes les 39s pendant 39s. Ce paradigme induit des priodes pseudo-alatoires de stimulation unimodale (A ou V), bimodale (AV) (indiques par les barres grises) et contrle (ni A, ni V). (D'aprs Calvert et al., 2001).
Par ailleurs, les sujets taient soumis deux sessions exprimentales. Dans la premire, la condition bimodale tait synchrone (le dbut du son tait synchronis sur l'inversion du damier) et dans la seconde, elle tait asynchrone (le dbut du son n'tait pas synchronis sur l'inversion du damier). Pour dterminer les sites d'intgration, les auteurs ont utilis les critres d'augmentation/dpression de la rponse dfinis au niveau du neurone unitaire chez l'animal (voir chapitre 2). Autrement dit, seules les rgions prsentant une augmentation d'activit (response enhancement) dans la session synchrone et une diminution (response depression) dans la session asynchrone ont t retenus comme sites d'intgration8. Les rsultats ont mis en vidence un rseau mettant en jeu principalement le colliculus suprieur et le sillon temporal suprieur gauche, ainsi que l'insula/claustrum bilatralement, le sillon intraparital droit et des rgions frontales (Figure 29). Ces donnes confirment aussi les
Nous discuterons dans le chapitre 11 de la validit de ce double critre.
64
rsultats d'une tude TEP qui suggrent un rle important de l'insula dans la dtection de la synchronie temporelle d'vnements bimodaux (Bushara et al., 2001).
CS
Figure 29. Rseau d'aires crbrales rpondant aux critres d'intgration (augmentation et dpression de la rponse pour les stimuli respectivement synchrones et asynchrones). Ce rseau inclut le CS, l'insula, STS, IPS et des rgions frontales. (D'aprs Calvert et al., 2001).
4.2.2 - INTEGRATION AUDIO-SOMESTHESIQUE

Une implication des cortex modalit-spcifiques a galement t observe dans des tudes lectrophysiologiques (PE et MEG) manipulant des stimuli sonores et tactiles perus de faon passive par les sujets (Okajima et al., 1995 ; Foxe et al., 2000 ; Lutkenhoner et al., 2002). En particulier, dans l'tude de Foxe et collaborateurs (2000), un stimulus auditif (son pur 1000 Hz ; dure 60 ms) et/ou un stimulus somesthsique (stimulation lectrique du nerf mdian) taient prsents aux sujets. Ces derniers devaient ignorer ces stimulations et porter leur attention sur des stimuli "distracteurs" visuels
(photographies). Les rsultats ont l encore montr l'existence d'interactions prcoces, gnres dans le cortex somesthsique ds 50 ms aprs la stimulation et dans le plan supra-temporal du cortex auditif vers 70 ms. Ces donnes ont t confirmes par les rsultats obtenus en IRMf par la mme quipe : aprs avoir mis en vidence une zone de convergence des informations auditives et somesthsiques au niveau du cortex auditif (rgion commune active sparment en conditions unimodales auditive et
65
somesthsique) (voir 4.1.2), ces auteurs ont montr que cette rgion prsentait une activation significativement plus forte en condition bimodale audio-somesthsique (AS) que lorsque les rponses unimodales (A+S) taient sommes (Foxe et al., 2002).
4.3 - TRAITEMENT AUDIO-VISUEL DE LA PAROLE

Comme le montre la robustesse de l'effet McGurk (voir 2.1.1), l'intgration des informations visuelles et auditives dans la parole est un processus fortement automatique. Sams et collaborateurs (1991) ont montr dans une tude MEG, que cet effet tait mis en place avant 200 ms post-stimulus. Dans leur tude, la syllabe auditive /pa/ tait prsente de faon rpte aux sujets qui observaient sur cran une bouche articulant soit la syllabe /pa/ (84%), soit la syllabe /ka/ (16%). Dun point de vue comportemental, la prsentation simultane de la syllabe auditive /pa/ et de la syllabe visuelle /ka/ est perue comme /ta/ ou /ka/ (effet McGurk). Les rponses neuromagntiques ont t enregistres uniquement sur la rgion temporale gauche limitant lexamen des interactions cette rgion. La diffrence obtenue par soustraction des rponses neuromagntiques aux stimuli standards de celles aux stimuli dviants mettait en vidence une onde de type MMN, partir de 180 ms. On sait que la MMN reflte un processus pr-attentionnel de discordance neuronale entre une entre sensorielle "dviante" et une reprsentation neuronale des sons passs en mmoire sensorielle auditive (localise dans le cortex auditif) (Ntnen, 1992). La prsence d'une MMN un stimulus audio-visuel dviant par sa composante visuelle seule indique donc (1) que l'intgration des informations bimodales a eu lieu avant le processus de discordance (180 ms) et (2) que l'information visuelle a modifi l'activit du cortex auditif (voir aussi Pourtois et al., 2000 ; Colin et al., 2002 ; Mttnen et al., 2002 ; Pourtois et al., 2002). Par ailleurs, le mouvement articulatoire des lvres semble pouvoir influencer l'activit du cortex auditif mme en l'absence d'information auditive. En effet, dans une tude
IRMf
ralise par Calvert et collaborateurs (1997), les sujets taient soumis deux
conditions exprimentales. Dans la premire, ils regardaient une vido montrant un visage articulant (silencieusement) des nombres (un nombre toutes les deux secondes), et ils devaient rpter mentalement le nombre peru. Dans la seconde condition (contrle), le visage prsent tait immobile et les sujets devaient rpter mentalement le nombre "one" raison d'une fois toutes les 2 secondes. Le contraste entre ces deux conditions a permis de mettre en vidence un rseau d'aires crbrales significativement plus actives dans la condition de lecture labiale silencieuse.
66
Ce rseau incluait des aires visuelles (refltant le traitement de stimuli visuels dynamiques) et les cortex auditifs primaires et associatifs (aires 41, 42 et 22 de brodmann) (voir aussi MacSweeney et al., 2000). Dans une autre tude, les nombres articuls par le visage prsents sur l'cran pouvaient galement tre entendus et trois conditions de stimulation taient ainsi dfinies : une condition bimodale (AV) o le sujet avait accs aux mouvements articulatoires des lvres et la production sonore du nombre, et deux conditions unimodales (A et V) o le sujet n'avait accs qu' l'une des deux informations. Une analyse par conjonction sur les donnes bimodales (AV) et unimodales (A et V), a montr une augmentation de l'activit au niveau des cortex modalit-spcifiques auditif (aires 41/42 de Brodmann) mais galement visuel (aire V5) lors de la perception passive de la parole bimodale. Par ailleurs, comme dans l'analyse par intersection du traitement de stimuli "non-langagiers" ( 4.1), les auteurs ont observ l'activation de l'insula/claustrum droit lors de la perception de stimuli de parole quel que soit le contraste analys [AV-A] ou [AV-V] (Calvert et al., 1999) (Figure 30). Ce rsultat confirme le caractre multimodal de cette rgion crbrale et son rle possible dans les phnomnes intgratifs.
R Claustrum B.A. 41/42
B.A.
41/42
V5 complex: B.A. 19/37
Figure 30. Rgions crbrales communment actives dans les contrastes [AV-A] et [AV-V], reprsentes sur trois coupes de coordonnes z +3, +9 et +14 respectivement. (D'aprs Calvert et al., 1999).
L'activation de l'insula a galement t observe dans une tude TEP chez des sujets synesthtes qui rapportent des associations intermodales inhabituelles (voir 1.4). Dans l'une des formes les plus rpandues, un mot entendu induit, chez ces sujets, une exprience de couleur. Paulesu et collaborateurs (1995) ont montr qu'en comparaison avec des sujets contrles, la prsentation du mot induisaient chez les sujets synesthtes, des activations spcifiques dans plusieurs zones visuelles extrastries (dont la jonction parito-occipitale), ainsi que dans le cortex prfrontal droit, le gyrus temporal suprieur, et l'insula. Ces rsultats ont t rpliqus dans une rcente tude
IRMf
(Nunn et al., 2002).
67
Les sites d'integration audio-visuelle proprement dits, dans la parole, c'est--dire les aires crbrales actives spcifiquement par le caractre bimodal de la parole, ont galement t examines. Ainsi, dans une tude en IRMf vnementielle ralise par Calvert et collaborateurs (2000a), les sujets devaient suivre et comprendre une histoire lue voix haute par un locuteur dont seule la partie infrieure du visage tait visible sur l'cran. L'histoire pouvaient tre prsente auditivement, visuellement ou dans la double modalit. Par ailleurs les sujets taient soumis deux sessions exprimentales : dans la premire le mouvement des lvres correspondait au texte entendu (messages congruents), tandis que dans la deuxime session, les deux signaux correspondaient deux histoires diffrentes (messages incongruents). Comme dans l'tude des mmes auteurs dcrite prcdemment sur la perception passive de stimuli audio-visuels "nonlangagiers" (Calvert et al., 2001) ( 4.2.1), seuls les sites rpondant aux deux critres d'augmentation de la rponse pour des stimuli congruents ET de diminution de la rponse pour des stimuli incongruents taient considrs comme sites d'intgration. Seul le sillon temporal suprieur (STS) gauche rpondait cette double contrainte (Figure 31). D'autres rgions ne rpondaient qu'au critre d'augmentation pour les stimuli congruents : les cortex sensoriels spcifiques, le gyrus frontal mdian gauche et le lobule parital droit. Comme on l'a dj voqu, les auteurs ont suggr que les effets dans les cortex sensoriels spcifiques taient dus des activations feedback partir des sites intgratifs tels que le STS.
Figure 31. Zone d'intgration dans la perception la parole bimodale. Seul le STS gauche rpond aux critres d'intgration (augmentation et dpression des rponses pour des stimuli respectivement congruents et incongruents). (D'aprs Calvert et al., 2000).
Le rle du STS dans l'intgration des informations linguistiques auditives et visuelles a t confort par des tudes en IRMf (Olson et al., 2002) et en EEG (Callan et al., 2001),
68
cette dernire tude ayant par ailleurs montr des effets plus importants lorsque les informations auditives sont bruites. (Ce rsultat est en accord avec la rgle d'efficacit inverse observe au niveau du neurone unitaire chez l'animal, qui montre que les effets d'interactions sont d'autant plus importants que les stimuli unimodaux sont perceptuellement peu saillants (voir 3.1.2)). Enfin, une tude MEG suggre galement un rle privilgi du STS dans le traitement bimodal du langage mais dans le cas d'informations visuelles graphmiques (reprsentation crite de lettres) (Raij et al., 2000).
4.4 - CONCLUSION
RECHERCHE
ET PRESENTATION DE NOTRE PROBLEMATIQUE DE
Comme on peut le voir par les dates des rfrences bibliographiques cites dans ce chapitre, les recherches sur les bases neurophysiologiques du traitement bimodal chez l'homme ne sont que trs rcentes. Elles semblent cependant dj remettre en question le concept de cortex unisensoriel au sens strict, en offrant de nombreux exemples d'interactions bimodales dans les cortex auditif, visuel et somesthsique, qui peuvent prendre place trs tt dans la chane de traitement sensoriel. Ces latences prcoces, et l'observation trs rcente chez le singe de connexions directes du cortex auditif vers le cortex visuel d'une part, et des cortex visuel, auditif et somesthsique vers le cortex auditif d'autre part, remettent galement en question l'hypothse selon laquelle ces effets dans les cortex sensoriels spcifiques seraient dus exclusivement des connexions feedback provenant des rgions polymodales. Quoi qu'il en soit, l'ensemble des rsultats prsents ici montrent que les mcanismes physiologiques de l'intgration intermodale dans la perception sont complexes et multiples. Cependant, la diversit des conditions exprimentales, des stimuli et des paradigmes utiliss rend difficile la comprhension des relations prcises entre les facteurs oprant au niveau perceptuel et comportemental, et les processus neurophysiologiques sous-jacents. Le but de mes travaux tait de mieux comprendre les bases lectrophysiologiques de l'intgration des informations auditives et visuelles dans la perception, chez l'homme. De faon plus prcise, nous avons cherch comparer l'organisation spatio-temporelle et les proprits fonctionnelles des rseaux d'interactions bimodales activs dans diffrents contextes perceptuels. Nos travaux s'appuient sur l'exprience pilote de Giard et Peronnet (1999) qui ont dcrit un ensemble d'interactions lies aux processus intgratifs dans une tche d'identification d'objets caractriss par des composantes
69
auditives et visuelles. Pour contrler de faon prcise l'influence des paramtres tudis sur l'organisation des interactions bimodales, nous avons utilis les mmes objets bimodaux au cours d'une srie d'expriences en faisant varier : le contenu informationnel de ces objets (redondance vs non-redondance des informations unimodales) [EXPERIENCE 1] la nature de la tche effectuer sur ces objets (dtection vs identification) [EXPERIENCE 2] et l'attention porte aux objets [EXPERIENCE 3]
Dans toutes ces tudes, l'approche mthodologique repose sur l'analyse spatiotemporelle des potentiels voqus et ventuellement la modlisation dipolaire, qui permettent d'apprhender les grandes zones d'activit crbrale et leur dynamique temporelle d'activation dans les diffrentes conditions exprimentales.
70
PARTIE II - METHODOLOGIE :
L'EEG POUR ETUDE DE L'INTEGRATION MULTISENSORIELLE
PARTIE II - METHODOLOGIE
CHAPITRE 5 - ELECTRO-ENCEPHALOGRAPHIE
ET POTENTIELS EVOQUES
5.1 - PRINCIPES GENERAUX

5.1.1 - ENREGISTREMENT DE L'ACTIVITE ELECTRIQUE CEREBRALE ET EXTRACTION DES
POTENTIELS EVOQUES
La communication neuronale se manifeste par une propagation de signaux lectriques issus d'activits biochimiques (passages slectifs d'ions, agents neurotransmetteurs) (voir par exemple Malmivuo et Plonsey, 1995). Les courants lectriques crs par une population de neurones diffusent travers des milieux de conductivit variable (tissu crbral, liquide cphalo-rachidien, os), et donnent naissance des variations de potentiel lectrique enregistrables la surface du scalp. Les premires traces de l'activit lectrique crbrale observes chez l'homme sont dues au neurophysiologiste allemand Hans Berger (Berger, 1929). La technique qui en rsulte,
l'lectroencphalographie ( EEG), consiste enregistrer la diffrence de potentiel entre une paire d'lectrodes situes sur le scalp du sujet. On peut ainsi mesurer l'activit lectrique crbrale spontane rsultant de l'ensemble des neurones actifs, dont l'amplitude peut atteindre 100 200 micro-volts. La rsolution temporelle de cette technique est aujourd'hui de l'ordre de la milliseconde, et permet donc de suivre trs prcisment la dynamique d'activation de grands ensembles neuronaux. Tout vnement, perceptuel, moteur ou cognitif, peut provoquer une modification de l'activit lectrique crbrale dans diffrentes populations de neurones. Ces variations ou potentiels voqus (PE) ont une latence relativement stable par rapport la prsentation de l'vnement, mais sont gnralement de trs faible amplitude (de l'ordre de quelques micro-volts) par rapport l'activit lectrique spontane. Elles sont par consquent noyes dans le "bruit de fond" de l'EEG. Chez l'homme, lextraction de ces rponses lectriques spcifiquement lies une stimulation est attribue Pauline Davis en 1939. Le principe repose sur le moyennage synchronis sur la stimulation : le stimulus responsable de la variation lectrique est rpt un
73
grand nombre (plusieurs dizaines ou centaines) de fois et les segments d' EEG cals sur chaque stimulation (synchronisation sur lvnement) sont moyenns entre eux. L'activit spontane alatoire s'attnue fortement tandis que la rponse spcifique voque par le stimulus (PE) se dgage du "bruit" physiologique (EEG) (Gurit, 1993) (Figure 32).
Figure 32. Principe de l'extraction des potentiels voqus. En haut : EEG enregistr en continu partir d'une lectrode pendant la prsentation de stimuli visuels ; en bas : PE obtenu par moyennage de squences du signal EEG cales sur les stimulations visuelles.
Les PE obtenus par moyennage apparaissent comme une srie de dflections de polarit positive ou ngative9. Leur polarit dpend de mcanismes excitateurs et inhibiteurs complexes ayant lieu au niveau synaptique mais n'a pas d'implication directe sur l'interprtation des traitements fonctionnels sous-jacents. On considre gnralement que les composantes prcoces sont spcifiques la modalit et sensibles aux variations des paramtres physiques des stimulations utilises. Elles sont donc qualifies d'ondes exognes ou obligatoires (Ntnen et Picton, 1987). Elles peuvent tre suivies ou chevauches par des ondes dites endognes qui dpendent en grande partie de facteurs subjectifs (niveau attentionnel du sujet, tche effectuer).
Par convention, l'identification d'une onde du PE ainsi obtenu code (1) sa polarit (N ngative et P positive), et (2) la latence de son pic d'activation. Dans l'exemple illustr par la Figure 32, la premire grande dflection peut ainsi tre note N170, la ngativit tant reprsente vers le haut, et le pic d'activation tant atteint vers 170 ms.
9
74
5.1.2 - POSITION DES ELECTRODES
Electrode d'enregistrement Un PE correspond donc la diffrence de potentiel entre deux lectrodes : une lectrode dite active et une lectrode de rfrence. Le "Systme International 10-20" prconise une disposition normalise des lectrodes frquemment utilises. Chaque lectrode est identifie par une lettre codant sa position par rapport aux grandes rgions crbrales et un numro ou la lettre z qui dfinit l'hmisphre (Figure 33) (Jasper, 1958) : Les lettres F, T, C, P, et O indicent respectivement les rgions Frontale, Temporale, Centrale, Paritale et Occipitale. Les numros pairs (2,4,6,8) correspondent lhmisphre droit et les numros impairs (1,3,5,7) lhmisphre gauche. La lettre z indice les lectrodes situes sur la ligne mdiane.
Figure 33. Reprsentation du montage des lectrodes selon le Systme International 10-20 sur l'hmisphre gauche (A) et vue de dessus (B). (D'aprs Jasper, 1958).
Le Systme 10-20 ne prend en compte qu'un petit nombre d'lectrodes. La position d'lectrodes supplmentaires est en gnral dfinie par rapport aux positions des lectrodes appartenant ce systme.
75
Electrode de rfrence La valeur de potentiel recueillie en un point du scalp tant dtermine par rapport l'lectrode de rfrence, le choix de l'emplacement de cette dernire est critique dans l'enregistrement des PE puisqu'il va conditionner la morphologie du signal enregistr. Idalement, l'lectrode de rfrence devrait tre neutre, c'est--dire ne pas tre soumise aux variations de potentiel cres par les sources lectriques intracrbrales. Or une telle lectrode n'existe pas. Il s'agit donc de choisir une position de "moindremal". Certains auteurs placent l'lectrode de rfrence sur le lobe d'une oreille ou au niveau d'une mastode. Toutefois, ces deux sites prsentent l'inconvnient d'tre latraliss. Par ailleurs, dans les enregistrements de potentiel voqu auditif, la rfrence situe en mastode sera fortement contamine par les activits lectriques tudies. Une position vitant ces dsavantages est l'arte mdiane du nez qui prsente une plus forte neutralit lectrique et qui est centrale par rapport aux hmisphres crbraux.
5.2 - LOCALISATION DES SOURCES

5.2.1 - "DIPOLES DE COURANT EQUIVALENTS" : BASES PHYSIOLOGIQUES
L'arrive d'un potentiel d'action sur les terminaisons synaptiques situes sur la membrane d'un neurone provoque l'ouverture de canaux ioniques sur cette membrane, provoquant ainsi vis vis du milieu extrieur, la formation de puits et de sources de courant. Ces courants "primaires" vont leur tour induire la circulation de courants ioniques dans le milieu extra-cellulaire appels "courants secondaires". Comme les milieux extracellulaires sont rsistifs, cette circulation de courant entraine la formation de champ de potentiel lectrique. D'un point de vue macroscopique, un petit volume de cerveau o sont situs des neurones dont les membranes sont le sige d'activit synaptique, peut tre considr comme contenant une distribution complexe de puits et de sources de courant. On montre en biophysique que cette distribution cre, une certaine distance du volume, un champ de potentiel qui est, en premire approximation, celui d'un dipole de courant (association d'un seul puits et d'une seule source trs proches l'un de l'autre). Ce caractre dipolaire sera d'autant plus prononc que les centres de gravit des sources et des puits de courant seront spars. C'est le cas rencontr lorsque les cellules pyramidales du cortex sont sollicites au
76
mme instant, car leurs arbres dendritiques apicales sont orients de faon prfrentielle perpendiculairement la surface du cortex. En effet, dans ce cas, les puits et les sources de courant ont tendance se distribuer des niveaux diffrents dans les couches corticales. On parle alors de structure champ ouvert. Par contre, ce caractre dipolaire sera fortement attnu dans le cas o les neurones n'ont pas d'arbre dentritique prsentant une orientation prfrentielle, conmme les cellules toiles. On parle alors de structure champ ferm, car elle ne cre pas de potentiel lectrique distance. Lorsqu'on rsume l'activit des courants ioniques
transmembranaires situe dans un petit volume de cerveau par un dipole de courant, on parle de "dipole de courant quivalent". Ce diple est caractris par sa position, son orientation et son moment, et est reprsent par un vecteur dont la longueur est proportionnelle l'intensit du courant. Une activation au sein d'un gyrus sera reprsente par un diple radial par rapport la surface du crne tandis qu'une activation issue d'un sillon sera reprsente par un diple tangentiel (Gurit, 1993) (Figure 34).
Pyramidal Cell Assembly
Skull
Radial dipole (gyrus)
Tangential dipole (sulcus)
Excitatory Post-synaptic Potentials
Pyramidal Cell Assembly
Figure 34. Dfinition des diples de courant radiaux et tangentiels. A gauche : macrocolonne de neurones orients perpendiculairement la surface du cortex, et diple de courant quivalent. A droite : illustration d'une partie de la surface corticale et des directions de diples de courant quivalents selon que l'activit est issue d'un gyrus ou d'un sillon. (adapt d'aprs Baillet et al., 2001).
77
5.2.2 - CARTOGRAPHIE DES CHAMPS DE POTENTIEL

A partir des valeurs de potentiel enregistres sur un ensemble d'lectrodes, des techniques d'interpolation permettent de calculer l'amplitude des potentiels entre les lectrodes, et ainsi d'estimer leur distribution topographique sur le scalp, ceci pour chaque latence. Une mthode d'interpolation longtemps utilise est la mthode dite des 4 plus proches voisins. Elle consiste estimer le potentiel en un point du scalp comme la moyenne pondre par l'inverse de la distance, des potentiels recueillis aux 4 lectrodes les plus proches. L'inconvnient majeur de cette technique est que les extrema sont toujours situs l'emplacement d'une lectrode. Une mthode plus adquate, et qui a t utilise dans notre travail, est l'interpolation par fonction spline sphrique (Perrin et al., 1989). Ces fonctions ont un double avantage : elles donnent une meilleure estimation des extrema de potentiel, non ncessairement situs aux lectrodes, et elles sont mathmatiquement drivables, ce qui permet de calculer les cartes de densit de courant radial (voir plus bas) (pour revue Pernier et Bertrand, 1997). La distribution spatiale des potentiels la surface du scalp dpend bien sr de l'orientation des gnrateurs intracrbraux : les "diples de courant quivalents" tangentiels la surface du scalp donnent naissance un champ de potentiel dipolaire (extrema positif et ngatif), tandis que les diples orients perpendiculairement gnrent un champ de potentiel monopolaire (positif ou ngatif) (Figure 35).
Figure 35. Distribution la surface du scalp des champs de potentiel produits par un diple tangentiel ( gauche) et radial ( droite).
Ainsi, l'observation visuelle de la distribution de potentiel un instant donn va permettre d'estimer trs approximativement la localisation et l'orientation des gnrateurs lectriques responsables de la topographie observe. Cette topographie reprsente cependant la somme de lactivit de tous les gnrateurs actifs l'instant considr. Or, ces diffrentes activits peuvent se chevaucher spatialement et les cartes de potentiel sont donc souvent difficiles interprter en terme de localisation de sources. Par ailleurs, nous avons vu plus haut que les valeurs de potentiel dpendent
78
de lemplacement de llectrode de rfrence, qui nest jamais "lectriquement neutre". Ces inconvnients peuvent tre largement rduits par lanalyse des cartes de densit de courant radial ("Scalp Current Density" ou SCD) et par la technique de modlisation dipolaire.
5.2.3 - CARTOGRAPHIE DES DENSITES
DE COURANT RADIAL DU SCALP
La densit de courant radial en un point du scalp peut se dfinir comme la quantit de courant par unit de volume ayant travers, radialement la surface, les diffrents milieux conducteurs jusqu'au scalp. Les cartes de densit de courant reprsentent les zones du scalp o mergent les lignes de courant (sources de courant) et celles o les lignes de courant retournent vers le cerveau (puits de courant). Elles sont estimes partir de la drive spatiale seconde des fonctions splines utilises dans l'interpolation des champs de potentiel et sont exprimes en A/m3 (Perrin et al., 1989 ; Pernier et al., 1992). C'est une grandeur locale, indpendante de tout modle ou hypothse sur les gnrateurs ou l'homognit du volume conducteur impliqu qui ne dpend que de la conductivit du scalp. Les densits de courant radial ont une topographie moins diffuse que celle des potentiels, et leurs extrema sont moins tals que les ples positifs et ngatifs des cartes de potentiel ; elles offrent ainsi l'avantage de pouvoir dissocier des "composantes" (activit d'un ensemble de neurones) qui seraient superposes dans les cartes de champs de potentiel. Elles sont, d'autre part, indpendantes de la position de l'lectrode de rfrence. Enfin, l'amplitude des champs de courant s'attnue plus rapidement que celle des potentiels quand le (ou les) gnrateurs sont situs plus en profondeur (Perrin et al., 1987 ; Pernier et al., 1988) : les cartes de densit de courant refltent donc l'activit de gnrateurs corticaux relativement proches de la surface et sont aveugles aux sources profondes. L'analyse conjointe des distributions de potentiel et de densit de courant pourra donc apporter des lments qualitatifs importants sur l'orientation et la profondeur des gnrateurs intra-crbraux. Une analyse quantitative fera appel aux techniques de modlisation.
5.2.4 - MODELISATION DE L'ACTIVITE ELECTRIQUE CEREBRALE

La modlisation des gnrateurs intracrbraux est utilise pour rsoudre le "problme inverse" c'est--dire pour identifier les sources neuronales responsables de la distribution des potentiels lectriques enregistrs sur le scalp. Cette procdure
79
ncessite de disposer de modles physico-mathmatiques de la tte et des gnrateurs. On utilise gnralement pour modle de la tte une sphre trois ou quatre couches conductrices (scalp, os, cerveau et parfois liquide cphalo-rachidien), chaque couche ayant sa propre conductivit lectrique. La prcision de localisation des modles sphriques est de l'ordre de 1 3 cm (Yvert et al., 1997). Le modle de gnrateur le plus simple et qui repose comme on l'a vu sur des bases physiologiques, est le diple de courant quivalent, reprsent par un vecteur. Un diple est caractris par six paramtres : trois pour la position, deux pour l'orientation et un pour l'amplitude (moment du vecteur). Le nombre de diples recherchs est fix par l'exprimentateur en fonction de connaissances ou d'hypothses a priori. L'activit lectrique dans une fentre temporelle peut-tre modlise par trois types de diples : des diples stationnaires dont la position et l'orientation restent fixes dans cette fentre temporelle (seule l'amplitude varie dans le temps) ; des diples tournants dont seule la position reste fixe (l'orientation et l'amplitude varient au cours du temps) ; et des diples mobiles pour lesquels les six paramtres varient chaque latence10. Etant donn que diffrentes configurations de sources peuvent donner les mmes grandeurs lectriques en surface, le problme inverse n'a pas de solution unique. Il s'agit donc de minimiser la variance rsiduelle entre les champs de potentiel mesurs (donnes exprimentales) et ceux qui seraient produits par la configuration des sources estimes par le modle. Ceci est effectu par une mthode itrative. Lorsque le minimum de variance est atteint, on obtient une estimation de la localisation et de l'orientation des gnrateurs intracrbraux qui expliquent le mieux les donnes exprimentales.
On a dvelopp rcemment des modles plus ralistes de la tte et des gnrateurs (sources distribues) qui peuvent augmenter la prcision des solutions (environ 1 cm) mais au prix d'une plus grande complexit thorique et pratique. Nous ne parlerons pas de ces modles ici (voir Pernier et Bertrand, 1997 ; Yvert et al., 1997).
10
80
5.3 - INTRODUCTION AUX POTENTIELS EVOQUES VISUELS ET AUDITIFS

5.3.1 - POTENTIELS EVOQUES VISUELS
La morphologie des potentiels voqus visuels varie en fonction du type de stimulus prsent. Les plus utiliss furent probablement le flash et l'inversion de damier, avec dans ce dernier cas, une grande variabilit dans leur frquence spatiale et la modulation temporelle des alternances. Gnralement, les PE visuels sont constitus de trois dflections majeures : l'onde C1 (apparaissant autour de 50-90 ms aprs la stimulation), l'onde P1 (autour de 80-130 ms) et l'onde N1 (autour de 140-200 ms). L'amplitude de ces ondes dpend de paramtres exognes (intensit des stimuli, prsentation fovale ou priphrique) et endognes (lis l'tat du sujet). L'onde C1, qui apparat gnralement en rponse la prsentation transitoire d'un damier, a une distribution occipito-paritale et semble gnre dans le cortex visuel primaire (cortex stri) (Clark et al., 1995). Sa polarit est fonction de la position du stimulus sur l'axe vertical et s'explique par l'organisation rtinotopique du cortex stri : positive lorsque le stimulus est prsent au dessus du point de fixation et ngative lorsqu'il est prsent en dessous ou sur l'axe mridien horizontal. L'onde P1 est probablement gnre dans le cortex extra-stri latral du lobe occipital (Clark et Hillyard, 1996). L'onde N1 semble forme de plusieurs composantes issues de gnrateurs spatialement distincts situs dans le cortex visuel extra-stri et possiblement dans des rgions paritales et frontales (Mangun, 1995 ; Clark et Hillyard, 1996). Notons que l'amplitude des ondes P1 et N1 peut tre module par des processus attentionnels. Par ailleurs, l'onde N1 reflterait au moins en partie des processus lis la discrimination visuelle (Vogel et Luck, 2000). Dans les travaux que nous allons prsenter, les stimulations visuelles taient constitues par une dformation transitoire de faible amplitude d'un cercle en ellipse (horizontale ou verticale) (voir description PARTIE III). Dans ce cas et comme l'illustre la Figure 36, les ondes C1 et P1 etaient pratiquement absentes et le potentiel voqu visuel tait principalement compose de l'onde N1.
81
Figure 36. Illustration d'une rponse voque par la dformation transitoire d'un cercle en ellipse. A droite : morphologie du PE visuel enregistr l'lectrode parito-occipitale P24. A gauche : carte de potentiel la latence du pic de l'onde N1 (175 ms) (vue arrire).
5.3.2 - POTENTIELS EVOQUES AUDITIFS

Les potentiels voqus auditifs (PEA) ont t longtemps dcrits partir
d'enregistrements effectus au vertex (lectrode Cz). On distingue schmatiquement trois familles de composantes : les PEA prcoces ou PEA du tronc crbral qui apparaissent dans les 10 premires ms suivant le dbut d'un stimulus sonore et qui refltent l'activit des voies auditives sous-corticales et des noyaux du tronc crbral, les PEA de latence moyenne qui surviennent entre 10 et 70 ms aprs la dbut de la stimulation. Ils seraient gnrs au niveau du thalamus et des cortex auditifs primaire et secondaire (voir Yvert et al., 2001). et les PEA tardifs qui sont principalement composs des ondes N1 (ou N100) et P2 qui correspondent aux rponses les plus amples des PEA, et sont maximum respectivement vers 100 et 200 ms aprs la stimulation. Ici, nous nous intresserons essentiellement l'onde N1, d'amplitude maximum sur la rgion fronto-centrale (Figure 37). L'onde N1 est gnre en grande partie dans le plan supra-temporal du cortex auditif ce qui explique l'inversion de polarit entre les rgions centrales (autour de Cz) et temporales (autour des mastodes Ma1 et Ma2) (Vaughan et Ritter, 1970). Des travaux plus rcents ont montr qu'elle est forme d'une famille de composantes qui sont sensibles des facteurs exognes et/ou endognes diffrents, et qu'elle ne reflte donc pas un processus unitaire (Ntnen et Picton, 1987). Par exemple, l'analyse topographique des potentiels et des densits de courant associe la modlisation dipolaire a rvl l'existence de gnrateurs dans les aires tonotopiques du cortex auditif (Bertrand et al., 1991 ; Verkindt et al., 1995) et dans les
82
aires frontales (Alcaini et al., 1994 ; Giard et al., 1994b) et a montr que l'attention avait des effets diffrents sur ces diffrentes composantes (Alcaini et al., 1995).
Figure 37. Illustration d'une rponse voque par une stimulation auditive. A droite : morphologie des PE enregistrs aux lectrodes vertex (Cz) et mastode gauche (Ma1). A gauche : carte de potentiels la latence de l'onde N1 auditive (100 ms).
83
CHAPITRE 6 - APPLICATION A LETUDE DES

INTERACTIONS AUDIO-VISUELLES
Les diffrentes tudes effectues au cours de cette thse, et qui sont prsentes dans la partie suivante, ont toutes utilis les mmes critres mthodologiques prsents dans ce chapitre.
6.1 - SUJETS
Ces tudes ont t conduites chez des sujets sains (de 18 33 ans) droitiers, ne prsentant pas de problme neurologique, possdant une audition normale et une vision normale ou corrige la normale. Tous les sujets ont donn leur accord crit et ont peru une indemnit en contrepartie de leur participation. Les protocoles ont t approuvs par le comit d'thique rgional (Comit Consultatif pour la Protection des Personnes dans la Recherche Biomdicale (CCPPRB)).
6.2 - ACQUISITION DU SIGNAL

6.2.1 - SYSTEME D'ACQUISITION ET DE STIMULATION
LEEG a t enregistr en continu sur un systme dacquisition Neuroscan partir d'un stimulateur audio-visuel dvelopp au laboratoire (VISON sur PC pentium II, 400 MHz). Ce logiciel de stimulation permet la prsentation d'images et/ou de sons, synchroniss dans le cas des stimulations bimodales.
6.2.2 - MONTAGE DES ELECTRODES

Les enregistrements EEG ont t effectus partir de 35 lectrodes actives, rparties sur l'ensemble du scalp. Pour des raisons pratiques et de confort du sujet, nous avons utilis un bonnet lectrodes (Easy cap) sur lequel lemplacement des lectrodes avait t pralablement dtermin laide dun systme de pose informatis (Echallier et al., 1992). Le montage des lectrodes correspondait en majorit au Systme International 85
10-20 dcrit dans le chapitre prcdent : Fz, Cz, Pz, Iz; Fp1, F7, F3 , FC1, T3, C3, T5, P3, O1, et leur homologue sur l'hmiscalp droit. Les lectrodes supplmentaires taient dfinies mi-chemin entre deux lectrodes du Systme 10-20 : POz (entre Pz et Oz); P13 (entre P3 et Oz) et P14 (entre P4 et Oz) ; CP1 (entre P3 et Cz) et CP2 (entre P4 et Cz) ; FT3 (entre F3 et T3) et FT4 (entre F4 et T4); TP3 (entre T3 et P3) et TP4 (entre T4 et P4). Les lectrodes Ma1 et Ma2 taient situes respectivement aux mastodes gauche et droite, et IMa et IMb mi-chemin respectivement de Iz et Ma1, et de Iz et Ma2 (Figure 38). Les mouvements horizontaux des yeux taient enregistrs partir du coin externe de l'il droit (lectrodes YH), et les clignements et mouvements verticaux des yeux taient contrls grce aux lectrodes prfrontales Fp1 et Fp2. Pour les raisons prsentes au cours du prcdent chapitre ( 5.1.2), l'lectrode de rfrence a t positionne sur l'arte mdiane du nez.
Figure 38. Emplacement des 35 lectrodes actives utilises dans la srie d'tudes ralises au cours de nos travaux.
6.2.3 - AMPLIFICATION ET FILTRAGE

La faible amplitude des signaux EEG ncessite une amplification travers une chane de pr-amplificateurs et amplificateurs avec un gain de plusieurs milliers (gain d'amplification utilis : 20 000).
86
L'EEG a t enregistr en continu une frquence dchantillonnage de 1 kHz et filtr de faon analogique. Le filtre utilis doit avoir une bande passante plus large que celle du signal analys afin d'viter les distorsions et notamment les dcalages temporels qui peuvent tre induits par le filtre au niveau des frquences proches de la frquence de coupure. Nous avons utilis un filtre analogique de bande passante 0.1-200 Hz pour (1) minimiser les drives lentes lies aux mouvements du sujet et la polarisation des lectrodes et (2) liminer les phnomnes lectriques de haute frquence lis aux artfacts musculaires et au bruit de fond des amplificateurs.
6.2.4 - EXTRACTION DES POTENTIELS EVOQUES

Les potentiels voqus ont t obtenus par moyennage, sparment pour chaque type de stimuli utiliss (visuels, auditifs, audio-visuels) et pour chaque sujet. Les signaux dont l'amplitude tait suprieure 100 V une lectrode quelconque ont t exclus, de telle sorte que les rponses contamines par le mouvement des yeux ou une activit musculaire importante nont pas t prises en compte. Par ailleurs les signaux correspondant des rponses errones ont galement t supprims de l'analyse. Puisque nous nous sommes intresss aux interactions pouvant exister dans la partie prcoce du traitement sensoriel (voir paragraphe suivant), l'analyse a t effectue sur une priode de 350 ms synchronise sur le stimulus et incluant 100 ms avant la stimulation. (Dans la premire exprience nous avons galement utilis une fentre temporelle plus large pour analyser la distribution de l'onde P3). Les PE ainsi obtenus ont t filtrs digitalement 0-30 Hz afin dliminer le "bruit" rsiduel d essentiellement aux activits musculaires. Par ailleurs, chaque lectrode, la rponse voque a t recentre autour de zro en retranchant aux valeurs de potentiel enregistres, la moyenne du signal sur les 100 ms prcdant le stimulus (correction de la ligne de base).
6.3 - TRAITEMENT DES DONNEES

6.3.1 - LE MODELE ADDITIF
Pour tudier les interactions multisensorielles partir d'enregistrements EEG, nous faisons l'hypothse que les rponses voques par les stimuli bimodaux (ici, audiovisuels) sont gales la somme des activits dues chacune des composantes unimodales (auditives et visuelles) augmente des activits spcifiquement lies au
87
traitement bimodal (voir Barth et al., 1995). Ce modle additif nous permet donc d'estimer les interactions audio-visuelles dans la diffrence entre la rponse bimodale et la somme des rponses unimodales (Schrger et Widmann, 1998 ; Giard et Peronnet, 1999 ; Foxe et al., 2000 ; Raij et al., 2000).
Interactions = [PE Audio-Visuels - (PE Auditif + PE Visuel)] Notes : [AV-(A+V)]
Cette procdure repose sur la loi de superposition des champs lectriques et peut s'appliquer quelle que soit la nature (nombre, configuration, gomtrie...) des gnrateurs intracrbraux. Cependant, ce modle additif n'est plus valide en prsence d'activits ou de processus communs aux diffrentes types de stimulations (unimodales et bimodale). En effet, ces activits ne seront pas limines dans la diffrence [AV-(A+V)] puisqu'elles seraient ajoutes une fois et soustraites deux fois. Les activits communes aux diffrentes stimulations peuvent inclure les composantes voques lies la tche comme, par exemple, les ondes endognes N2b et P3, ou celles associes aux rponses motrices. tant donn que ces activits apparaissent gnralement aprs les 200 premires millisecondes de traitement, nous n'avons analys la courbe diffrence [AV-(A+V)] que dans ces 200 premires millisecondes11. Par ailleurs, des activits lies des processus d'anticipation du stimulus peuvent galement gnrer, dans la diffrence [AV-(A+V)], des effets trompeurs non lis aux interactions. Dans ce cas, il s'agit gnralement d'ondes lentes, de polarit ngative du type VCN (Variation Contingente Ngative) qui apparaissent avant chaque stimulation et persistent quelques instants aprs (Teder-Salejarvi et al., 2002). Pour la mme raison que prcdemment, ces activits ne seront pas limines dans la diffrence [AV-(A+V)]. Bien qu'ayant utilis des intervalles inter-stimulus relativement longs et de dure alatoire (ISI = TR plus 1100 2900 ms) afin de minimiser ces possibles effets d'anticipation, nous avons effectu des contrles spcifiques de nos rsultats. Tout d'abord, un simple contrle visuel sur le profil des PE dans la priode pr-stimulus permet de reprer la prsence ventuelle de telles ondes. De plus, nous avons vrifi la stabilit des interactions intermodales prcoces d'une part en modifiant la fentre
Notons que cette limite du modle additif s'applique galement aux tudes d'activation par IRMf et TEP : en l'absence de contrles adquats, les zones mises en vidence par ce modle peuvent donc reflter "seulement" des zones de convergence multimodale, mais non ncessairement des zones d'intgration.
11
88
temporelle sur laquelle est calcule la ligne de base, et d'autre part en appliquant un filtre passe-haut de frquence de coupure 2 Hz pour liminer les activits de trs basses frquences type VCN (Teder-Salejarvi et al., 2002). Notons cependant que l'application de tels filtres peut diminuer l'amplitude d'interactions intermodales relles, ou mme faire apparatre de nouveaux effets.
6.3.2 - ANALYSE STATISTIQUE

La significativit des interactions a t teste en comparant lamplitude de londe diffrence [AV-(A+V)] (sur l'ensemble des sujets) zro par un test de Student chaque latence et chaque lectrode. Ceci a permis lobtention de cartes de t de Student chaque latence. Nous avons considr comme interactions significatives les patterns spatio-temporels ayant une topographie stable avec une amplitude significative sur une dure d'au moins 15 chantillons temporels conscutifs (15 ms) la mme lectrode (Rugg et al., 1995 ; Thorpe et al., 1996).
89
PARTIE III - TRAVAUX EXPERIMENTAUX : ETUDE DE LA FLEXIBILITE DES PROCESSUS

INTEGRATIFS
Picasso - Autoportrait, 1907
PARTIE III - TRAVAUX EXPERIMENTAUX
Rappelons que l'tude de Giard et Peronnet (1999) a mis en vidence un ensemble d'interactions bimodales dans une tche d'identification d'objets dfinis par des composantes auditives et visuelles. Comme on l'a indiqu plus haut ( 4.2.1), les deux objets taient dfinis soit par leurs composantes unimodales seules (auditive ou visuelle), soit par la combinaison de leurs composantes unimodales respectives (Objet A : son pur de 540 Hz associ une ellipse horizontale ; objet B : son pur de 560 Hz associ une ellipse verticale). Autrement dit, dans la condition bimodale, les informations auditives et visuelles taient redondantes pour identifier l'objet et la facilitation observe dans les temps de raction confirmait l'"effet de cible redondante" (redundant target effect). Par la suite, cette tude sera dsigne comme identification de cibles REDONDANTES. Dans ce cas, les enregistrements lectrophysiologiques ont mis en vidence des interactions des traitements auditifs et visuels ds 40 ms d'analyse et se manifestant dans les cortex dits modalitspcifiques ainsi que dans les rgions temporo-frontales droites. Par ailleurs, l'organisation de ce rseau d'interactions dpendait partiellement de la modalit dominante du sujet pour effectuer la tche. Ce rsultat montrait que l'intgration multisensorielle n'est pas rgie par des mcanismes physiologiques rigides et invariants, mais rvlait au contraire le caractre flexible des oprations neuronales lies aux processus intgratifs. Cette flexibilit des mcanismes intgratifs observe dans cette premire exprience soulevait plusieurs questions : Quels sont les liens entre les rseaux d'interaction observs et le caractre redondant de l'information bimodale ? En d'autres termes : peut-on observer des interactions prcoces dans le cas o l'information contenue dans le stimulus bimodal n'est pas redondante pour identifier l'objet ?
93
Quelle est l'influence des processus perceptuels engags (et donc de la tche demande) sur l'organisation des rseaux d'interaction ?
L'attention est-elle ncessaire l'intgration ?
Comme nous l'avons voqu, nous avons tent de rpondre ces questions en manipulant les mmes stimuli physiques (objets A et B) de faon mieux contrler l'effet des paramtres tudis sur les rsultats observs.
NB : les deux premires tudes ne seront prsentes que brivement puiqu'elles ont fait l'objet d'articles (respectivement dans Cognitive Brain research et Cerebral Cortex) qui sont intgrs ce manuscript, et dans lesquels ont trouvera une description dtaille et complte des travaux effectus.
94
CHAPITRE 7 - INTEGRATION AUDIO-VISUELLE

DANS L'IDENTIFICATION D'OBJETS BIMODAUX
(INFORMATIONS UNIMODALES NONREDONDANTES)
7.1 - PROBLEMATIQUE
L'objectif de cette premire tude tait de dterminer si des effets intgratifs similaires ceux mis en vidence dans la tche d'identification de cibles REDONDANTES pouvaient tre observs dans le cas o les composantes uni-sensorielles d'un objet bimodal n'taient pas redondantes, c'est--dire lorsque les deux informations, auditive ET visuelle, taient ncessaires l'identification de l'objet. Dans ce cas, nous n'attendions pas d'effet de facilitation du traitement bimodal dans les mesures comportementales (diminution des temps de raction ou du taux d'erreurs par rapport aux rponses unimodales), puisque les deux composantes sensorielles devaient tre traites compltement (jusqu' l'identification) avant la slection de la rponse. Pour la mme raison, on pouvait prdire que les deux composantes uni-sensorielles des objets bimodaux pourraient tre traites en parallle, sparment et indpendamment l'une de l'autre, au moins durant toute l'tape d'analyse sensorielle. Afin de tester cette hypothse, nous avons soumis les sujets une tche d'identification de cibles NON-REDONDANTES.
7.2 - METHODE
7.2.1 - STIMULI
Pour induire une situation de non-redondance, nous avons utilis les objets A et B employs dans la tche d'identification de cibles REDONDANTES (lgrement modifis),
95
et nous avons introduit un troisime objet C. Chaque objet pouvait tre dfini par ses composantes unimodales seules ou par une combinaison dinformations visuelles et auditives. Lobjet A consistait soit en une dformation transitoire dun cercle en une ellipse horizontale (stimulus V1), soit en un son de 530 Hz (stimulus A1), soit en la combinaison de ces deux informations (stimulus A1V1). De faon similaire, lobjet B tait dfini soit par la dformation du cercle en ellipse verticale (V2), soit par un son de 610 Hz (A2), soit par la combinaison de ces deux informations (A2V2). Enfin, lobjet C, tait dfini soit par la dformation transitoire du cercle de base en un cercle un peu plus grand (V3), soit par un son de 560 Hz (A3), soit par les combinaisons croises des composantes unimodales des objets A et B (A1V2 ou A2V1) (Figure 39). Ainsi, en condition bimodale (AV), les deux composantes (auditive et visuelle) devaient tre identifies pour permettre la catgorisation de l'objet.
Figure 39. Reprsentation des objets A, B et C utiliss. Ces objets pouvaient tre prsents en condition auditive seule (A), visuelle seule (V) ou bimodale (AV). Les objets A et B correspondaient ceux utiliss dans l'exprience de Giard et Peronnet (1999).
7.2.2 - PROTOCOLE
Lexprience comprenait une phase dapprentissage et une phase denregistrement. Durant ces deux priodes, les 10 types de stimulus (A1, A2, A3, V1, V2, V3, A1V1, A2V2, A1V2, A2V1) taient prsents de faon quiprobable et pseudo-alaoire aux sujets (N=23) par bloc de 53 stimuli. Les sujets devaient dterminer le plus rapidement possible, chaque essai, quel objet (A, B ou C) tait prsent, en pressant un bouton parmi trois. Chaque stimulus tait prsent 1350 ms aprs le temps de raction au stimulus prcdent.
96
La phase d'apprentissage durait jusqu' ce que les sujets atteignent un score d'environ 75 % de rponses correctes. Aprs une pause, ils taient alors soumis la phase denregistrement qui comprenait 18 blocs de stimuli. Pour comparer les rsultats de cette exprience avec ceux obtenus dans la tche d'identification de cibles REDONDANTES, seules les rponses voques par les objets A et B, communs aux deux tudes, ont t analyses. Par ailleurs, ces objets tant physiquement proches et identifis avec des performances quivalentes, ils ont t regroups selon leur modalit de prsentation (A, V, AV) dans l'analyse lectrophysiologique afin d'amliorer le rapport signal/bruit des rponses.
7.3 - RESULTATS
7.3.1 - MESURES COMPORTEMENTALES
Comme nous l'attendions, l'identification des objets n'tait pas facilite par la prsentation bimodale (TR moyen : 966 ms) en comparaison la prsentation unimodale auditive (TR moyen : 938 ms) ou visuelle (TR moyen : 950 ms). L'tude de Giard et Peronnet (1999) ayant mis en vidence des patterns d'interaction diffrents selon la dominance sensorielle des sujets pour la tche, nous avons spar les sujets en deux sous-groupes selon les mmes critres, c'est--dire sur la base de leurs temps de raction aux stimuli unimodaux : 16 sujets taient plus rapides pour identifier les stimuli unimodaux visuels que les stimuli auditifs (sujets dominance visuelle ou sujets visuels), inversement, les 7 autres sujets taient plus rapides pour identifier les stimuli sonores que les stimuli visuels (sujets dominance auditive ou sujets auditifs).
7.3.2 - MESURES ELECTROPHYSIOLOGIQUES
Rponses aux stimuli unimodaux Dans les 200 premires millisecondes du traitement, les rponses unimodales prsentaient une morphologie typique d'activits dans les cortex sensoriels spcifiques. Dans la modalit auditive, l'onde N1 tait maximum autour de 100 ms sur
97
les aires fronto-centrales (amplitude moyenne Fz : -4.9 V) avec une inversion de polarit aux mastodes (2.4 et 2.2 V respectivement Ma1 et Ma2) ; elle tait suivie de l'onde P2 maximum Cz (5 V) autour de 195 ms. Dans les PE visuels, la premire dflection saillante (N1) tait maximum aux lectrodes parito-occipitales (-8.4 V P24) autour de 185 ms.
Interactions multisensorielles Malgr l'absence d'effet de facilitation au niveau comportemental, et contrairement nos attentes, des interactions neuronales - estimes dans la diffrence entre les PE aux stimuli bimodaux (AV) et la somme des PE aux stimuli unimodaux (A+V) (voir chapitre 6) - ont t observes dans les 200 premires millisecondes suivant la prsentation du stimulus, dans les aires modalit-spcifiques ainsi que sur la rgion temporo-frontale droite. Par ailleurs, comme l'illustre la Figure 40, ces interactions diffrent encore partiellement entre les deux groupes de sujets.
Figure 40. Topographie des interactions bimodales (mesures dans [AV-(A+V)]) dans la tche d'identification de cibles NON-REDONDANTES. Sur chaque ligne apparaissent : la fentre temporelle des patterns d'interaction significatifs (et la latence choisie pour l'illustration) ; les distributions de potentiel des rponses unimodales (A et V) ; et sparment chez les sujets auditifs et visuels, les distributions de potentiel des interactions et les cartes de Student associes (illustrant les zones o les interactions sont significatives au seuil de probabilit indiqu sous chaque carte).
En effet, l'analyse a rvl des interactions neuronales dans aires visuelles postrieures, entre 140 et 185 ms, UNIQUEMENT chez les sujets dominance auditive. Bien qu'apparaissant dans une fentre de latence proche de celle de l'onde N1
98
visuelle, ces interactions ont une topographie plus paritale (Figure 40 : ligne 1), suggrant des sources neuronales au moins partiellement diffrentes. En revanche, les sujets dominance visuelle prsentent des effets d'interaction multifoyers entre 120 et 145 ms. L'un de ces foyers est caractris par un champ de potentiel ngatif sur les lectrodes fronto-centrales associ des potentiels positifs autour de la mastode gauche, une topographie proche de celle observe dans les rponses unimodales auditives aux mmes latences (Figure 40 : ligne 2). Bien que la topographie complexe de ces effets ne nous permette pas d'infrer avec certitude l'origine de ces interactions, il est trs possible qu'elles soient, au moins en partie, dues une activation dans les aires auditives. Enfin, les deux groupes de sujets prsentent un champ de potentiel ngatif dans la rgion temporo-frontale droite. Chez les sujets visuels, l'amplitude des interactions est significative de 120 195 ms avec une topographie lgrement diffrente partir de 170 ms. Bien que cet effet n'atteigne pas le seuil de significativit chez les sujets auditifs, sa distribution temporo-frontale sur l'hmisphre droit dans la mme fentre de latences (120 195 ms) suggre que les mmes processus sont en jeu dans les deux groupes de sujets (Figure 40 : lignes 2,3). Par ailleurs, la topographie de ces interactions diffre de celles des rponses unimodales : elles refltent probablement la mise en jeu de neurones activs spcifiquement par le caractre bimodal du stimulus. Ces rsultats montrent donc que les phnomnes dintgration multisensorielle ne sont pas restreints au traitement dobjets dfinis par des composantes redondantes : malgr l'absence d'effet de facilitation dans les mesures comportementales, nous avons observ des interactions multisensorielles qui sont certes moins nombreuses, plus faibles et plus tardives en latence que celles observes dans l'identification de cibles
REDONDANTES,
mais qui mettent en jeu les mmes rgions crbrales
(cortex
sensoriels spcifiques et rgions temporo-frontales droites). Aucun modle de psychologie cognitive ne permettait de prdire ces rsultats.
7.4 - ANALYSE COMPARATIVE :

DES MESSAGES SENSORIELS
NON-REDONDANCE VERSUS REDONDANCE
La Figure 41 illustre les diffrents patterns d'interaction observs dans les tches d'identification de cibles REDONDANTES et NON-REDONDANTES. La comparaison de ces interactions appelle plusieurs remarques :
99
Tout d'abord, dans la tche d'identification de cibles REDONDANTES, des interactions bimodales avaient t observes ds 40 ms dans les aires visuelles postrieures. Ces interactions se manifestaient par des activits spcifiques dans le cortex visuel chez les sujets auditifs entre 40 et 145 ms, ainsi que par une diminution de l'amplitude de l'onde N1 visuelle autour de 155-200 ms chez l'ensemble des sujets. En revanche, les interactions gnres dans le traitement de cibles NONREDONDANTES
n'apparaissent pas avant 140 ms dans les aires postrieures
visuelles (Figure 41 : ligne 1). Elles sont encore observes uniquement chez les sujets dominance auditive. La distribution spatio-temporelle de cet effet diffre de celle de l'onde N1 visuelle et suggre donc des origines neuronales au moins partiellement diffrentes : autrement dit, la rponse unimodale visuelle N1 un stimulus visuel est peu ou pas affecte par l'addition d'une information sonore nonredondante.
Figure 41. Comparaison des interactions bimodales induites lorsque les sujets identifient des objets dfinis par des informations visuelles et auditives REDONDANTES (Giard et Peronnet, 1999) et NONREDONDANTES (Fort et.al, 2002b).
Par ailleurs, un accroissement de l'amplitude de l'onde N1 auditive tait observ dans l'identification de cibles bimodales REDONDANTES uniquement chez les sujets visuels. Ici, nous n'avons pas observ d'interaction significative dans la fentre de latence correspondant l'onde N1 auditive : comme dans la modalit visuelle, les gnrateurs de la rponse auditive N1 ne seraient pas affects par l'addition d'une information visuelle non-redondante. Cependant, dans la tche
100
d'identification de cibles NON-REDONDANTES, des interactions significatives ont t observes plus tardivement (120-145 ms) uniquement chez les sujets visuels (Figure 41 : ligne 2). La topographie de cet effet ne permet pas d'exclure une origine dans le cortex auditif. Cette hypothse est renforce par le fait que ces interactions ne sont observes que chez les sujets visuels : un phnomne comparable (interactions plus importantes dans le cortex de la modalit non-dominante) a t rapport dans le traitement de cibles REDONDANTES pour les deux modalits, et (paragraphe prcdent) dans la modalit visuelle pour les sujets auditifs dans le traitement de cibles NON-REDONDANTES. Des interactions dans le cortex auditif cette latence chez les sujets visuels pourraient reflter une analyse plus longue dans le cortex auditif (le plus faible) en raison de la difficult apporte par la bi-modalit. Rappelons cependant que la rsolution spatiale des PE ne permet pas de localiser prcisment ces activits qui pourraient aussi tre gnres dans d'autres structures crbrales. Les rsultats discuts plus haut confirment le caractre flexible des mcanismes intgratifs qui dpendent encore partiellement de la dominance sensorielle des sujets dans la tche effectuer : les sujets auditifs prsentent des interactions significatives dans les aires postrieures visuelles, mais non les sujets dominance visuelle. Inversement, ces derniers prsentent une composante frontocentrale compatible avec une origine dans le cortex auditif, qui n'est pas observe chez les sujets dominance auditive. Ce rsultat peut tre directement li la rgle defficacit inverse mise en vidence par Stein et collaborateurs (pour revue, Stein et Meredith, 1993) (voir aussi Discussion 10.1.1). Enfin, l'identification d'objets audio-visuels REDONDANTS ou NON-REDONDANTS induit des interactions neuronales dans la rgion temporo-frontale droite non spcifique et ceci quelle que soit la dominance sensorielle des sujets dans la tche (Figure 41 : ligne 3). Ces interactions neuronales pourraient donc reflter un processus de facilitation non pas de l'identification, mais peut-tre de la dtection d'vnements ou d'objets bimodaux, quel que soit leur contenu informationnel ou les analyses plus ou moins approfondies effectuer sur leurs composantes unimodales pour rsoudre la tche. Bien que la prcision spatiale des PE ne permette pas de localiser prcisment l'origine de ces interactions, leur topographie est compatible avec une activation dans l'insula droite, le cortex frontal infrieur et/ou le cortex temporo-polaire droit, ces structures ayant t dcrites comme des sites d'intgration ou de convergence multimodale (chapitre 4). En particulier, un rle important de l'insula droite a t montr dans la dtection de la synchronie 101
temporelle d'entres sensorielles multiples (Bushara et al., 2001), une situation exprimentale qui correspond nos protocoles. En conclusion, l'absence de modulation des ondes N1 visuelle et auditive dans la tche d'identification de cibles NON-REDONDANTES conforte l'hypothse mise par Giard et Peronnet (1999) selon laquelle la modulation des ondes unimodales pourrait tre une signature lectrophysiologique de l'effet de facilitation de traitement observ dans les rponses comportementales (TR plus courts pour les stimuli bimodaux redondants). Par contre, les interactions observes dans l'exprience prsente sont plus difficile interprter. Elles pourraient, de faon non exclusive, soit reflter un traitement prolong dans les cortex sensoriels de la modalit la plus faibe en raison de la difficult apporte par la bimodalit du stimulus, soit servir des processus de facilitation plus "amonts" par rapport aux processus d'identification proprement dits, en facilitant par exemple la dtection des cibles bimodales en raison de la prsence simultane de messages auditifs et visuels dans une mme rgion de l'espace (interactions dans les aires temporo-frontales droites). En dautres termes, ces dernires interactions seraient induites par le seul fait que les composantes de lobjet rpondent aux rgles dintgration mises en vidence par Stein et collaborateurs au niveau du neurone unitaire : rgles de concidence spatiale et temporelle (pour revue, Stein et Meredith, 1993).
102
7.5 ARTICLE
Fort, A., Delpuech, C., Pernier, J. and Giard, M.H. (2002b). Early auditory-visual interactions in human cortex during nonredundant target identification. Cognitive Brain Research, 14: 20-30
103
105
PARTIE III - TRAVAUX EXPERIEMENTAUX
106
107
108
109
110
111
112
113
114
115
CHAPITRE 8 - INTEGRATION AUDIO-VISUELLE

DANS LA DETECTION D'OBJETS BIMODAUX
8.1 - PROBLEMATIQUE
L'exprience de Giard et Peronnet (1999) et celle que nous venons de prsenter ont permis de mettre en vidence des interactions des traitements auditifs et visuels dans des tches d'identification d'objets bimodaux. La flexibilit des mcanismes intgratifs observs dans ces deux tudes prdit que les oprations intermodales actives dans la simple dtection de ces mmes objets - qui requiert une analyse du stimulus plus superficielle - pourraient diffrer de celles observes lorsque le sujet doit identifier ces objets. La prsente tude teste cette hypothse.
8.2 - METHODE
Les stimulli et le protocole exprimental sont strictement identiques ceux utiliss dans l'tude de Giard et Peronnet (1999). Les deux objets A et B pouvaient tre prsents par leur composante sonore seule (A1, A2) ou par leur composante visuelle seule (V1, V2) seule ou par la combinaison de leurs composantes unimodales respectives (A1V1, A2V2). Les 6 stimuli ainsi dfinis taient prsents de faon alatoire et quiprobable. Les sujets (N=14) avaient pour consigne de presser un bouton le plus rapidement possible ds la perception d'un stimulus, quel que soit l'objet (A ou B) et sa modalit de prsentation (A, V, AV). Chaque stimulus tait prsent aprs un dlai alatoire de 1100 3000 ms aprs le temps de raction au stimulus prcdent.
117
8.3 - RESULTATS
8.3.1 - RESULTATS COMPORTEMENTAUX
Conformment aux donnes de la littrature, tous les sujets taient plus rapides pour dtecter les stimuli sonores (TR moyen : 276 ms) que visuels (TR moyen : 310 ms) (Hershenson, 1962 ; Andreassi et Greco, 1975 ; Welch et Warren, 1986), et plus rapides pour dtecter les stimuli prsents en condition bimodale (TR moyen : 247 ms). Ainsi, selon les critres comportementaux utiliss dans les expriences prcdentes pour sparer les sujets en deux groupes selon leur modalit sensorielle dominante, tous les sujets taient ici "dominance auditive" pour la tche de dtection.
8.3.2 - RESULTATS ELECTROPHYSIOLOGIQUES
Rponses aux stimuli unimodaux L encore, les rponses unimodales prsentaient une morphologie habituelle, typique d'activits dans les cortex sensoriels spcifiques. Dans les PE auditifs, l'onde N1 tait maximum autour de 100 ms sur les aires fronto-centrales (amplitude moyenne Cz : -3.7 V) avec une inversion de polarit aux mastodes (2.0 et 1.7 V respectivement Ma1 et Ma2) ; elle tait suivie de l'onde P2 maximum Cz (5 V) autour de 185 ms. Dans les PE visuels, la premire dflection saillante (N1) tait maximum aux lectrodes parito-occipitales (-4.7 V P24) autour de 170 ms.
Interactions multisensorielles Comme dans les tudes prcdentes, les interactions ont t estimes dans la diffrence entre les rponses voques par les stimuli bimodaux et la somme des rponses unimodales [AV-(A+V)]. Nous avons ainsi pu dissocier, temporellement et spatialement, plusieurs patterns d'interaction qui diffraient partiellement de ceux observs dans nos tudes prcdentes. Nous retiendrons trois effets majeurs : (1) dans les rgions occipito-paritales (ds 45 ms), (2) dans les rgions centrales (autour de 105-140 ms) et (3) dans les rgions frontales droites (170-185 ms). Sur les aires visuelles postrieures, nous avons observ un champ de potentiel positif, significatif de 45 85 ms de latence (Figure 42 : lignes 1 et 2). Cependant, l'analyse 118
des cartes de densit de courant rvle l'existence de deux sources de courant symtriques centres sur P13 et P24 entre 45 et 65 ms (Figure 42 : ligne 1) suivies d'une source unique de courant centre autour de POz aprs 65 ms (Figure 42 : ligne 2). Ces distributions de courant diffrentes suggrent donc l'existence de plusieurs composantes d'interactions au cours de cette priode. L'absence d'activits similaires dans les rponses unimodales suggre de plus que ces interactions sont dues l'activation de neurones peu ou pas activs par la stimulation visuelle seule.
Figure 42. Topographie des interactions bimodales (mesures dans [AV-(A+V)]) dans la tche de dtection. Sur chaque ligne apparaissent : la fentre temporelle des patterns d'interaction significatifs (et la latence choisie pour l'illustration) ; les distributions de potentiel des rponses unimodales (A et V) ; les distributions de potentiel des interactions et les cartes de Student associes (illustrant les zones o les interactions sont significatives).
Un autre pattern d'interaction se manifeste par un large champ de potentiel ngatif couvrant les lectrodes frontales, centrales et paritales autour de 105-140 ms (Figure 42 : ligne 3). Comme prcdemment, ce pattern n'a pas de correspondance dans les rponses unimodales. De faon intressante, l'analyse des densits de courant aux mmes latences rvle de trs faibles amplitudes : tant donn que l'amplitude des densits de courants la surface du scalp dcrot beaucoup plus vite que celle des potentiels avec la profondeur des gnrateurs intra-crbraux (Pernier et al., 1988), la 119
diffrence de morphologie entre les cartes de potentiel et de courant dans les interactions [AV-(A+V)] (Figure 42 : ligne 3) suggre fortement que les sources intracrbrales correspondantes sont profondes, possiblement dans le colliculus suprieur. L'implication du colliculus suprieur dans cette tche est une hypothse d'autant plus sduisante que, comme nous l'avons vu, cette structure possde un pouvoir intgratif important et joue un rle dans les comportements d'orientation attentionnelle vers une cible (voir chapitre 3). Pour tester plus avant cette hypothse, nous avons modlis les donnes l'aide d'un diple de courant stationnaire dans un modle de tte sphrique sur l'intervalle temporel 120-135 ms post-stimulus, au cours duquel la topographie des effets reste stable. Le diple solution expliquait 81.7 % de la variance des donnes sur cette priode de temps. Sa projection sur une IRM anatomique d'un sujet (avec ajustement automatique du modle sphrique sur la tte du sujet) situait son origine 15 mm du colliculus suprieur (Figure 43), c'est--dire une distance de l'ordre de la prcision intrinsque des modles sphriques (voir 5.2.4). Notons cependant que nous ne pouvons exclure une origine corticale pour ces interactions largement distribues sur les aires paritales et centrales.
Figure 43. Modlisation dipolaire de [AV-(A+V)] sur la priode 120135 ms avec un modle sphrique. A : distribution de l'amplitude moyenne entre 120 et 135 ms des potentiels exprimentaux sur les
vues droite, gauche et de dessus. B : rsultat de la modlisation par un diple de courant stationnaire. C : superposition du diple solution sur une image d'IRM anatomique d'un sujet. D : distribution des potentiels thoriques reconstruits par le modle.
Enfin, comme dans les expriences prcdentes portant sur des tches d'identification, des interactions neuronales ont encore t observes dans la rgion temporo-frontale
120
droite entre 170 et 185 ms (Figure 42 : ligne 4), sans pattern similaire sur l'hmisphre gauche ou dans les rponses unimodales.
8.4 - ANALYSE
COMPARATIVE
DETECTION VERSUS IDENTIFICATION
(informations uni-sensorielles redondantes)

La comparaison de ces rsultats avec ceux obtenus lorsque les sujets devaient identifier les mmes objets bimodaux (portant des informations sensorielles redondantes) (Giard et Peronnet, 1999) met en vidence un certain nombre de ressemblances et de diffrences. Tout d'abord, dans les deux tudes, nous avons observ des interactions trs prcoces (ds 40-45 ms) dans les aires occipitales. Dans la tche d'identification, ces interactions apparaissaient uniquement chez les sujets dominance auditive (Figure 44 : ligne 1). Or ici, tous les sujets dtectaient plus rapidement les stimuli sonores que les stimuli visuels et pouvaient donc tre considrs comme prsentant une dominance auditive pour la tche. Ce rsultat s'accorde donc avec l'ide que les interactions neuronales influenceraient prfrentiellement le cortex de la modalit sensorielle non-dominante pour la tche considre (Giard et Peronnet, 1999 ; Fort et al., 2002b). Par ailleurs, dans toutes les expriences, des interactions neuronales ont t observes dans la rgion temporo-frontale droite. Ceci suggre un rle de cette rgion dans les processus intgratifs quel que soit le traitement perceptuel effectuer sur les cibles bimodales (identification / dtection) ou le contenu informationnel des objets (REDONDANCE / NON-REDONDANCE) (Figure 44 : ligne 3) ds lors que plusieurs stimuli uni-sensoriels seraient prsents simultanment (Bushara et al., 2001). En revanche, contrairement aux observations de Giard et Peronnet (1999) dans la tche d'identification, nous n'avons pas observ de modulation de l'onde N1 visuelle lorsque les sujets devaient simplement dtecter les stimuli. Or, une tude rcente a montr que cette composante, gnre dans le cortex extra-stri (Mangun, 1995) aurait un rle fonctionnel important dans les processus de discrimination visuelle (Vogel et Luck, 2000). La diminution de l'amplitude de l'onde N1 visuelle dans la tche d'identification avait t interprte par Giard et Peronnet comme une facilitation neuronale (moins d'nergie visuelle engage) pour discriminer les objets A et B. Ici, les sujets n'ayant pas de discrimination effectuer
121
pour raliser la tche, cette facilitation neuronale n'aurait pas lieu. Rappelons que dans la tche d'identification de cibles NON-REDONDANTES, nous n'avions pas non plus observ d'effet sur l'onde N1 visuelle : ce rsultat est cohrent avec le fait que l'information auditive ne facilitait pas la discrimination des objets (pas de facilitation comportementale).
Figure 44. Comparaison des interactions bimodales induites lorsque les sujets identifient (Giard et Peronnet, 1999) et dtectent (Fort et al., 2002a) les mmes objets caractriss par des informations visuelles et auditives redondantes.
Une autre diffrence entre les tches d'identification et de dtection est l'implication possible du colliculus suprieur dans cette dernire tche. L'intgration dans cette structure a souvent t associe une facilitation d'orientation attentionnelle ou de localisation, apporte par la double modalit. Bien que la tche de dtection ne recouvre aucun aspect spatial ou d'orientation, elle ne ncessitait qu'un traitement sensoriel superficiel comme ceux mis en jeu dans les processus d'orientation. Cette hypothse peut galement expliquer l'activation du colliculus suprieur lors de la perception passive de stimuli audio-visuels dans des enregistrements IRMf (Calvert et al., 2001). Au premier abord, la latence de ces interactions (120-135 ms) peut paratre tardive pour reflter l'activation d'une structure sous-corticale. Cependant, les tudes chez l'animal ont montr que les neurones intgratifs multisensoriels du colliculus suprieur reoivent des projections de neurones corticaux (Wallace et al., 1993 ; Jiang et al., 2001), un phnomne compatible avec
122
les latences relativement tardives rapportes dans nos donnes. Quelle(s) que soi(en)t la (ou les) structures prcise(s) implique(s), le fait que ce pattern d'interaction n'ait pas t observ dans les tches d'identification peut indiquer qu'il n'y aurait pas de facilitation neuronale dans cette (ou ces) structure(s) quand un niveau d'analyse plus profond est requis. Ceci, de nouveau, souligne la trs grande flexibilit des mcanismes intgratifs qui s'adaptent probablement en vue du rsultat le plus efficace au moindre cot nergtique. -
8.5 - ARTICLE
Fort, A., Delpuech, C., Pernier, J. and Giard, M.H. (2002a). Dynamics of corticosubcorical crossmodal operations involved in audio-visual object detection in humans. Cerebral Cortex, 12 (10): 1031-1039.
123
Dynamics of Cortico-subcortical Cross-modal Operations Involved in Audio-visual Object Detection in Humans
Alexandra Fort, Claude Delpuech, Jacques Pernier and Marie-Hlne Giard INSERM U280, Mental Processes and Brain Activation, 151 Cours Albert Thomas, 69003 Lyon, France
Very recently, a number of neuroimaging studies in humans have begun to investigate the question of how the brain integrates information from different sensory modalities to form unified percepts. Already, intermodal neural processing appears to depend on the modalities of inputs or the nature (speech/non-speech) of information to be combined. Yet, the variety of paradigms, stimuli and technics used make it difficult to understand the relationships between the factors operating at perceptual level and the underlying physiological processes. In a previous experiment, we used event-related potentials to describe the spatio-temporal organization of audio-visual interactions during a bimodal object recognition task (Giard and Peronnet, 1999). Here we examined the network of crossmodal interactions involved in simple detection of the same objects. The objects were defined either by unimodal auditory or visual features alone, or by the combination of the two features. As expected, subjects detected more rapidly bimodal than either unimodal stimuli. Combined analysis of potentials, scalp current densities and dipole modeling revealed several interaction patterns within the first 200 ms post-stimulus: in occipito-parietal visual areas (45-85 ms), in deep brain structures, possibly the superior colliculus (105-140 ms), and in right temporo-frontal regions (170-185 ms). These interactions differed from those found during object identification in sensory-specific areas and possibly in the superior colliculus, indicating that the neural operations governing multisensory integration crucially depend on the nature of the perceptual processes involved.
Introduction
A general observation of behavioral studies in humans is that we react more rapidly to external events characterized by features from different sensory modalities than to the same events pre-sented in unimodal conditions alone (Miller 1982, 1986; Hughes et al., 1994). Several theoretical models have been proposed to explain this crossmodal facilitation effect. According to the race model, the shorter reaction times to bimodal stimuli are due to triggering the responses on the basis of the first detected cue (Raab, 1962). However, as the reaction times to bimodal targets are generally shorter than those predicted by this model, a convincing alternative proposed by Miller (1991) is that the processing of target information in one modality is affected by the presence of information of the other modality. The questions then arise: where, when and how does the parallel processing of unimodal cues interact in the processing chain? Electrophysiological studies in animals have identified multisensory neurons in the deep layers of the superior colliculus (SC), a midbrain structure involved in orientation to external stimuli. These neurons display a much higher firing rate when two or more cues of different sensory modalities are presented in spatial and temporal coincidence (review in Stein and Meredith, 1993). Multisensory cells with similar properties have also been found in a number of cortical sites in cats (Toldi et al., 1986; Stein et al., 1993) and in monkeys (Benevento et al.,
1977; Ettlinger and Garcha, 1980; Bruce et al., 1981; Hikosaka et al., 1988). Interestingly however, recent cat studies have shown that the multisensory neurons in the superior colliculus receive projections from unimodal neurons located in heteromodal regions of the cortex (anterior ectosylvian sulcus and lateral suprasylvian cortex) (Wallace et al., 1993; Jiang et al., 2001); this would suggest that the multisensory neurons in the superior colliculus and in cortex belong to separate integrative neural circuits possibly involved in different aspects of integration (Hughes et al., 1994; Stein and Wallace, 1996). In humans, recent neuroimaging studies using electromagnetic (ERPs, MEG) or hemodynamic (fMRI, PET) measures have begun to shed light on the neural operations mediating multisensory integration in various experimental conditions. These experiments have already shown that different cross-modal networks may be recruited according to the modality of the sensory inputs or the nature (speech/non-speech) of information to be bound. For example, combination of two stimuli of different modalities presented simultaneously at the same location can modulate the brain responses to the corresponding separately presented unimodal stimuli in sensory-specific cortices (Sams et al., 1991; Calvert et al., 1999; Giard and Peronnet, 1999; Calvert et al., 2000; Foxe et al., 2000), in addition of having effects in a number of heteromodal structures such as the parietal cortex, the superior temporal sulcus, the right insula and/or the right prefrontal region (Calvert et al., 2000; Downar et al., 2000; Gonzalo et al., 2000; Bremmer et al., 2001; Bushara et al., 2001; Sakowitz et al., 2001). Integration of bimodal speech information appeared to activate mainly the left superior temporal sulcus (Calvert et al., 2000) while audio-visual non-speech stimuli (passively perceived) were found to have strong effects in the superior colliculus (Calvert et al., 2001). Furthermore, the brain areas involved in audiovisual integration of verbal material, whatever the form of visual inputs (lip movements or written letters), were shown to partly differ according to the congruence or noncongruence of unimodal components (Calvert et al., 2000; Raij et al., 2000). Although these results indicate that the neural mechanisms of multisensory integration in perception are complex and depend on experimental context, the variety of paradigms, stimuli and technics used make it difficult to understand the relationships between the operative factors at perceptual and behavioral levels and the underlying neurophysiological processes. Preliminary evidence for the necessity to carefully control these factors comes from two previous event-related potential (ERP) experiments in our laboratory that have shown that cross-modal operations in perception not only depend on the nature of the sensory
125

inputs, but, for a given bimodal stimulus, they vary with the perceptual processes involved and the sensory expertise of the individual for the task required. Indeed, using the same physical stimuli (deformations of a circle associated to a sound) in two object recognition tasks, we observed partly different cross-modal interaction patterns within the first 200 ms of stimulus analysis, according to whether the informative content of the unimodal cues was redundant (Giard and Peronnet, 1999) or non-redundant (Fort et al., 2002) to identify the bimodal stimulus. The differences mainly appeared in the number, amplitudes and latencies of the interactions in sensory-specific cortices. Yet, in both studies the effects were stronger in the cortex of the non-dominant modality of the subject to perform the task (auditory cortex for subjects having better performances for visual than for auditory object identification, and vice-versa: see Discussion). In contrast, significant cross-modal interactions were found in the right temporo-frontal region in all the subjects in the two tasks. Both these tasks required object identification. One may therefore expect that simple detection of the same objects demanding more superficial stimulus analysis will activate at least partly different cross-modal networks. This study aimed at testing this hypothesis.
Auditory Object A
Visual
Auditory-visual
540 Hz
540 Hz
A1
V1
A1V1
Object B
560 Hz
560 Hz
A2
V2
A2V2
Figure 1. Two objects, A and B, were used. Each of them could be presented either in auditory condition alone (object A: 540-Hz tone burst, object B: 560-Hz), or in visual condition alone (transient deformation of a circle into an horizontal (object A) or vertical (object B) ellipse), or in bimodal condition by the combination of their respective auditory and visual features. omissions and anticipations) in order to maintain attention during the whole period of recording (~45 min). Subjects could take breaks if necessary between blocks to minimize tiredness and eye movements. EEG Recording EEG was continuously recorded through DC coupled amplifiers (0.1-320 Hz analog bandwidth; sampling rate: 1 kHz) from 35 scalp electrodes referenced to the nose with placement based on the International 10-20 System : Fz, Cz, Pz, POz, Iz; Fp1, F7, F3, FT3, FC1, T3, C3, TP3, CP1, T5, P3, P13, O1, and their counterpart on the right hemiscalp; Ma1 and Ma2 (left and right mastods respectively); IMa and IMb (midway Iz-Ma1 and Iz-Ma2, respectively). Horizontal eye movements were recorded from the outer canthus of the right eye; eye blinks and vertical eye movements were measured in channels Fp1 and Fp2. Electrode impedances were kept below 5 k. ERPs were computed separately for each stimulus type over a time period of 600 ms including 100 ms prestimulus, and digitally filtered (0-30 Hz). Trials with signal amplitudes exceeding 100 V at any electrode were automatically rejected to discard the responses contaminated by eye movements or excessive muscular activities. Similarly, trials with reaction times below 200 ms or omissions were not taken into account in averaging. The mean numbers of averaged trials (by subject) were 230, 267 and 220 in auditory, visual and audio-visual conditions, respectively. The mean amplitude over the 100-ms pre-stimulus period was taken as the baseline for all amplitude measures. Data Analysis Estimation of audio-visual interactions We assumed that, at an early stage of stimulus analysis, the responses to bimodal (AV) stimuli were composed of the sum of the responses evoked by the auditory (Au) and visual (Vi) stimuli presented separately, plus the putative neural activities related specifically to the bimodal nature of the stimulation (audio-visual interactions) (Barth et al., 1995; Giard and Peronnet, 1999). This assumption is valid only while the period of analysis does not include non-specific activities that would be common to all three types (Au, Vi, AV) of stimuli, particularly late activities related to target processing (N2b, P3 waves), response selection or motor processes. These activities usually arise after 200 ms poststimulus. We therefore restricted the analysis period to 0-200 ms and used the summative model to estimate the AV interactions: ERP (AV) = ERP (Au) + ERP (Vi) + ERP (Aux Vi interactions). This expression is valid whatever the nature, configuration or asynchrony of the neural generators and is based on the law of superposition of electric fields. AV interactions were therefore quantified as the differences between the responses to bimodal stimuli (AV) and the sum of the unimodal responses (Au+Vi).
Materials and Methods

Subjects Fourteen right-handed subjects (mean age : 23.5; seven females) free of neurological illness and with normal hearing and normal or corrected-to-normal vision participated in this study. The protocol was approved by the regional Ethical Committee, and all subjects gave written informed consent of participation. Stimuli Two objects (A and B) were used. Object A consisted of a 540-Hz tone burst (stimulus A1) associated with the transient deformation of a circle into an horizontal ellipse (stimulus V1). Object B was designed similarly as a 560-Hz tone burst (A2) associated with a deformation of the circle into a vertical ellipse (V2). Each object could be presented either unimodally (stimulus A1, V1, A2, V2) or bimodally by the synchronous combination of their respective auditory and visual features (A1V1, A2V2) (Fig. 1). The basic circle had a diameter of 5 cm and was presented permanently in yellow on a dark monitor screen placed 1.3 m from the subject (visual angle: 2.2). The vertical and horizontal ellipses were formed by a 10% deformation of the horizontal and vertical diameters of the circle. The duration of the deformation was 240 ms. The tone bursts had the same duration (including 10 ms of rise/fall times) and were delivered through a loudspeaker placed behind the video monitor with an intensity of ~50 dB HL. Procedure Subjects were seated in front of the video screen in a dark soundattenuating room. They were instructed to respond as quickly as possible upon the detection of any stimulus whatever its nature (auditory, visual or audio-visual), in pressing a key with the index finger of the right hand. Twelve blocks of stimuli were presented. A block started with the presentation of the circle on the video screen, the center of which served as a fixation point during the whole block. Each block included 72 trials composed of 12 repetitions of the 6 stimuli (A1, A2, V1, V2, A1V1, A2V2) delivered randomly with an interstimulus interval equal to the reaction time plus a random time varying between 1100 and 3000 ms, to avoid anticipatory effects. At the end of each block, the subjects were informed of their performances (mean reaction time, number of
126

Table 1 Mean reaction times (in ms) standard errors to objects A and B presented in the auditory (Au) or visual (Vi) modality alone, or combining the two modalities (AV) Modality of presentation Object A Object B AU 275 43 278 43 VI 313 26 307 27 AV 248 32 247 34
Ma1 Cz
auditory N1
Ma2
visual N1
P13 P24
Significant effects were assessed by Student t tests comparing the amplitudes of the [AV-(Au+Vi)] difference waves to zero for each time sample at each electrode. Student t maps could then be displayed at each latency. We considered as significant crossmodal interactions the spatio-temporal patterns having a stable topography with a significant amplitude (P<0.05) at at least one electrode during 15 consecutive samples (15 ms) (Rugg et al., 1995; Thorpe et al., 1996). Topographic and dipole model analysis Scalp potential maps were generated using a two-dimensional spherical spline interpolation and a radial projection from Cz (top views), Oz (back views) or T3/T4 (lateral views), which respects the length of the meridian arcs. Scalp current densities (SCDs) were estimated by computing the second spatial derivative of the spline functions used in interpolation (Perrin et al., 1987; Perrin et al., 1989). SCDs do not depend on any assumption about the brain generators or the volume conductor. Compared to voltage maps, SCDs are reference-free and enhance the contribution of local intracranial sources. In addition, their amplitudes at the scalp decrease more rapidly with the depth of the intracerebral generators than those of the potentials: SCD maps therefore emphasize shallow, cortical activities and are blind to deeper sources (Perrin et al., 1987; Pernier et al., 1988). Topographic analysis was complemented, for particular interaction effects, by spatio-temporal source modeling (Scherg and von Cramon, 1986; Scherg, 1990; Giard et al., 1994). We used a classical three-concentric sphere head model for conductive volumes (brain, skull and scalp) and equivalent current dipoles (ECD) for generators (local activity of brain regions). The procedure consists in identifying ECD leading to the best fit between experimental and model distributions. The dipole parameters were determined by a non-linear iterative procedure for the spatial parameters (location and orientation), and with a linear least-mean square algorithm for the time-varying magnitude (Scherg, 1990). The model adequacy was assessed by a goodness-of-fit criterion based on the percentage of experimental variance explained by the model. The ECD solution was then projected onto 3-D magnetic resonance images (MRIs) of one subject (1.5 T Siemens system, 128 contiguous 1-mm thick horizontal sections parallel to the AC-PC line). The coordinate system used in the spherical head model was determined into the MRI: the sphere center was located near the crossing of T3-T4 and Fpz-Oz lines (Echallier et al., 1992), and the radius was the distance between this center and Cz. The best fitting ECD was automatically displayed on the MRI whose section coordinates were the closest to the dipole coordinates.
Vi Au AV
5 V
-100 0 100 200 msec
Figure 2. Grand-average ERPs across 14 subjects elicited by unimodal auditory (Au) and visual (Vi) stimuli, and by bimodal (AV) stimuli, at a subset of electrodes from 100 ms before stimulus onset to 250 ms after. Responses to objects A and B are grouped.
A. Occipito-parietal
30 50 100 150 200 (msec)
O1 P13 P3 POz P4 P24 O2
LH RH
B. Central
FC1 CP1 C3 Cz C4 CP2 FC2
LH RH
C. Temporo-frontal
T3 FT3 F7 Fp1 Fz Fp2 F8 FT4 T4 NS p < 0.05 p < 0.02 p < 0.01
LH RH
Figure 3. Statistical significance of the [AV-(Au+Vi)] difference waveform measuring the audio-visual interactions at a subset of (A) occipito-parietal, (B) central and (C) frontal and temporal electrodes on the right (RH) and left (LH) hemiscalps between 30 and 200 ms post-stimulus (Student-t tests comparing the amplitude of [AV(Au+Vi)] against zero at each latency). Three significant spatio-temporal patterns could be dissociated: at occipito-parietal sites from 45 to 85 ms, at fronto-centroparietal sites from 105 to 140 ms and at the right temporo-frontal electrode sites from 170 to 185 ms
Results
Behavioral results Two-way analysis of variance (ANOVA) on the reaction times with the type of object (A, B) and modality of presentation (Au, Vi, AV) as within-subject factors showed a significant effect of the stimulus modality [F(2,78)=23.47, P<0.0001)]. All the subjects had shorter reaction times to detect auditory (mean: 276 ms) than visual objects (mean: 310 ms; post hoc Fisher test: P<0.0022), and shorter reaction times to detect bimodal (mean: 247 ms) than auditory objects (P<0.0004). There was no effect of the type of object (Table 1). Electrophysiological results Since the two objects A and B were physically similar and were detected with equivalent reaction times, they were grouped in ERP averaging according to their modality (Au, Vi, AV) to increase the signal-to-noise ratio of the responses.
127
Figure 4. Topography of the different interaction patterns at occipito-parietal, central and right temporo-frontal scalp sites. Each line displays: the time window of the interaction pattern (and the illustrative latency at which the maps are depicted), the potential distributions of the unimodal (Au and Vi) and bimodal (AV) responses at this latency, the potential and SCD distributions of the crossmodal interactions quantified in the difference [AV-(Au+Vi)] between the bimodal responses and the sum of the unimodal responses, and the Student-t map estimated on the potential values. In Student maps, the grey colors indicate the scalp areas where [AV-(Au+Vi)] amplitudes differ significantly from zero with the probability coded in the grey level. In potential and SCD maps, half range of the scale (V or A/m3) is given below each map. It may be seen that: (1) At occipto-parietal sites, [AV-(Au+Vi)] displays significant positive potential fields between 45 and 85 ms post-stimulus, typical of activities in the visual cortex. Over this period, the SCD maps present two different current patterns (45-65 ms and 65-85 ms) sugesting the existence of several interaction components. (2) Between 105 and 140 ms, the potential distribution of [AV-(Au+Vi)] extends to a wide central region while corresponding SCDs display only very weak currents, indicating the existence of crossmodal activities probably in deep brain structure(s) (superior colliculus?) (3) From about 170 to 185 ms, significant [AV-(Au+Vi)] amplitudes may be seen on the right temporo-frontal region (without counterparty on the left hemiscalp), sugesting crossmodal activities in the right prefrontal cortex and/or the right insula.
Figure 2 presents the ERPs elicited by unimodal and bimodal stimuli from 100 ms before the stimulation to 200 ms after, at a subset of electrodes. The unimodal Au and Vi waveforms display morphologies typical of activities in sensory-specific areas. The auditory N1 is maximum around 100 ms at frontocentral site (3,7 V at Cz) with polarity reversal at mastoid electrodes (Ma1: 2.0 V at 107 ms and Ma2: 1.7 V at 106 ms), a pattern typical of neural activity in the supratemporal plane of the auditory cortex (Vaughan and Ritter, 1970). Auditory N1 was followed by the P2 wave peaking at Cz (5.0 V) around 185 ms. In visual ERPs, the first salient deflection (N1) peaked at occipito-parietal electrodes (P24:-4.7 V) around 170 ms (Fig. 2). ERPs to bimodal stimuli had roughly the same morphology as the sum of ERPs for separately presented auditory and visual stimuli. Yet, using the criterion defined in the Method section, several differences were found
between the bimodal AV response and the sum of the unimodal (Au+Vi) ERPs: from ~45 to 85 ms at occipitoparietal sites, from 105 to 140 ms over a wide central scalp region, and from 170 to 185 ms around the right temporofrontal electrodes. Figure 3 details the statistical significance of the effects in these three spatio-temporal windows, and Figure 4 displays for each of them, at an illustrative latency: the potential maps of the unimodal (columns 1 and 2) and bimodal (column 3) responses, the potential and SCD distributions of the [AV-(Au+Vi)] interaction effects (columns 4 and 5, respectively), and the Student-t map (computed on the potential values) showing the scalp areas with significant cross-modal effects (column 6). Before 100 ms over occipito-parietal sites Significant positive [AV-(Au+Vi)] amplitudes were found very early from 45 ms after stimulus onset around Pz and
128

P4, extending to P24, POz, O2 and IMb electrode sites ~50 ms. The effect decreased in surface and remained stable significance reached 0.01 from 110 to 135 ms at most of these electrodes (details in Fig. 3; mean amplitude over
Figure 6. Statistical significance (Student-t tests) of the [AV-(Au+Vi)] difference
waveform at occipito-parietal electrodes between 30 and 100 ms post-stimulus in three conditions of data analysis differing according to the digital high-pass filter applied to the data (0 or 2 Hz), and according to the timing of the baseline reference used. (A) Standard conditions (similar to Fig.3A). (B) Using a 2-Hz cut-off frequency did not decrease the significance of the interactions. (C) Changing the baseline reference period from [100 to 0] ms before stimulus onset to [100 to 50] ms before stimulus did not shorten the latency of the interaction effects. (See text).
Figure 5. Results of spatio-temporal dipole modeling of [AV-(Au+Vi)] over the 120-135 ms period using 3-concentric sphere head model.. (A): Experimental potential distributions of the mean amplitude of [AV-(Au+Vi)] between 120 and 135 ms after stimulus onset, on right, left and large-top views. (B) One equivalent current dipole (ECD) accounts for more than 80 % of the total experimental variance. (C) Superimposition of the best fitting ECD onto the closest left sagittal MRI section from one subject. The dipolar source was projected within 15 mm from the superior colliculus. (D) Theoretical potential distributions reconstructed by the model.
around POz and O2 from 65 to 85 ms (Fig.3A and Fig.4: lines 1-2, columns 4 and 6). Over this period (45-85 ms), SCD distributions showed two distinct patterns including a pair of current sources around P13 and P24 from ~45 to 65 ms (Fig.4: line 1, column 5) and a more centered neural source after 65 ms (Fig.4: line 2, column 5), suggesting the existence of several components during this time range. These interaction effects over the posterior visual regions did not correspond to clear pattern of activity in theunimodal responses in this time range. This suggests therefore activation of visually-responsive neurons in posterior cortical areas little or not activated in unimodal conditions (see Discussion). Between 100 and 150 ms over central scalp sites. Within this time period, the topography of [AV-(Au+Vi)] was characterized by a wide negative potential field distributed over the frontal, central and parietal scalp regions between about 105 and 140 ms after stimulus onset (Fig.3B and Fig.4: line 3, column 4). This pattern did not appear in the corresponding unimodal responses (Fig.4: line 3, columns 1-2). The effect began being significant at C4 electrode site (100 ms) and extended rapidly to Fz, F4, F8, FC1, FC2, C3, Cz, CP1, CP2, Pz and P4. Statistical
this spatio-temporal window: -0.68 V; peak amplitude: -0.94 V). Interestingly, around the same latencies, SCD analysis revealed only very weak patterns of current (mean amplitude: -0.04 A/m3; Fig.4: line 3, column 5). Given that SCDs decrease more rapidly their amplitude at the scalp surface with the deeper location of the intracerebral generators than the potentials do (Perrin et al., 1987; Pernier et al., 1988), the difference in morphology between the potential and the SCD distributions of [AV-(Au+Vi)] at the scalp strongly suggests that the underlying neural activities are localized in deep brain structures, possibly the superior colliculus known to be a major site of crossmodal integration. To further test this hypothesis, we modeled these activities (in the grand-average waveforms) using one single ECD in a spherical head model (see Materials and Methods) in the 120-135 ms period, during which the topography of the effects was stable. The best fitting ECD was found at an eccentricity of 0.3 and explained the spatio-temporal distribution of the potentials between 120 and 135 ms with a goodness-of-fit of 81.7 % (Fig.5). The solution was stable whatever the different starting dipole parameters. The ECD projection onto the MRI of one subject using an automatic adjustment of the sphere model to the subject's head (see Methods) was found within 15 mm from the superior colliculus (Talairach coordinates of the projection: x= 18, y= -22, z= -8), a distance of the order of the intrinsic precision of spherical head dipole modeling in single subjects (Yvert et al. 1997). After 150 ms over right temporo-frontal scalp areas From 170 to 185 ms, [AV-(Au+Vi)] displayed significant negative amplitudes (P<0.05) at several temporo-frontal electrodes of the right hemiscalp. The effect began around Fp2 and T4, and reached F8 and FT4 sites at 175 ms (mean amplitude over 170-185 ms: -0.61 V; peak amplitude: -0.72 V; Fig.3C and Fig.4: line 4, column 4). No similar activity could be observed on the left hemiscalp (mean amplitude in the same spatio-temporal range: -0.16 V). In addition, this pattern corresponded neither in latency nor in topography to any activity elicited by the unimodal stimuli (Fig.4: line 4, columns 1-2), suggesting
129

that this effect was due to neuronal populations in the anterior part of the right hemisphere responding only to bimodal inputs. auditory cortex (Schroeder et al., 1995) and from somatosensory to auditory cortex (Schroeder et al., 2001; Fu et al., 2001) have also been described in monkeys]. While the functional role of such connections is not known, they might participate in increasing the efficiency of bimodal processing with a timing consistent with the early latencies observed here. Multiple audio-visual interactions below 200 ms Post-stimulus Sensory-specific cortical areas (45-85 ms) As discussed above, the significant [AV-(Au+Vi)] amplitudes on posterior visual scalp sites around 45-85 ms would indicate that adding an auditory cue to the visual input influenced the sensory analysis in visual cortex. The latency and topography of the effects correspond to those of the C1 component of visual ERPs, thought to be generated in striate and/or extrastriate cortices (Clark et al. 1995; Foxe and Simpson, 2002). These interactions might therefore reflect also increased activities of the unimodal C1 generators (that would not be observable in unimodal visual condition because of the weak saliency of the circle deformations). Whatever the exact mechanisms (modulation of C1 component or recruitment of neurons in visual cortex not activated by the sole visual inputs), they add to the growing number of findings in nonhumans primates (Watanabe and Iwai, 1991; Rockland and Ojima, 2001; Schroeder et al, 2001; Schroeder et al, 2002) and in humans (Sams et al., 1991; Calvert et al., 1999; Giard and Peronnet, 1999; Foxe et al., 2000; Teder-Slejrvi et al., 2002), showing that cross-modal effects may occur in brain areas usually considered as sensory-specific. Superior colliculus (105-140 ms) ? Between ~105 and 140 ms, combined analysis of scalp potential and current density distributions, as well as the results of spatio-temporal dipole modeling strongly suggest the existence of cross-modal interactions in deep structures of the brain, possibly the superior colliculus. While the nonunicity of dipole model solutions and the spatial precision of ERPs do not allow us to localize the effects precisely and unequivocally, the superior colliculus appears as a likely candidate in this brain region. Multiple electrophysiological studies in nonhuman primates and other mammals have shown that the deep layers of superior colliculus contain multisensory cells that multiply their firing rate when two stimuli of different modalities are presented in close spatial and temporal proximity [review in (Stein and Meredith, 1993)]. In addition, a recent fMRI study in humans has shown a major activation of this structure when subjects passively perceive nonspeech audio-visual stimuli (Calvert et al. 2001). Given the small size of this structure and its depth in the brain, it is worth noting that significant ERP amplitudes at the scalp surface would imply a vigorous response within the midbrain, a conclusion similar to that drawn from the findings of superadditive BOLD response enhancement in this structure (Calvert et al., 2001). Interestingly, animal studies have shown that the multisensory integrative cells in superior colliculus receive projections from cortical neurons (Wallace et al., 1993; Jiang et al., 2001): the timing of such cortico-tectal connexions would be consistent with the relatively long latency (105-140 ms) of our effects. We cannot rule out, however, that the large extent of the 105-140 ms interaction pattern in voltage maps could be,
Discussion
As expected from behavioral studies, we found that subjects detected more rapidly auditory than visual stimuli (Hershenson, 1962; Welch and Warren, 1986), and that they reacted faster to bimodal than to either unimodal stimuli alone (Miller,1986; Giray and Ulrich, 1993; Hughes et al., 1994). This behavioral facilitation in bimodal processing was associated with multiple cross-modal neural activities, the nature and timing of which are discussed below. Early ERP effects: genuine cross-modal interactions? The earliest significant differences between the responses to bimodal objects and the sum of the unimodal responses appeared ~45 ms after stimulus onset. As specified in the Method section, the additive model is valid only while the analysis period is not contaminated by non-specific activities that would be common to all three types (Au, Vi, AV) of stimuli, and therefore not eliminated in the [AV(Au+Vi)] difference wave. Among those non-specific activities, Teder-Slejrvi et al. (Teder-Slejrvi et al., 2002) showed that anticipatory effects, manifested as slow potentials arising before each stimulus and continuing for a time after, can contribute to the bimodal minus unimodal difference waveform. When present, these activities usually appear as negative-going shifts in the pre-stimulus period. To dissociate these anticipatory effects from genuine cross-modal interactions, it was proposed either to high-pass filter the data with a 2-Hz cut off frequency (which greatly decreases the amplitudes of the slow anticipatory potentials), or to change the reference baseline period (Teder-Slejrvi et al., 2002). Although our data did not reveal slow negative shifts in the pre-stimulus period (Fig. 2), they were submitted to these two control analyses. First, a 2-Hz high-pass filter did not decrease the amplitude or significance of the early interactions (Fig. 6A,B); second, unlike the results expected if anticipatory activities were present, changing the reference baseline period from [-100 to 0] ms to [-100 to -50] ms did not shorten the latency of the earliest effects (Fig.6, A and C). We may therefore conclude that most of the early [AV(Au+Vi)] effects reflect genuine cross-modal interactions. [The differences between Teder-Slejrvi et al. observations and our data may be explained by the less 'comfortable' timing and attentional conditions in the former experimental design: in that study, subjects had to perform rapid and difficult discrimination between stimuli presented very shortly (33 ms) and at fast rate (ISI of 600800 ms), whereas in our experiment the stimuli were presented for 240 ms with an ISI varying on average from 1350 to 3250 ms. In the former case, anticipation can have been beneficial to subjects' efficiency while it was not necessary with our design]. While such early effects were also found in previous studies (Giard and Peronnet, 1999; Foxe et al., 2000), they remain difficult to explain in the light of our current knowledge on sensory transmission. Of particular interest however, are very recent findings in monkeys showing the existence of direct projections from the primary auditory cortex (usually already activated before 20-25 ms post-stimulus) to low-level areas (V1 and V2) of the visual cortex (Falchier et al., 2001; Rockland and Ojima, 2001). [Note that similar projections from visual to
130

partially or wholly, explained by a more complex combination of activities distributed in deep cortical sulci and/or in widely distributed cortical areas. Indeed, monkeys studies have provided evidence for multisensory integration or convergence in the intraparietal sulcus (e.g. Lewis and van Essen, 2000), the posterior parietal cortex (Andersen, 1997), the superior temporal sulcus (Benevento et al., 1977; Bruce et al., 1981; Watanabe and Iwai, 1991; Lewis and van Essen, 2000) and the prefrontal cortex (Gaffan and Harrison, 1991), and neuroimaging studies have shown activation in the homologues of these regions in humans (Paulesu et al., 1995; Calvert et al., 2000; Downar et al., 2000; Raij et al., 2000; Bushara et al., 2001; Callan et al., 2001; Calvert et al., 2001). While these hypotheses cannot be ruled out, again, the weak SCD amplitudes associated to the voltage maps together with the results of dipole modeling rather support a deep source hypothesis. Right temporo-frontal scalp areas (170-185 ms) The cross-modal interactions found over the right temporofrontal scalp sites between 170 and 185 ms did not correspond to any unimodal ERP activity. This brain region therefore would be specifically activated by the multimodal nature of the stimulus. While, again, ERPs do not allow for precise localization, the topography of the effect is consistent with sources in the right insula, the right prefrontal cortex and/or the temporo-polar cortex. Both animal studies (Jones and Powell, 1970; Benevento et al., 1977; Fster et al., 2000) and functional neuroimaging experiments in humans have shown that these sites could be involved in multisensory convergence or integration. Particularly the right insula has been repeatedly found active when two stimuli from different modalities were presented in temporal synchrony (Paulesu et al., 1995; Hadjikhani and Roland, 1998; Downar et al., 2000; Bushara et al., 2001; Calvert et al., 2001). Both the experimental design used and the topography of our effects fit with implication of this structure. Influence of the perceptual task on multisensory integration The results discussed above indicate that the detection of bimodal audio-visual targets induces multiple cross-modal operations in different cerebral structures within the first 200 ms of stimulus analysis. In the same way, we had shown in a previous experiment (referred to as the recognition study), that the identification of objects defined by auditory and visual components was facilitated (compared to the same objects presented unimodally), and generated also complex neural interaction patterns in the same latency range (Giard and Peronnet, 1999). The use of strictly identical stimuli in both studies allows us to compare the brain responses in the two experiments and to evaluate the influence of the task on the neural mechanisms of multisensory integration. First, in both studies, early interaction patterns (from 45 ms) were found at posterior scalp sites. Although these cross-modal patterns were of weaker amplitudes and shorter duration in the detection than in the recognition task, they shared the same occipital topography typical of activities in visual cortical areas. In the recognition study, however, the magnitude of these early interactions partly depended on the dominant sensory modality of the subject for the task. Indeed, in that experiment, the subjects were divided into two groups according to a reaction time criterion in unimodal processing: subjects who were faster to identify the auditory than the visual objects were called 'auditory-dominant', while those who were more rapid for visual than auditory objects were 'visually-dominant' subjects. Interestingly, we found that the early interactions in visual cortex (40-150 ms) were much larger in the auditory-dominant group, while the visually-dominant subjects showed significant interactions in the auditory cortex (around 100 ms). In other words, at an early stage of sensory analysis, the cross-modal interactions were predominant in the cortex of the non-dominant modality (Giard and Peronnet, 1999). In the present detection experiment, all the subjects were faster to respond to auditory than to visual stimuli and may therefore be considered, according to our criteria, as 'auditory-dominant' for that particular task. Thus, the significant interactions in visual areas (without effects at typical auditory scalp sites) in this experiment would suggest that multisensory integration operates, at an early processing stage, similarly in the two perceptual tasks by influencing predominantly the sensory cortex of the non-dominant modality. In the recognition study, however, unlike the detection experiment, another form of neural facilitation was manifested in the visual cortex as an amplitude decrease of the unimodal visual N1 component (185 ms latency). It has been recently shown that the visual N1 deflection has a larger amplitude during discrimination than in simple reaction time tasks, thereby suggesting that it would be partly related to 'a discrimination process within the focus of attention' (Vogel and Luck, 2000). In accordance with these findings, the unimodal N1 amplitude was found larger in the recognition (-7.0 V) than in the detection (-4.7 V) task. More importantly and as expected since facilitation for a discrimination process is not relevant for a detection task no significant cross-modal effect was found on the visual N1 amplitude in the present experiment. These differential effects on N1 together with the earlier interactions discussed above emphasize the complexity and flexibility of the integrative processes already within the brain regions traditionally held for unisensory. Another major difference between the integrative mechanisms in object recognition and in simple detection is the probable activation of deep sources, possibly the superior colliculus, in this last task around 105-140 ms. Multisensory integration in this midbrain structure is usually associated with facilitation for orientation and localization. While the detection task used here did not include any spatial or orienting aspect, it required only low-level sensory analysis, similarly to that needed to orient to a target whatever the stimulus content. This interpretation could also explain the predominant activation of the superior colliculus when subjects passively perceived non-speech audio-visual stimuli, in Calvert et al.'s fMRI study (2001). Whatever the precise structures involved, the fact that this interaction pattern was not observed during the recognition task (Giard and Peronnet, 1999) may indicate that there was no cross-modal neural facilitation in these structures when deeper stimulus analysis was necessary. This again underlines the exquisite flexibility of the integrative processes, that adapt probably for the most efficient result at the lowest energy cost. Lastly, in both detection and recognition studies, and in the latter in all (auditory- and visually-dominant) subjects, we found significant cross-modal interactions over the right temporo-frontal scalp regions with latencies varying
131

between 140 and 185 ms post-stimulus. A similar pattern was also observed when subjects had to identify the same audio-visual objects containing non-redundant unimodal information (Fort et al., 2002). To explain these last results, we proposed that interactions in those non-specific areas were related to a facilitation process only for detection of bimodal inputs; (indeed, object recognition was not facilitated by the bimodal content of the stimulus since both unimodal cues had to be identified to achieve correctly the task). This interpretation is not refuted by the present experiment and fits, as discussed above, with implication of the right insula (Bushara et al., 2001). In any case, activation of this brain region seems crucial after bimodal inputs since it has been observed in all our experimental designs. These non task-related activities therefore appear to add to the cross-modal operations differentially induced according to the nature of the perceptual task, possibly to increase the functional efficiency of multisensory integration (facilitation) for that particular task.
Echallier JF, Perrin F, Pernier J (1992) Computer-assisted placement of electrodes on the human head. Electroenceph Clin Neurophysiol 82:160-163. Ettlinger G, Garcha HS (1980) Cross-modal recognition by the monkey: the effects of cortical removals. Neuropsychologia 18:685-692. Falchier A, Renaud L, Barone P, Kennedy H (2001) Extensive projections from the primary auditory cortex and polysensory area STP to peripheral area V1 in the macaque. Soc for Neurosci Abst 27:511.21. Fort A, Delpuech C, Pernier J, Giard MH (2002) Early auditoryvisual interactions in human cortex during nonredundant target identification. Cogn Brain Res 14:20-30. Foxe JJ, Morocz IA, Murray MM, Higgins BA, Javitt DC, Schroeder CE (2000) Multisensory auditory-somatosensory interactions in early cortical processing revealed by highdensity electrical mapping. Cogn Brain Res 10:77-83. Foxe JJ, Simpson GV (2002) Flow of activation from V1 to frontal cortex in humans: A framework for defining "early" visual processing. Exp Brain Res 142:139-150. Fu KG, Johnston TA, Shah AS, Arnold L, Smiley J, Hackett TA, Garraghty PE, Schroeder CE (2001) Characterization of somatosensory input to auditory association cortex in macaques. Soc for Neurosc Abst 27: 681.3. Fster JM, Bodner M, Kroger JK (2000) Cross-modal and crosstemporal association in neurons of frontal cortex. Nature 405:347-351. Gaffan D, Harrison S (1991) Auditory-visual associations, hemispheric specialization and temporo-frontal interaction in the rhesus monkey. Brain 114:2133-2144. Giard MH, Peronnet F (1999) Auditory-visual integration during multimodal object recognition in humans: a behavioral and electrophysiological study. J Cogn Neurosci 11:473-490. Giard MH, Perrin F, Echallier JF, Thevenet M, Froment JC, Pernier J (1994) Dissociation of temporal and frontal components in the human auditory N1 wave: a scalp current density and dipole model analysis. Electroencephal Clin Neurophysiol 92:238-252. Giray M, Ulrich R (1993) Motor coactivation revealed by response force in divided and focused attention. J Exp Psychol Hum Percept Perform 19:1278-1291. Gonzalo D, Shallice T, Dolan R (2000) Time-dependent changes in learning audiovisual associations: a single-trial fMRI study. Neuroimage 11:243-255. Hadjikhani N, Roland PE (1998) Cross-modal transfer of information between the tactile and the visual representations in the human brain: A positron emission tomographic study. J Neurosci 18:1072-1084. Hershenson M (1962) Reaction time as a measure of intersensory facilitation. J Exp Psychol 63:289-293. Hikosaka K, Iwai E, Saito H, Tanaka K (1988) Polysensory properties of neurons in the anterior bank of the caudal superior temporal sulcus of the macaque monkey. J Neurophysiol 60:1615-1637. Hughes HC, Reuter-Lorenz PA, Nozawa G, Fendrich R (1994) Visual-Auditory Interactions in Sensorimotor Processing Saccades Versus Manual Responses. J Exp Psychol Hum Percept Perf 20:131-153. Jiang W, Wallace MT, Jiang H, Vaughan W, Stein BE (2001) Two cortical areas mediate mutlisensory integration in superior colliculs neurons. J Neurophysiol 85:506-522. Jones EG, Powell TPS (1970) An anatomical study of converging sensory pathways within the cerebral cortex of the monkey. Brain 93:793-820. Lewis JW, van Essen DC (2000) Corticocortical connections of visual, sensorimotor, and multimodal processing areas in the parietal lobe of the macaque monkey. J Comp Neurol 428:112137. Miller JO (1982) Divided attention: Evidence for coactivation with redundant signals. Cogn Psychol 14:247-279. Miller JO (1986) Time course of coactivation in bimodal divided attention. Percept Psychophy 40:331-343.
Notes
We are grateful to J.F. Echallier and P.E. Aguera for technical assistance.This work was supported by a grant from the French Ministry of Education and Research. Reprint requests should be sent to Alexandra Fort, InsermU280, 151 Cours Albert Thomas, F-69424 Lyon Cedex 03, France, or via e-mail: fort@lyon.inserm.fr.
References
Andersen RA (1997) Multimodal integration for the representation of space in the posterior parietal cortex. Philos Trans R Soc Lond [Biol] 352:1421-1428. Barth DS, Goldberg N, Brett B, Di S (1995) The spatiotemporal organization of auditory, visual and auditory-visual evoked potentials in rat cortex. Brain Res 678:177-190. Benevento LA, Fallon J, Davis BJ, Rezak M (1977) Auditory-visual interaction in single cells in the cortex of the superior temporal sulcus and the orbital frontal cortex of the macaque monkey. Exp Neurol 57:849-872. Bremmer F, Schlack A, Shah NJ, Zafiris O, Kubischik M, Hoffmann KP, Zilles K, Fink GR (2001) Polymodal motion processing in posterior parietal and premotor cortex: a human fMRI study strongly implies equivalencies between humans and monkeys. Neuron 29:287-296. Bruce C, Desimone R, Gross CG (1981) Visual properties of neurons in a polysensory area in superior temporal sulcus of the macaque. J Neurophysiol 46: 369-383. Bushara KO, Grafman J, Hallett M (2001) Neural correlates of auditory-visual stimulus onset asynchrony detection. J Neurosci 21:300-304. Callan DE, Callan AM, Kroos C, Vatikiotis-Bateson E (2001) Multimodal contribution to speech perception revealed by independent component analysis: a single-sweep EEG case study. Cogn Brain Res 10:349-353. Calvert GA, Brammer MJ, Bullmore ET, Campbell R, Iversen SD, David AS (1999) Response amplification in sensory-specific cortices during crossmodal binding. NeuroReport 10: 26192623. Calvert GA, Campbell R, Brammer MJ (2000) Evidence from functional magnetic resonance imaging of crossmodal binding in the human heteromodal cortex. Curr Biol 10: 649-657. Calvert GA, Hansen PC, Iversen SD, Brammer MJ (2001) Detection of audio-visual integration sites in humans by application of electrophysiological criteria to the BOLD effect. Neuroimage 14:427-438. Clark VP, Fan S, Hillyard SA (1995) Identification of early visual evoked potential generators by retinotopic and topographic analyses. Hum Brain Map 2:170-187. Downar J, Crawley AP, Mikulis DJ, Davis KD (2000) A multimodal cortical network for the detection of changes in the sensory environment. Nature Neurosci 3:277-283.
132

Miller JO (1991) Channel interaction and the redundant targets effect in bimodal divided attention. J Exp Psychol Hum Percept Perf 17:160-169. Paulesu E, Harrison J, Baron Cohen S, Watson JDG, Goldstein L, Heather J, Frackowiak RSJ, Frith CD (1995) The physiology of coloured hearing. A PET activation study of colour-word synaesthesia. Brain 118:661-676. Pernier J, Perrin F, Bertrand O (1988) Scalp current density fields: concept and properties. Electroenceph Clin Neurophysiol 69:385-389. Perrin F, Pernier J, Bertrand O, Echallier JF (1989) Spherical splines for scalp potential and current density mapping. Electroenceph Clin Neurophysiol 72:184-187. Perrin F, Pernier J, Bertrand O, Giard MH (1987) Mapping of scalp potentials by surface spline interpolation. Electroenceph Clin Neurophysiol 66:75-81. Raab DH (1962) Statistical facilitation of simple reaction times. Trans NY Acad Sci 24:574-590. Raij T, Uutela K, Hari R (2000) Audiovisual integration of letters in the human brain. Neuron 28:617-625. Rockland KS, Ojima H (2001) Calcarine area V1 as a multimodal convergence area. Soc for Neurosc Abst 27:511.20. Rugg MD, Doyle MC, Wells T (1995) Word and nonword repetition within- and across-modality: An event-related potential study. J Cogn Neurosci 7:209-227. Sakowitz OW, Quiroga RQ, Schrmann M, Basar E (2001) Bisensory stimulation increases gamma-responses over multiple cortical regions. Cogn Brain Res 11:267-279. Sams M, Aulanko R, Hamalainen H, Hari R, Lounasmaa OV, Lu ST, Simola J (1991) Seeing speech: Visual information from lip movements modifie activitiy in the human auditory cortex. Neurosci Lett 127:141-145. Scherg M, von Cramon D (1986) Evoked dipole source potentials of the human auditory cortex. Electroenceph Clin Neurophysiol 65:344-360. Scherg M (1990) Fundamentals of dipole source potential analysis. In Auditory evoked magnetic fields and electric potentials. Advances in audiology,Vol.5 (Grandori F, Hoke M, Romani GL, Eds), pp. 40-69. Karger: Basel. Schroeder CE, Mehta AD, Ulbert I, Steinschneider M, vaughan HG (1995) Visual reponses in auditory cortex and their modulation by attention. Soc for Neurosc Abst 21:694. Schroeder CE, Foxe JJ (2002) Timing and laminar profile of converging inputs in multisensorory areas of macaque neocortex. Cogn Brain Res 14:187-198. Schroeder CE, Lindsley RW, Specht C, Marcovici A, Smiley JF, Javitt DC (2001) Somatosensory input to auditory association cortex in the macaque monkey. J Neurophysiol 8:1322-1327. Stein BE, Meredith MA (1993) The merging of the senses. Cambridge, MA, USA: The MIT Press. Stein BE, Meredith MA, Wallace MT (1993) The visually responsive neuron and beyond: Multisensory integration in cat and monkey. Prog Brain Res 95:79-90. Stein BE, Wallace MT (1996) Comparison of cross-modality integration in midbrain and cortex. In Progress in brain research, vol 112 (Norita M, Bando T, Stein B, Eds), pp. 289299. Elsevier Science BV. Teder-Slejrvi WA, McDonald JJ, Di Russo F, Hillyard SA (2002) An analysis of audio-visual crossmodal integration by means of potential (ERP) recordings. Cogn Brain Res 14:106-114. Thorpe S, Fize D, Marlot C (1996) Speed of processing in the human visual system. Nature 381:520-522. Toldi J, Fehr O, Wolff JR (1986) Sensory interactive zones in the rat cerebral cortex. Neuroscience 18:461-465. Vaughan HG, Ritter W (1970) The sources of auditory evoked responses recorded from the human scalp. Electroenceph Clin Neurophysiol 28:360-367. Vogel EK, Luck SJ (2000) The visual N1 component as an index of a discrimination process. Psychophysiology 37:190-203. Wallace MT, Meredith MA, Stein BE (1993) Converging influences from visual, auditory, and somatosensory cortices onto output neurons of the superior colliculus. J Neurophysiol 69:17971809. Watanabe J, Iwai E (1991) Neuronal activity in visual, auditory and polysensory areas in the monkey temporal cortex during a visual fixation task. Brain Res Bull 26:583-592. Welch, RB, Warren, DH (1986) Intersensory interactions. In: Handbook of Perception and Human Performance, Volume I: Sensory Processes and Perception (Boff KR, Kaufman L, Thomas JP, Eds), pp. 25/1-25/36. New York: Wiley. Yvert B, Bertrand O, Thevenet M, Echallier JF, Pernier J (1997) A systematic evaluation of the spherical model accuracy in EEG dipole localization. Electroenceph Clin Neurophysiol 102:452459.
133
CHAPITRE 9 - L'ATTENTION EST-ELLE

NECESSAIRE A L'INTEGRATION MULTISENSORIELLE ?
9.1 - PROBLEMATIQUE
Dans les expriences que nous venons de dcrire, les sujets devaient effectuer une tche explicite (identification / dtection) ncessitant un engagement attentionnel sur les stimuli bimodaux. Nous nous sommes alors interrog sur le rle de l'attention dans la gnration des rponses neuronales intgratives. Comme nous l'avons vu au cours du premier chapitre, les mesures comportementales peuvent rvler des effets de facilitation lorsque les sujets ne portent leur attention que sur une seule composante sensorielle (effet de facilitation intersensorielle) (1.2.1). Par ailleurs, de nombreuses tudes ont montr des rponses intgratives de neurones multisensoriels chez des animaux anesthsis (Newman et Hartline, 1981 ; Meredith et Stein, 1983 ; King et Palmer, 1985 ; Meredith et Stein, 1986a, 1986b). Ces rsultats suggrent que l'intgration des composantes bimodales peut s'effectuer de faon automatique. Mais cette hypothse n'a t que trs peu teste comportementalement (Driver, 1996) et notre connaissance jamais au niveau des mcanismes neurophysiologiques. En effet, si de nombreuses tudes (comportementales et lectrophysiologiques) se sont intresses l'attention intermodale (Alho et al., 1992a ; Alho et al., 1992b ; Woods et al., 1992 ; Dien et al., 1997 ; Eimer, 1999), elles ont essentiellement port sur les effets de l'attention spatiale en examinant de quelle faon l'attention un vnement particulier qui doit apparatre en un point prcis de l'espace peut influencer le traitement d'un second stimulus d'une autre modalit prsent partir de la mme ou d'une autre source spatiale (pour revue, Driver et Spence, 1998b ; Eimer, 2001). Ici, nous ne nous sommes pas intresss l'aspect spatial de l'attention intermodale, mais nous avons cherch savoir si l'attention est ncessaire l'intgration, autrement dit si le cerveau intgre les lments spars d'un objet bimodal (audio-visuel) quand
135
cet objet est non-pertinent pour la ralisation de la tche ; et dans l'affirmative, dans quelle mesure les interactions des traitements auditif et visuel diffrent de celles mises en jeu lorsque le sujet porte son attention l'objet (object-based attention). Cette tude n'tant qu'en cours de publication, elle sera dcrite plus en dtail que nos expriences prcdentes.
9.2 - METHODE
9.2.1 - SUJETS
Dix-sept sujets (moyenne d'ge : 21.8 ans; 8 femmes) ont particip cette tude. Tous taient droitiers, avaient une vision normale ou corrige la normale, et aucun ne souffrait de troubles auditifs ou neurologiques.
9.2.2 - STIMULI
Comme dans les expriences prcdentes, nous avons utilis les objets bimodaux A et B, dfinis par leur composante auditive seule (A1 et A2) ou visuelle seule (V1 et V2), ou par la combinaison de leurs composantes unimodales respectives (A1V1 et A2V2) (dure : 240 ms chacun). Par ailleurs, entre chaque prsentation d'objet (dformation transitoire du cercle et/ou stimulus sonore), un caractre alphanumrique (lettre capitale ou point d'interrogation) tait prsent au centre du cercle pendant une dure de 300 ms.
9.2.3 - PROTOCOLE
Les sujets taient assis face un cran dans une pice sombre et insonorise. L'exprience comportait deux conditions exprimentales successives incluant chacune la prsentation de 12 blocs de stimuli. Chaque bloc dbutait avec la prsentation sur l'cran du cercle de base - dont le centre servait de point de fixation durant toute l'exprience - et tait compos de 10 rptitions des 6 stimuli A1, A2, V1, V2, A1V1 et A2V2 prsents dans un ordre alatoire avec la mme probabilit. Les lettres prsentes au centre du cercle entre chaque objet, composaient des mots ou des non-mots (de 3 5 lettres) dlimits par l'apparition du point d'interrogation.
136
Condition" NON-ATTENTION" Dans la premire condition (NON-ATTENTION), les sujets devaient ignorer les objets A et B, porter leur attention sur les caractres alphanumriques et rapporter, chaque point d'interrogation, si la squence de lettres prsente depuis le point d'interrogation prcdent formait un mot ou non en pressant un bouton parmi deux. Les lettres et points d'interrogation taient prsents 350 ms aprs la prsentation des objets audiovisuels. Le dlai entre une lettre et la prsentation de l'objet suivant variait alatoirement de 500 650 ms et l'objet suivant un point d'interrogation tait prsent 1200 ms aprs le temps de raction (ou 2700 ms si le sujet n'avait pas rpondu) (Figure 45). Etant donn la demande attentionnelle importante requise par la tche (mmorisation et traitement smantique rapide), tous les sujets rapportaient qu'il tait trs difficile de porter une attention quelconque aux objets A et B.
Figure 45. Illustration de la tche et du dcours temporel de la prsentation des stimuli dans la condition NON-ATTENTION. En noir : stimuli pertinents pour la tche ; en gris : stimuli ignorer.
137
Condition "ATTENTION" Aprs une pause d'une dizaine de minutes, les sujets taient soumis au mme protocole exprimental, mais la tche tait diffrente : ils devaient ignorer tous les caractres alphanumriques et dterminer chaque prsentation de l'objet, quelle tait son identit (A ou B), indpendamment de sa modalit de prsentation. Dans cette condition dite ATTENTION, les caractres alphanumriques taient prsents 1200 ms aprs le temps de raction aux objets, et ceux-ci aprs un dlai alatoire de 500 650 ms aprs la lettre ou le point d'interrogation (Figure 46).
Figure 46. Illustration de la tche et du dcours temporel de la prsentation des stimuli dans la condition ATTENTION. En noir : stimuli pertinents pour la tche ; en gris : stimuli ignorer.
9.2.4 - ENREGISTREMENT DE L'EEG ET ANALYSES DES DONNEES

Les mthodes d'enregistrements lectrophysiologiques ainsi que l'analyse des donnes sont similaires celles dcrites dans le chapitre 6 de ce manuscrit.
138
9.3 - RESULTATS
9.3.1 - RESULTATS COMPORTEMENTAUX
Dans la condition ATTENTION, une analyse de variance deux facteurs (ANOVA) portant sur les temps de raction selon l'objet (A ou B) et la modalit de prsentation (A, V, AV) a montr un effet significatif de la modalit [F(2,96)=14.27, p<0.0001] : conformment nos attentes, les sujets taient plus rapides pour traiter les stimuli bimodaux (TR moyen : 504 ms) que les stimuli sonores (TR moyen : 591 ms) ou visuels (TR moyens : 574 ms). (Aucun autre effet ou interaction n'tait significatif). Par ailleurs, selon la procdure utilise dans les prcdentes expriences (Giard et Peronnet, 1999 ; Fort et al., 2002b), les sujets ont t spars en deux sous-groupes selon leur dominance sensorielle value sur la base de leur temps de raction aux stimuli unimodaux : 7 sujets (dont 3 femmes) prsentaient des temps de raction plus courts pour les stimuli auditifs que pour les stimuli visuels ("sujets auditifs"), et 10 sujets (dont 5 femmes) prsentaient le rsultat inverse ("sujets visuels"). Le Tableau 1 rcapitule les temps de raction moyens obtenus sparment pour ces deux groupes de sujets et pour les trois types de stimulations (AV, A, V). Tableau 1 Temps de raction moyens erreurs standards (en ms) pour identifier les objets A et B prsents en conditions bimodale (AV) ou unimodale auditive (A) ou visuelle (V), sparment pour les sujets auditifs (N = 7) et visuels (N = 10). Sujets auditifs AV Objet A Objet B Moyenne 519 39 511 71 515 53 A 580 39 581 71 580 52 V 615 52 617 74 616 55 AV 498 86 493 69 494 71 Sujets visuels A 610 86 588 63 597 67 V 545 80 545 73 543 71
Dans la condition NON-ATTENTION, les performances moyennes des sujets taient de 92% et 96% de bonnes rponses respectivement pour les mots et les non-mots, confirmant l'engagement attentionnel important dans cette tche distractive.
139
9.3.2 - RESULTATS ELECTROPHYSIOLOGIQUES
Rponses aux stimuli unimodaux La Figure 47 illustre, pour un sous-ensemble d'lectrodes, les rponses voques unimodales, visuelles et auditives, dans chacune des deux conditions, ATTENTION et
NON-ATTENTION.
Ces rponses prsentent les morphologies habituelles des activits
gnres dans les aires sensorielles spcifiques. Dans les deux conditions exprimentales, l'onde auditive N1 est maximum vers 100 ms sur les lectrodes fronto-centrales (amplitude moyenne respectivement en ATTENTION et en NON-ATTENTION : -4.5 et -4.3 V Cz). A la mme latence, cette activit prsente une inversion de polarit au niveau des mastodes (amplitudes moyennes respectives : 1.6 et 1.8 V Ma1, et 1.6 et 1.7 V Ma2). L'onde N1 est suivie de l'onde auditive P2 maximum vers 180 ms dans la condition ATTENTION (amplitude moyenne Cz : 5.0 V). Dans la condition NON-ATTENTION, P2 est maximum vers 165 ms, et prsente une amplitude plus faible (amplitude moyenne Cz : 4.0 V).
Figure 47. Rponses voques unimodales auditives et visuelles dans les conditions ATTENTION et NONATTENTION un sousensemble d'lectrodes sur une priode de 350 ms dont 100 ms avant le stimulus.
Dans les PE visuels, la premire grande dflection (N1) est maximum aux lectrodes occipito-paritales vers 175 ms dans les deux conditions exprimentales, mais prsente une plus faible amplitude dans la condition NON-ATTENTION (amplitude moyenne P13 : - 4.0 V) que dans la condition ATTENTION (-5.7 V) [F(1,16)=15.52, p<0.001].
140
Estimation des effets d'interactions : [AV-(A+V)] Comme l'illustre la Figure 48 les PE pour les stimuli bimodaux (AV) ont globalement la mme morphologie que la somme des rponses aux stimuli unimodaux (A+V) et ceci dans les deux conditions exprimentales. Nanmoins, des diffrences significatives entre la rponse voque aux stimuli bimodaux et la somme des rponses unimodales auditives et visuelles - sont observes dans les 200 premires millisecondes du traitement.
Figure 48. Rponses voques bimodales (AV) et somme des rponses unimodales (A+V) dans les conditions ATTENTION (en haut) et NON-ATTENTION (en bas) un sousensemble d'lectrodes, sur une priode de 350 ms dont 100 ms avant le stimulus.
Ces interactions apparaissent dans les aires sensorielles spcifiques, auditives et visuelles, et dans les rgions temporo-frontales. Elles dpendent encore en partie de la dominance sensorielle des sujets et diffrent selon l'attention porte aux objets.
141
Interactions neuronales dans les aires auditives Un premier pattern d'interaction est observ entre 80 et 140 ms de latence. De faon inattendue, comme l'illustre la Figure 49, cet effet apparat uniquement dans la condition NON-ATTENTION chez les sujets dominance auditive. Il consiste en un champ de potentiel positif sur les rgions fronto-centrales (amplitude moyenne Fz, F3, FC1, FC2, Cz, C3, CP1 : 1.05 V) associ des potentiels ngatifs vers les mastodes. Cette activit est significative (p<0.05) de 85 105 ms et de 120 135 ms, mais conserve une topographie stable durant toute la priode. La distribution spatiotemporelle de cet effet, similaire celle de l'onde N1 auditive mais de polarit oppose, suggre donc que ces interactions pourraient reflter une diminution de l'amplitude de l'onde N1 auditive, c'est--dire une activation plus faible de ses gnrateurs dans le cortex auditif.
Figure 49. Interactions neuronales entre 80 et 140 ms sur les rgions fronto-centrales. Les distributions de potentiel et les cartes de Student (illustrant les zones o les interactions sont significatives au seuil de 5 %) sont donnes sparment chez les sujets auditifs et visuels et selon la condition exprimentale : ATTENTION vs NON-ATTENTION.
La Figure 50 et le Tableau 2 illustrent en dtail l'effet de l'attention sur les PE auditifs unimodaux et bimodaux sparment chez les sujets auditifs et visuels. Ces donnes confirment que, quel que soit le groupe de sujets, l'attention n'avait pas d'effet sur l'onde N1 auditive unimodale12. Par contre, chez les sujets auditifs, les amplitudes de
Cette absence d'effet attentionnel sur l'onde N1 auditive (et jusqu'aux latences de 150 ms environ), peut paratre surprenante la lumire des donnes de la littrature sur l'attention auditive. Notons cependant, que contrairement la plupart de ces tudes, notre protocole ne manipulait pas l'attention spatiale
12
142
l'onde N1 sont similaires pour les rponses unimodales et bimodales (respectivement 6.0 et -5.9 V Fz) dans la condition ATTENTION, mais elles diffrent dans la condition
NON-ATTENTION
(amplitude moyenne des rponses unimodales et bimodales :
respectivement -6.1 vs -4.9 V Fz ; p<0.03). Cette difrence est confirme par une
ANOVA
deux facteurs comparant l'amplitude de l'onde N1 Fz selon la modalit
(rponses unimodales / bimodales) et l'attention (ATTENTION / NON-ATTENTION) : l'analyse ne montre pas d'effet principal de l'attention, mais une interaction significative des deux facteurs [F(1,6)=7.82, p<0.03]. Autrement dit, les interactions observes autour de 80-140 ms traduisent trs probablement une diminution de l'onde N1 auditive dans la rponse bimodale quand l'attention est porte sur les caractres alphanumriques.
Figure 50. Effet de l'attention sur l'onde N1 auditive dans les PE auditifs unimodaux et bimodaux enregistrs en Fz, sparment chez les sujets auditifs et visuels (* : diffrence significative p<0.03).
(paradigmes classiques d'coute dichotique par exemple) mais l'attention base sur l'objet. Ces rsultats montrent des effets attentionnels plus tardifs (vers 150 ms). 143
Tableau 2 Amplitudes moyennes carts-types (en V) de l'onde N1 auditive Fz, dans les PE unimodaux auditifs (A) et bimodaux (AV) selon la condition attentionnelle sparment pour les sujets auditifs (N = 7) et visuels (N = 10). Sujets auditifs
ATTENTION PE unimodaux (A) PE bimodaux (AV) NON-ATTENTION
Sujets visuels
ATTENTION NON-ATTENTION
- 6.0 1.5 - 5.9 1.9
- 6.1 1.9 - 4.9 2.1
- 4.3 1.7 - 4.0 1.5
- 3.9 1.6 - 4.1 1.3
Remarque : dans toutes nos expriences, nous avons spar les deux groupes de sujets sur des critres purement comportementaux portant sur le temps de raction le plus court dans les rponses unimodales auditives ou visuelles. La figure 50 montre que les groupes de sujets ainsi dfinis se distinguent galement par leur ractivit neuro-lectrique dans le cortex auditif : les sujets auditifs ont une rponse N1 auditive plus ample que les sujets visuels (Tableau 2 ; Figure 50). Interactions neuronales dans les aires visuelles postrieures Un second pattern d'interaction a t observ sur les aires occipitales (Figure 51). Il apparat uniquement chez les sujets auditifs et dans les deux conditions exprimentales.
Figure 51. Interactions neuronales entre 100 et 150 ms sur les aires occipitales visuelles postrieures. Les distributions de potentiel et les cartes de Student (illustrant les zones o les interactions sont significatives au seuil de 5 %) sont donnes sparment chez les sujets auditifs et visuels et selon la condition exprimentale : ATTENTION vs NON-ATTENTION.
144
Dans la condition ATTENTION, ce pattern d'interaction apparat autour de 115-150 ms, avec une amplitude positive. Ces interactions sont significatives (p<0.05) sur les lectrodes O1, IMa, Iz et P13 entre 130 et 150 ms (amplitude moyenne : 0.9 V). Dans la condition NON-ATTENTION, un pattern similaire est observ entre 120 et 150 ms environ (amplitude moyenne sur Pz et POz : 1.36 V) et est significatif (p<0.05) de 120 135 ms. Les distributions spatio-temporelles de ces effets et l'absence de patterns similaires dans les rponses unimodales suggrent que ces interactions pourraient tre dues un recrutement de neurones dans les aires visuelles postrieures, peu ou pas activs par les stimuli visuels unimodaux ces latences.Dautres interactions sur les aires visuelles postrieures ont t observes autour de 175-200 ms (Figure 52). Ces interactions ont une topographie moins stable et/ou des amplitudes plus faibles que celles observes prcdemment. Elles ne sont significatives que dans la condition attentionnelle chez les sujets dominance visuelle (p<0.05 entre 185 et 200 ms ; amplitude moyenne POz, O1, O2, T5 : 0.6 V). La distribution spatio-temporelle de ces interactions pourrait reflter une diminution de lamplitude de londe N1 visuelle dans ce dernier groupe de sujets (les "fortes" amplitudes observes chez les sujets auditifs dans la condition NON-ATTENTION ne sont que trs marginalement significatives et sont instables).
Figure 52. Interactions neuronales entre 175 et 200 ms sur les aires occipitales visuelles postrieures. Les distributions de potentiel et les cartes de Student (illustrant les zones o les interactions sont significatives au seuil de 5 %) sont donnes sparment chez les sujets auditifs et visuels et selon la condition exprimentale : ATTENTION vs NON-ATTENTION
145
Interactions neuronales dans les rgions temporo-frontales Enfin, des amplitudes significatives de [AV-(A+V)] ont t observes sur les rgions temporo-frontales entre 150 et 175 ms, mettant en vidence une diffrence majeure entre les deux conditions attentionnelles : en effet, ces interactions apparaissent chez tous les sujets, mais seulement lorsquils portent leur attention aux objets A et B (Figure 53).
Figure 53. Interactions neuronales entre 150 et 175 ms sur les rgions temporo-frontales. Les distributions de potentiel et les cartes de Student (illustrant les zones o les interactions sont significatives au seuil de 5 %) sont donnes sparment chez les sujets auditifs et visuels et selon la condition exprimentale : ATTENTION vs NONATTENTION.
Chez les sujets auditifs, ces interactions sont significatives (p<0.05) de 150 175 ms sur les rgions temporo-frontales droites et de 150 170 ms environ sur les rgions homologues de l'hmisphre gauche (amplitude moyenne F8, F4, FT4 : -0.85 V et F7, F3, FT3 : -0.68 V). Chez les sujets visuels, le pattern d'interaction tait plus complexe avec une distribution plus large recouvrant la majorit des lectrodes frontales, centrales et temporales. Nanmoins, les distributions de potentiel (ainsi que les densits de courant non rapportes ici) n'excluent pas de possibles interactions neuronales dans les aires temporo-frontales bilatrales. Aucun pattern correspondant n'a t observ dans les rponses aux stimuli unimodaux, auditifs ou visuels, suggrant l encore que ces effets seraient dus de nouvelles activits induites uniquement par le caractre bimodal du stimulus.
146
9.4 - DISCUSSION : ATTENTION VERSUS NON-ATTENTION

En rsum, des interactions neuronales ont t observes dans les deux conditions exprimentales ATTENTION et NON-ATTENTION, indiquant que le traitement des informations auditives et visuelles interagit quelles que soient les ressources attentionnelles attribues aux objets bimodaux. Cependant les rseaux dinteraction diffrent partiellement selon lattention alloue aux objets. Dans la condition ATTENTION, comme dans les tudes prcdentes (Giard et Peronnet, 1999; Fort et al., 2002a, 2002b), ces interactions apparaissent dans les cortex modalit-specifiques et, dans les rgions temporo-frontales. En revanche, dans la condition NON-ATTENTION, elles sont limites aux cortex sensoriels. Enfin, quelle que soit l'attention porte aux objets, ces interactions diffrent encore partiellement dans les cortex sensoriels selon la modalit dominante des sujets.
9.4.1 - INTERACTIONS DANS LES AIRES MODALITE-SPECIFIQUES
Dans le cortex auditif Etant donn les rsultats obtenus dans la tche d'identification de cibles REDONDANTES (Giard et Peronnet, 1999) nous nous attendions dans la condition ATTENTION et chez les sujets visuels retrouver une augmentation de l'amplitude de l'onde N1 auditive traduisant une facilitation du traitement auditif en prsence de l'information visuelle. Or nous n'avons pas observ d'effet sur l'onde N1 auditive dans ce cas (Figure 49 : ligne 1). Ce rsultat (ou absence de rsultat) pourrait tre expliqu par la prsence des lettres ignorer dans cette exprience. En effet, il est possible que dans ce flux visuel rapide et complexe, le traitement de l'information pertinente (dformation des cercles en ellipse) soit perturb et ne pourrait plus faciliter le traitement de l'information auditive. En revanche, dans la condition NON-ATTENTION, nous avons observ des interactions pouvant correspondre une diminution de l'amplitude de l'onde N1 auditive chez les sujets auditifs. Cette observation, a priori tonnante, appelle trois remarques : Tout dabord, tant donn que nous navons pas observ deffet attentionnel sur la rponse auditive unimodale, ces rsultats indiquent que les rseaux d'interaction qui sous-tendent les phnomnes intgratifs dans le cortex auditif sont plus sensibles lattention que le traitement uni-sensoriel.
147
Par ailleurs dans la condition NON-ATTENTION, la modalit auditive, contrairement la modalit visuelle, devait tre entirement ignore. Plusieurs tudes sur lattention ont montr lexistence de mcanismes actifs de rejets des entres acoustiques non-pertinentes, se manifestant, dans les PE, par un dplacement positif de la rponse pour les stimuli non-pertinents (Alho et al., 1987 ; Berman et al., 1989 ; Michie et al., 1990 ; Alain et Woods, 1994 ; Alho et al., 1994), et dans les tudes de neuroimagerie par une activit plus faible dans le cortex auditif (Ghatan et al., 1998 ; Kawashima et al., 1999). Les rsultats observs ici suggrent donc que ces mcanismes actifs dinhibition du traitement cortical auditif sont plus prgnants sur le stimulus bimodal (sans doute pour optimiser les traitements de la modalit visuelle, pertinente pour la tche smantique).
Enfin, notons que ces processus dinhibition du traitement auditif nont t observs que chez les sujets dominance auditive, c'est--dire les sujets rpondant vigoureusement une entre acoustique. Chez les sujets "peu rpondants" la modalit auditive (sujets visuels) l'attention n'a pas eu d'effet sur le traitement auditif.
Ces observations (rduction de l'amplitude de l'onde N1 auditive chez les sujets les plus rpondants dans cette exprience, augmentation de l'amplitude de l'onde N1 chez les sujets les moins rpondants dans ltude de Giard et Peronnet, 1999) convergent vers lide que lintgration des informations bimodales agit en "r-quilibrant" les engagements nergtiques des cortex sensoriels spcifiques.
Dans les aires visuelles Cette hypothse est encore conforte par lobservation dinteractions dans les aires visuelles postrieures seulement chez les sujets dominance auditive. Mais, contrairement aux patterns dinteraction dans les aires auditives qui dpendaient crucialement de lattention aux objets, les interactions sur les aires occipitales entre 120 et 150 ms sont observes quelle que soit la direction de lattention. Ces rsultats appellent l encore plusieurs remarques : Tout dabord, la distribution spatio-temporelle des effets et leur spcificit aux sujets auditifs rpliquent les rsultats observs par Giard et Peronnet (1999) et par Fort et al. (2002b), bien que ces effets ne commencent ici que vers 115-120 ms. Labsence deffets plus prcoces (40 ms) pourrait tre due la prsence des
148
caractres alphanumriques et la demande nergtique visuelle requise pour les ignorer, modifiant le contexte gnral purement "facilitateur" cr dans les expriences prcdentes. Par ailleurs, le fait que ce pattern dinteraction autour de 120-150 ms ait t observ quelle que soit lattention alloue aux objets pourrait tre en partie expliqu par lengagement gnral de lattention visuelle quelle que soit la tche (identification des lettres ou des objets). Cette hypothse est cependant peu probable puisque l'amplitude de la rponse unimodale visuelle est
significativement plus faible quand l'attention est porte aux caractres alphanumriques que lorsqu'elle est porte aux objets (voir 9.3.2, p. 137). Des interactions significatives dans les aires visuelles quelle que soit l'attention porte aux objets pourraient donc signer la robustesse de limplication du systme visuel dans le traitement intermodal, une hypothse renforce par lobservation rpte dinteractions plus importantes (dure et amplitude) dans les aires visuelles que dans les aires auditives au cours de lensemble de nos expriences. Enfin, bien que les effets soient moins stables, on observe encore, dans la condition attentionnelle, un pattern dinteraction sur les aires occipitales dont la distribution spatio-temporelle pourrait correspondre une diminution de lamplitude de londe N1 visuelle chez les sujets visuels. Ces rsultats rpliquent en partie les observations de Giard et Peronnet (1999) qui avaient rapport ce phnomne chez l'ensemble des sujets. Par ailleurs, le fait que ces interactions ne sont significatives que lorsque les sujets doivent identifier les objets A et B conforte linterprtation selon laquelle la modulation de londe N1 visuelle pourrait tre associe une facilitation de la discrimination visuelle (Vgel et Luck, 2000; Giard et Peronnet, 1999; Fort et al, 2002b).
9.4.2 - INTERACTIONS NEURONALES DANS LES REGIONS TEMPORO-FRONTALES

Bien que prsentant des topographies peu stables et lgrement diffrentes dans les deux groupes de sujets, des patterns d'interaction ont t observs dans la mme fentre de latence (autour de 160 ms) dans les rgions temporo-frontales bilatrales. Quel que soit le groupe considr, ces interactions n'apparaissent que dans la condition ATTENTION. Des effets similaires mais restreints l'hmiscalp droit ont t observs dans les tudes prcdentes dans lesquelles les sujets effectuaient une tche explicite
149
(identification, dtection) sur les objets (Giard et Peronnet, 1999 ; Fort et al., 2002a ; Fort et al., 2002b). L'ensemble de ces donnes convergent donc pour associer ces interactions un traitement explicite des cibles bimodales quel que soit leur contenu informationnel ou la tche effectuer. Comme on l'a dj voqu, ces interactions pourraient correspondre aux activations spcifiques mises en jeu dans le traitement de la synchronie d'entres sensorielles multiples (Bushara et al., 2001).
9.4.3 - CONCLUSION
Lensemble de ces rsultats indiquent donc que lintgration des informations auditives et visuelles dans la perception est partiellement automatique, et que les processus intgratifs sont qualitativement et quantitativement diffrents selon lattention porte aux objets. Par ailleurs ils confirment la robustesse de leur flexibilit en fonction de la modalit dominante des sujets, qui sexprime quelle que soit l'attention alloue au traitement bimodal (Giard et Peronnet, 1999; Fort et al., 2002a ; Fort et al., 2002b).
150
L'approche lectrophysiologique nous a permis d'identifier et de suivre le dcours temporel des oprations neuronales lies spcifiquement au caractre bimodal des messages sensoriels perus. Plus prcisment, nous avons pu comparer les interactions des traitements auditif et visuel dans les 200 premires millisecondes d'analyse en fonction du contexte exprimental (contenu
informationnel des stimuli bimodaux, tche perceptuelle effectuer, attention). Nous avons montr que les mcanismes intgratifs mettent en jeu des rseaux d'aires crbrales distribues impliquant la fois les cortex modalit-spcifiques et des rgions non-spcifiques, ds 40 ms aprs la prsentation du stimulus. De plus ces mcanismes dpendent fortement de paramtres exognes (lis au contexte exprimental) et endognes (lis au sujet), une complexit traduisant la flexibilit des stratgies possibles mises en place par le cerveau pour traiter de faon efficace les diffrentes informations sensorielles appartenant un mme objet.
153
CHAPITRE 10 - MULTIPLICITE ET
FLEXIBILITE DES MECANISMES PHYSIOLOGIQUES DE L'INTEGRATION AUDIO-VISUELLE
L'ensemble des rsultats observs dans nos expriences ajouts ceux de Giard et Peronnet (1999), montrent la robustesse des processus intgratifs qui mettent en jeu les cortex dits modalit-spcifiques et des rgions non spcifiques temporo-frontales droites et probablement le colliculus suprieur. Cependant, ils rvlent galement la multiplicit et la flexibilit de ces mcanismes qui dpendent la fois (1) de la dominance sensorielle des sujets dans la tche considre, (2) de la nature de cette tche percepuelle, (3) du contenu informationnel des objets bimodaux et (4) de l'engagement attentionnel sur ces objets.
10.1 - FLEXIBILITE
DES PROCESSUS INTEGRATIFS DANS LES AIRES
SENSORIELLES SPECIFIQUES
10.1.1 - INFLUENCE DE LA
TACHE
SENSIBILITE SENSORIELLE DOMINANTE DU SUJET POUR LA
Un phnomne particulirement intressant, observ pour la premire fois par Giard et Peronnet (1999) et que nous avons retrouv dans les trois expriences prsentes ici, est que les interactions mettant en jeu les cortex spcifiques sont trs sensibles la modalit sensorielle dominante du sujet pour effectuer la tche requise. De faon gnrale, ces interactions taient plus importantes dans le cortex de la modalit non-dominante, cest--dire dans le cortex auditif pour les sujets dominance visuelle et dans le cortex visuel pour les sujets dominance auditive. Bien que dans lexprience portant sur les effets attentionnels, nous ayons observ une rduction de l'activit du cortex auditif chez les sujets dominance auditive lorsque les stimuli
155
bimodaux devaient tre ignors, ces effets ont t discuts en terme de "rquilibrage" des nergies sensorielles engages (inhibition active des traitements nonpertinents dans le cortex de la modalit la plus forte). Cette flexibilit des rseaux d'interaction en fonction de la dominance sensorielle des sujets rvle le caractre hautement adaptatif des processus intgratifs. Ces interactions joueraient un rle facilitateur dans la ralisation de la tche, le plus souvent en amliorant le traitement dans le cortex de la modalit la moins "efficace" pour raliser cette tche. Cette proprit peut tre directement lie la rgle d'efficacit inverse dfinie par Stein et collaborateurs au niveau du neurone unitaire (revue Stein et Meredith, 1993). Rappelons que cette rgle stipule que la rponse d'un neurone multisensoriel un stimulus bi- ou tri-modal est d'autant plus forte que les diffrentes composantes unimodales sont peu efficaces (i.e. proches du seuil de dtection). Ce principe s'appliquerait donc galement chez l'homme, au niveau "intgr" de l'activit des cortex sensoriels dont la fonction intgrative serait d'autant plus forte que l'efficacit subjective des informations unimodales serait faible.
10.1.2 - INFLUENCE DE LA TACHE PERCEPTUELLE

Paralllement cette sensibilit "l'expertise" sensorielle du sujet, nos rsultats ont montr que les interactions dans les cortex modalit-spcifiques sont galement sensibles la tche effectuer, donc la nature des processus perceptuels impliqus pour la ralisation de cette tche. En effet, bien que des interactions trs prcoces (ds 40-50 ms) dans les aires visuelles postrieures aient t rapportes la fois dans l'identification et la dtection des cibles REDONDANTES, une diminution de lamplitude de londe N1 visuelle (autour de 185 ms) n'a t observe que lorsque les sujets devaient identifier les objets. Comme nous l'avons dj voqu, il a t rcemment montr que l'onde N1 visuelle jouerait un rle fonctionnel spcifique dans les processus de discrimination visuelle. L'absence d'interaction bimodale au niveau de l'onde N1 dans la tche de dtection signifierait donc que les mcanismes intgratifs oprent spcifiquement sur les processus neuronaux particulirement impliqus pour raliser la tche.
10.1.3 - INFLUENCE DU CONTENU INFORMATIONNEL DES STIMULI

Par ailleurs, nous avons montr l'influence du contenu informationnel des objets sur les mcanismes intgratifs dans les tches d'identification.
156
Comme nous l'avons vu dans le paragraphe prcdent, une diminution de lamplitude de londe N1 visuelle (autour de 185 ms), interprte comme une facilitation de la discrimination, a t observe dans lidentification de cibles REDONDANTES, mais, de faon logique, aucun effet similaire n'a t rapport dans l'identification de cibles
NON-REDONDANTES,
c'est-a-dire lorsque le caractre non-redondant des stimuli
bimodaux ne facilite pas la discrimination des objets. Notons par ailleurs que si des interactions trs prcoces (ds 40 ms) ont pu tre observes dans les aires visuelles postrieures (chez les sujets auditifs) lorsque les objets portent des informations unimodales redondantes, les premiers patterns d'interaction dans les mmes rgions n'apparaissent pas avant 140 ms dans l'identification de cibles NON-REDONDANTES (toujours chez les sujets auditifs). Il est peu probable que le cerveau ait dj dtermin le caractre redondant des messages auditifs et visuels aprs seulement 40 ms de traitement. Les diffrences de latences des premires interactions entre ces deux tudes pourraient traduire un effet du contexte exprimental gnral induit par le caractre redondant ou non des objets : dans le premier cas, les sujets sont prts traiter rapidement les stimuli (contexte de facilitation mettant possiblement en jeu des processus top-down13), tandis que dans le second cas, ils savent qu'ils doivent identifier les deux messages sensoriels avant la slection de la rponse.
10.1.4 - INFLUENCE DE L'ATTENTION PORTEE AUX OBJETS

Comme on l'a dj voqu ( 10.1.1), l'attention induit des effets diffrents sur les interactions bimodales selon la dominance sensorielle des sujets et le cortex considr. Un rsultat important est le non-paralllisme des phnomnes observs dans les cortex visuel et auditif. Rappelons que, dans le cortex auditif et chez les sujets auditifs, nous avons observ une inhibition du traitement des stimuli bimodaux non-pertinents lorsque les sujets portaient leur attention sur les caractres alphanumriques. Autrement dit, les interactions dans le cortex auditif dpendent de l'attention. En revanche, dans le cortex visuel, nous avons observ des activits neuronales spcifiquement lies au caractre bimodal des objets quelle que soit La technique des PE qui repose sur l'hypothse que la rponse observe correspond la moyenne de n rponses lmentaires " partir d'une activit zro" (ligne de base), ne prend pas en compte le fait que le cerveau "travaille" probablement diffremment selon des connaissances sur le contexte exprimental acquises priori par les consignes ou les premiers essais et les stratgies particulires dveloppes pour arriver aux rsultats au moindre cot nergtique. L'absence d'effets prcoces dans l'identification d'objets
13
157
l'attention qui leur tait porte. Cet effet dissymtrique pourrait s'expliquer par le fait que l'attention est toujours alloue la modalit visuelle dans notre protocole, quels que soient les stimuli pertinents (objets ou caractres alphanumriques). Elle pourrait donc faciliter le traitement des objets bimodaux dans le cortex visuel une tape prcoce de l'analyse (120 ms) quel que soit le traitement ultrieur accord ces objets. Cependant, la seule hypothse d'un biais attentionnel visuel dans notre protocole pour expliquer la dissymtrie des effets observs est peu probable puisque nous avons montr que la rponse visuelle unimodale tait fortement affecte par la direction de l'attention visuelle (objets vs caractres alphanumriques). Autrement dit, la tche attentionnelle utilise ici (object-based attention), mme purement visuelle, peut moduler l'activit du cortex visuel. L'observation de patterns d'interaction similaires dans le cortex visuel quelle que soit la direction de l'attention pourrait donc souligner la robustesse des mcanismes intgratifs dans le cortex visuel. En d'autres termes, la modalit visuelle serait globalement dominante - au moins chez l'homme non seulement sur l'ensemble de nos perceptions unimodales, mais galement pour l'intgration des messages visuels avec des informations non-visuelles (au moins dans les tches utilises dans nos expriences)
10.1.5 - CONCLUSION : DES CORTEX "UNI-SENSORIELS" ?

L'une des observations les plus marquantes des tudes rcentes sur le traitement intermodal est donc l'implication des cortex dits modalit-spcifiques dans les processus intgratifs (Sams et al., 1991 ; Okajima et al., 1995 ; Calvert et al., 1997 ; Calvert et al., 1999 ; Giard et Peronnet, 1999 ; Foxe et al., 2000 ; MacSweeney et al., 2000 ; Calvert, 2001 ; Rockland et Ojima, 2001 ; Schroeder et al., 2001 ; Colin et al., 2002 ; Falchier et al., 2002 ; Foxe et al., 2002 ; Lutkenhoner et al., 2002 ; Molholm et al., 2002 ; Mottonen et al., 2002 ; Pourtois et al., 2002 ; Schroeder et Foxe, 2002 ; Teder-Salejarvi et al., 2002). Nos donnes confirment ces observations, et montrent de plus que les rseaux d'interaction dans les cortex sensoriels sont robustes mais hautement flexibles, sensibles l'attention, la dominance sensorielle des sujets, au contenu informationnel du stimulus et la tche effectuer. Ces interactions dans les cortex sensoriels semblent la fois mettre en jeu des neurones peu ou pas activs par les stimuli unimodaux et moduler des activits unimodales. Quel que soit leur mode bimodaux redondants dans l'tude des effets attentionnels pourrait galement s'expliquer par le contexte diffrent induit par la prsence des caractres alphanumriques ignorer. 158
d'action, elles pourraient jouer un rle trs important largement ignor ou sous-estim, ds les premires tapes de l'analyse sensorielle proprement dite.
10.2 - FLEXIBILITE
NON-SPECIFIQUES
DES PROCESSUS INTEGRATIFS DANS LES REGIONS
10.2.1 - IMPLICATION PROBABLE DU COLLICULUS SUPERIEUR DANS LA DETECTION DE

CIBLES BIMODALES
Dans la tche de dtection et uniquement dans cette tche, les donnes observes (distributions de potentiel et de densit de courant radial, et modlisation dipolaire) autour de 105-140 ms suggrent l'existence d'interactions neuronales dans une structure profonde qui pourrait correspondre au colliculus suprieur. En effet, comme nous l'avons vu dans la premire partie, le colliculus suprieur est impliqu dans les comportements d'orientation attentionnelle vers une cible et appartient aux voies de traitement visuelles et auditives. De plus, on trouve dans ses couches profondes, des neurones multisensoriels ayant un fort pouvoir intgratif. Enfin, l'activation du colliculus suprieur a t soulign dans une tude IRMf o les sujets devaient observer passivement des stimuli audio-visuels (Calvert et al., 2001) ( 4.2.1). Quelle que soit l'origine exacte de ces interactions14, elles soulignent un trait fondamental des mcanismes multisensoriels. En effet, l'identification et la
discrimination peuvent tre considres comme des processus perceptuels de haut niveau en comparaison de la simple dtection des mmes stimuli. On pouvait donc s'attendre, si la dtection prcde l'identification dans la hirarchie des traitements sensoriels, ce que les oprations intgratives de bas niveau mises en jeu dans la dtection soient aussi actives durant l'identification des mmes stimuli. Les donnes rapportes ici ne confortent pas cette hypothse et montrent au contraire qu'il n'y a pas de facilitation neuronale dans ces processus sensoriels de bas niveau quand une analyse plus fine (identification) est ncessaire la ralisation de la tche. Ce rsultat souligne encore une fois la grande flexibilit et l'efficacit des processus intgratifs qui oprent en vue du "meilleur rsultat" au moindre cot nergtique.
Comme nous l'avons dj discut dans la partie exprimentale, nous ne pouvons exclure que le pattern d'interaction observ dans cette fentre de latence (105-140 ms) soit d une combinaison complexe d'activits distribues au niveau sous-cortical et cortical.
14
159
10.2.2 - IMPLICATION
DES REGIONS TEMPORO-FRONTALES DANS LE TRAITEMENT
EXPLICITE D'EVENEMENTS BIMODAUX
Quelle que soit la nature de la tche ou la dominance sensorielle des sujets, des interactions neuronales ont t observes de faon rpte dans les rgions temporofrontales droites, entre 140 et 195 ms, ds lors qu'un traitement explicite tait requis sur les objets bimodaux (aucun effet similaire n'tant observ lorsque l'attention n'tait pas porte aux objets). Ces rgions crbrales pourraient donc sous-tendre des fonctions intgratives plus gnrales que celles prises en charge par les cortex modalit-spcifiques ou le colliculus suprieur. Bien qu'une localisation prcise ne soit pas possible avec la technique des PE, la topographie de ces activits suggre un ou des gnrateurs situs au niveau de l'insula/claustrum, du cortex prfrontal et/ou du cortex temporo-polaire de l'hmisphre droit. Comme nous l'avons vu dans la premire partie, ces structures ont toutes t dcrites comme des sites de convergence ou d'intgration multisensorielle chez l'animal (Jones et Powell, 1970 ; Benevento et al., 1977 ; Horster et al., 1989 ; Fuster et al., 2000) et chez l'homme dans des tudes en IRMf et TEP (Paulesu et al., 1995 ; Hadjikhani et Roland, 1998 ; Calvert et al., 1999 ; Banati et al., 2000 ; Calvert et al., 2000b ; Downar et al., 2000 ; Gonzalo et al., 2000 ; Lewis et al., 2000 ; Bushara et al., 2001 ; Downar et al., 2002 ; Nunn et al., 2002). Un candidat particulirement intressant est l'insula droite qui a t souvent rapporte dans ces tudes et dont l'activation corrle spcifiquement avec la synchronisation temporelle d'entres multimodales (Bushara et al., 2001). Ainsi, les interactions neuronales observes dans la rgion temporo-frontale droite dans nos diffrentes tudes pourraient reflter la dtection explicite de plusieurs entres sensorielles concidentes dans le temps et ceci quel que soit le contenu informationnel des objets ou la tche effectuer.
10.3 - CONCLUSION
Un point particulirement intressant se dgageant de l'ensemble de nos donnes, est que les phnomnes intgratifs se manifestent par une facilitation neuronale dans les processus (tapes) de traitement particulirement pertinents pour raliser la tche de faon efficace (effets spcifiques dans le cortex sensoriel de la modalit "la plus faible", modulation de l'onde N1 visuelle pour la discrimination d'objets, effets dans le colliculus suprieur dans la tche ne demandant qu'un traitement plus superficiel). Ceci de nouveau souligne l'extrme flexibilit et l'efficacit des processus intgratifs.
160
CHAPITRE 11 - APPORTS SPECIFIQUES DES

MESURES ELECTROPHYSIOLOGIQUES POUR LA COMPREHENSION DES MECANISMES INTEGRATIFS
Nous avons vu au cours des prcdents chapitres que nos rsultats sont souvent compatibles avec les donnes rapportes dans les tudes d'activation IRMf et TEP chez l'homme, avec les modles thoriques de la psychologie cognitive et avec les rgles d'intgration qui oprent au niveau du neurone unitaire chez l'animal. Cependant, l'approche lectrophysiologique chez l'homme nous a permis d'apporter, par rapport chacun de ces domaines d'investigation, des lments spcifiques, complmentaires ou divergents, mais trs importants pour la comprhension des mcanismes intgratifs.
11.1 - DYNAMIQUE TEMPORELLE DES PROCESSUS INTEGRATIFS

Un intrt fondamental de l'approche lectrophysiologique est l'accs l'information temporelle. Dans nos tudes, nous avons volontairement limit l'analyse des interactions bimodales aux 200 premires millisecondes du traitement sensoriel (pour les raisons mthodologiques prsentes dans le chapitre 6). Cependant, ceci ne signifie pas que les processus intgratifs se limitent cette fentre temporelle, et d'autres mthodes d'analyse devraient tre recherches pour apprhender ces
phnomnes plus tardifs sans risque de confusion avec de fausses interactions (voir 6.3.1) Nos tudes ont montr l'existence de phnomnes intgratifs trs prcoces. Les donnes recueillies dans les tches d'identification et de dtection de cibles
REDONDANTES
montrent que les rponses aux stimuli bimodaux peuvent diffrer de la
somme des rponses unimodales ds 40-50 ms aprs la stimulation dans les aires visuelles, c'est--dire autour des latences des premires activations corticales. Bien que des activits anticipatoires (de type Variation Contingente Ngative) non
161
limines dans le modle additif pourraient gnrer des effets similaires dans la diffrence [AV-(A+V)] (voir chapitre 6), plusieurs arguments suggrent fortement que les effets prcoces observs dans nos expriences sont dus de relles interactions. Tout d'abord, dans toutes nos expriences, les objets taient prsents une cadence relativement lente (intervalles interstimulus variant de 1300 3000 ms), ce qui diminue la ncessit de recourir des processus d'anticipation du type VCN pour les sujets. Par ailleurs, une inspection visuelle de la priode de 100 ms prcdant le stimulus dans les deux tudes concernes montre la stabilit de la ligne de base autour de 0 (Figure 4 dans Giard et Peronnet, 1999 ; Figure 2 dans Fort et al., 2002a), sans rsidu de pente pouvant signer la prsence d'ondes lentes avant ou aprs la stimulation. Des contrles supplmentaires proposs par Teder-Slejrvi et al. (2002) pour supprimer les effets ventuels dus ces ondes lentes - calcul de la ligne de base sur la fentre temporelle 100-50 ms avant le stimulus ou application d'un filtre passe-haut 2 Hz - ne changent pas fondamentalement la latence ou la topographie des interactions prcoces (Fort et al. 2002a). Enfin, des interactions prcoces similaires ont t galement rapportes trs rcemment dans d'autres tudes lectrophysiologiques : ds 45 ms dans le cortex visuel dans une tche de simple dtection de cibles bimodales audiovisuelles (Molholm et al., 2002) et vers 50 ms dans le cortex somesthsique dans une tche de perception passive (donc sans "attente") de stimuli bimodaux auditifs et somesthsiques (Foxe et al., 2000).
Les latences prcoces des interactions neuronales dans les aires modalit-spcifiques suggrent que l'analyse uni-sensorielle de deux entres simultanes de diffrentes modalits et la combinaison de ces traitements uni-sensoriels pourraient oprer en parallle (dans le temps) et interagir dans les premires tapes corticales. La prcocit de ces effets est difficilement compatible avec l'hypothse de projections neuronales en retour partir d'aires polysensorielles, comme cela a souvent t propos (Driver et Spence, 1998a ; Macaluso et al., 2000 ; Calvert, 2001) et bien que ce phnomne puisse expliquer les effets plus tardifs que nous avons observs dans les aires visuelles et auditives. En revanche, l'existence de projections directes du cortex auditif primaire - activ ds 10 20 ms aprs la stimulation - vers le cortex visuel primaire (A17) rcemment mise en vidence chez le singe (Falchier et al. 2001; Rockland and Ojima 2001), pourrait rendre compte de ces interactions prcoces. Comme on l'a dj voqu, d'autres tudes ont rapport de faon similaire, des entres somesthsiques, auditives et visuelles dans le cortex auditif (Schroeder et al., 1995 ; Fu et al. , 2001 ; Schroeder et al., 2001 ; Schroeder et Foxe, 2002). Bien que le rle fonctionnel de ces connexions ne soit pas connu, elles pourraient participer
162
l'efficacit du traitement bimodal (saillance du stimulus accrue) sous le contrle de processus top-down dans des contextes exprimentaux "facilitateurs" ( 10.1.3).
11.2 - MESURES
COMPORTEMENTALES ET PHYSIOLOGIQUES
DES
DIVERGENCES POSSIBLES Nous avons vu dans le premier chapitre que, selon les modles psychologiques chez l'homme, la facilitation comportementale indice par des temps de raction plus courts pour traiter les stimuli bimodaux redondants s'expliquerait par la prsence d'interactions bimodales soit durant l'analyse sensorielle (modle de coactivation propos par Miller (1986,1991)), soit des tapes plus tardives du traitement (Giray et Ulrich, 1993 ; Hughes et al., 1994), ou mme pourrait tre explique sans interaction des traitements unimodaux (Raab, 1962). Rciproquement, on a montr chez l'animal que l'intgration multisensorielle au niveau du neurone unitaire est associe une facilitation comportementale (Stein et al., 1988 ; Stein et al., 1989). Nos donnes lectrophysiologiques confirment indubitablement les modles de coactivation, en rvlant l'existence d'interactions multisensorielles dans les tapes prcoces de l'analyse du stimulus (sans exclure pour autant des interactions des stades plus tardifs). Cependant, elles montrent aussi que les interactions neuronales ne signent pas obligatoirement une facilitation comportementale : les interactions observes lors de l'identification de cibles bimodales NON-REDONDANTES indiquent que les traitements sensoriels peuvent interagir mme lorsque le caractre bimodal des stimuli n'induit pas de facilitation comportementale. Ce rsultat ne pouvait pas tre prdit par les diffrents modles thoriques cits plus haut, mais il est en accord avec les "principes neuronaux" d'intgration mis en vidence au niveau du neurone unitaire chez l'animal : des phnomnes de synergie neuronale peuvent tre induits ds lors que deux entres de diffrentes modalits sont prsentes en coincidence spatiale et temporelle (Stein et Meredith 1993; Stein et Wallace, 1996 ; voir aussi Bushara et al. 2001).
11.3 - DEPRESSION
COMPORTEMENTALE
DE LA REPONSE NEURONALE ET FACILITATION
Les tudes chez l'animal, ont montr que le caractre intgratif des neurones multisensoriels rpondant des stimuli bimodaux qui coincident dans le temps et
163
l'espace se traduit par une augmentation importante de leur taux de dcharge au del de la somme des rponses unimodales. En revanche, deux stimuli unimodaux loigns dans le temps et/ou l'espace vont induire une diminution du taux de dcharge par rapport la rponse unimodale seule (Kadunce et al., 1997). Ces indices d'augmentation et de dpression de la rponse ont t utiliss comme critre pour dtecter des sites d'intgration multisensorielle dans des tudes IRMf chez l'homme (Calvert et al., 2000a ; Calvert et al., 2001). Or, comme le montre nos donnes, l'intgration bimodale de deux informations sensorielles coincidant dans le temps et l'espace peut galement se manifester par une rduction de l'activit crbrale. En effet, nous avons observ une diminution de l'amplitude de l'onde N1 visuelle gnre dans le cortex extra-stri, traduisant probablement une demande nergtique plus faible dans le systme visuel (facilitation neuronale) pour discriminer des stimuli rendus plus saillants par la prsence d'une information sonore. Des rductions d'amplitude similaires ont t observes dans des tudes PE plus anciennes (Davis et al., 1972) et dans des enregistrements MEG (Busch et al., 1989 ; Raij et al., 2000). Cette dernire tude rapportait une diminution de la rponse dans le sillon temporal suprieur gauche lorsque les sujets devaient catgoriser des lettres prsentes dans les modalits auditive et visuelle. La latence de ces effets (380 ms) ne permet cependant pas de dire s'il s'agit de vritables interactions bimodales, ou "simplement" d'activits communes engendres par la nature verbale des diffrents stimuli utiliss (unimodaux et bimodaux) qui ne seraient pas limines dans la diffrence [AV-(A+V)]. Quoi qu'il en soit, il existe de nombreux exemples dans les donnes EEG/MEG et TEP/IRMf, o une facilitation de traitement se manifeste par une rduction de la rponse neuronale (par exemple aprs apprentissage : Kok et de Jong 1980 ; Raichle et al., 1994). Une facilitation du traitement bimodal au niveau comportemental se traduisant par une dpression de la rponse neuronale n'est donc pas surprenante et illustre encore la varit des mcanismes neuronaux participant l'intgration multisensorielle.
164
CONCLUSION
CONCLUSION : INTEGRER POUR ATTEINDRE

EFFICACEMENT UN BUT
L'ensemble de nos travaux indiquent que le traitement perceptuel intermodal est fonction non seulement de critres exognes tels que le contenu informationnel des objets ou des vnements traiter, mais aussi de critres endognes comme les capacits sensorielles du sujet ou son tat attentionnel. Comme on l'a vu, l'organisation des rseaux d'interaction dpend galement crucialement de la tche effectuer, donc de la nature des processus perceptuels engags pour raliser cette tche. Autrement dit, le cerveau utilise les diffrentes informations offertes par les sens des degrs divers et de faon dynamique en fonction du but atteindre et de "l'expertise sensorielle" particulire du sujet pour atteindre ce but. Ceci donne lieu la mise en place de stratgies intgratives fines, dpendant fortement de l'individu, et dont l'objet est de faciliter efficacement les processus de traitement en oprant particulirement au niveau des tapes d'analyse les plus cruciales pour raliser la tche et ceci au moindre cot nergtique. Ces processus intgratifs multiples compltent donc les traitements uni-sensoriels en amliorant la ractivit neuronale de faon extrmement flexible. Nos travaux montrent que ces oprations intermodales doivent interfrer sur nos perceptions et comportements quotidiens des degrs sans aucun doute beaucoup plus importants que ce que l'on a gnralement considr jusqu'ici.
165
PERSPECTIVES
PERSPECTIVES : "THE BINDING PROBLEM"
Comme
nous
lavons
vu,
les
tudes
neurophysiologiques
sur
lintgration
multisensorielle chez lhomme sont trs rcentes et montrent dj lincroyable complexit de ces mcanismes. Par consquent, un long chemin reste effectuer avant de prtendre une comprhension globale de ces processus et plusieurs voies de recherches pourraient apporter des lments de comprhension. Nous en dvelopperons une en particulier qui se situe dans la problmatique plus gnrale du "Binding problem". La grande majorit des tudes neurophysiologiques portant sur les mcanismes soustendant lintgration multisensorielle chez lhomme tentent de dterminer quelles sont les structures crbrales impliques dans ces processus intgratifs. Comme nous lavons vu, les donnes mettent en vidence lexistence de rseaux distribus impliquant la fois les cortex modalit-spcifiques et des rgions frontales, temporales et paritales. Une autre grande question lucider serait donc de savoir comment ces diffrentes rgions crbrales, plus ou moins distantes les unes des autres, communiquent entre elles pour parvenir un percept unifi et cohrent des objets ou vnements multimodaux. Il a t propos que la communication entre diffrentes assembles neuronales soit sous-tendue par la synchronisation oscillatoire de leurs dcharges neuronales. Ltude des composantes spectrales de lactivit lectrophysiologique a permis dobserver les activits oscillatoires et leur synchronisation un niveau local (rseau stendant sur environ 1 cm travers des connexions monosynaptiques), mais galement entre des aires plus loignes (avec des connexions polysynaptiques) et dans diffrentes bandes de frquences (pour revue Varela et al., 2001). Le "binding problem" pourrait donc trouver une solution par des mcanismes exploitant le code temporel des activits neuronales (pour revue Engel et al., 2001 ; Engel et Singer, 2001). Des neurones qui rpondent aux mmes objets ou vnements pourraient dcharger en synchronie temporelle avec une prcision de lordre de la milliseconde. En revanche, il nexisterait pas de telle synchronie lorsquils rpondent des objets ou vnements diffrents. La synchronisation neuronale serait cruciale pour la reprsentation des objets, la slection de la rponse, lattention, la mmoire, lintgration sensori-motrice et dans le traitement de type top-down. Par exemple, il a t propos que la modulation top-down des
167
PERSPECTIVES
traitements sensoriels pourrait tre sous-tendue par des mcanismes neuronaux de synchronisations oscillatoires dpendant de lexprience, linfluence du contexte et le but atteindre (pour revue Tallon-Baudry et Bertrand, 1999 ; Engel et al., 2001). Les synchronisations longue-distance pourraient galement jouer un rle fondamental dans lintgration et le maintien de diffrentes informations sensorielles appartenant un mme objet (Miltner et al., 1999 ; Tallon-Baudry et Bertrand, 1999 ; von Stein et al., 1999 ; Engel et Singer, 2001) ; toutefois il ny a que trs peu dtudes qui aient examin ces phnomnes. Ainsi, dans une tude lectrophysiologique, Von Stein et collaborateurs (1999) ont demand leurs sujets de se concentrer sur la signification de stimuli correspondant des objets prsents, au cours de diffrents blocs de stimulation, sous la forme de dessins, de mots prononcs ou de mots crits, et ont examin la cohrence spectrale entre diffrentes rgions crbrales. Ils ont rapport une cohrence dans la bande de frquences bta (13-18 Hz) entre les cortex temporal et parital. Ces activits seraient lies aux activations smantiques indpendamment de la modalit et seraient donc impliques dans la reprsentation supramodale dentits. Cependant, ces donnes napportent pas dlments concernant lintgration proprement dite dinformations sensorielles. Paralllement, en utilisant une tche dobservation passive de stimuli auditifs, visuels ou audio-visuels non lis (ni structurellement, ni smantiquement), Sakowitz et al. (2000 ; 2001) ont cherch examiner les activits oscillatoires spcifiquement lies la convergence multisensorielle. Ils ont ainsi montr que les stimulations bimodales induisaient une augmentation spcifique dactivits dans la bande thta (4-7 Hz) sur les rgions fronto-centrales et dans la bande gamma sur les rgions centrale, paritale et occipitale, augmentations qui ne peuvent tre expliques par la somme linaire des rponses unimodales. Toutefois, contrairement Von Stein et al., ces auteurs ne se sont pas intresss la cohrence spectrale. Il serait particulirement intressant d'tendre ces travaux en examinant les cohrences spectrales lies spcifiquement lintgration de diffrentes composantes sensorielles appartenant un mme objet en tenant compte de linfluence de paramtres endognes ou exognes sur ces activits. Nous prdisons que la prsentation simultane des diffrentes composantes sensorielles dun objet congruent (un chien qui aboie) devrait augmenter la cohrence entre diffrentes rgions impliques dans le traitement. Il serait galement intressant d'observer ces mcanismes dans le cas d'une prsentation asynchrone des mmes composantes ou de la prsentation de composantes unimodales non-congruentes (un chien qui miaule).
168
TABLE DES ILLUSTRATIONS
Figure 1. Illustration de l'effet McGurk. ............................................................................6 Figure 2. Ventriloque et sa marionnette...........................................................................7 Figure 3. Donnes comportementales chez le chat. .....................................................15 Figure 4. Influence de la disparit spatiale sur les effets d'interactions........................18 Figure 5. Illustration d'un cas de synesthsie................................................................20 Figure 6. Globe oculaire (A) et dtails de la rtine (B). .................................................24 Figure 7. Schma des voies visuelles sous-corticales. .................................................26 Figure 8. Schma de la voie gniculo-strie.. ...............................................................29 Figure 9. Voies de traitement visuel chez le singe. .......................................................30 Figure 10. Reprsentation schmatique des voies de traitement visuel de la rtine au cortex.......................................................................................................................32 Figure 11. Structure des rgions externe, moyenne et interne de l'oreille. ..................34 Figure 12. Membrane basilaire et reprsentation tonotopique. ....................................35 Figure 13. Organe de Corti et cellules cilies internes et externes...............................36 Figure 14. Voies auditives priphriques.......................................................................37 Figure 15. Reprsentation des voies auditives ascendantes........................................39 Figure 16. Schma des aires audtives chez l'homme...................................................40 Figure 17. Schma des voies "what" (rouge) et "where" (vert) dans le systme cortical auditif du primate.....................................................................................................42 Figure 18. Rgions excitatrices et inhibitrices des champs rcepteurs d'un neurone multisensoriel type. .................................................................................................44 Figure 19. Accroissement de la rponse audio-visuelle (VA) par rapport aux rponses unimodales visuelle (V) ou auditive (A). (D'aprs Meredith et Stein, 1986b). .......45 Figure 20. Dpression de la rponse audio-visuelle. ....................................................46 Figure 21. Organisation schmatique des rseaux multisensoriels dans le cortex et le
CS chez
le chat. .......................................................................................................50
Figure 22. Localisation de quatre aires polymodales interconnectes chez le singe macaque. (D'aprs Graziano, 2001).......................................................................51 Figure 23. Localisation des rgions multimodales prsentant une rponse plus fortes pour les stimuli nouveaux que pour les stimuli familiers. .......................................56
171
TABLE
DES ILLUSTRATIONS
Figure 24. Activations obtenues par la prsentation de stimuli auditifs (A) et somesthsiques (B)................................................................................................ 57 Figure 25. Localisation des rgions multimodales sensibles au mouvement. ............. 58 Figure 26. Interactions audio-visuelles observes par Giard et Peronnet (1999)........ 61 Figure 27. Interactions audio-visuelles prcoces observes par Molholm et al. (2002) ................................................................................................................................ 62 Figure 28. Paradigme exprimental utilis par Calvert et al. (2001).. .......................... 64 Figure 29. Rseau d'aires crbrales rpondant aux critres d'intgration
(augmentation et dpression de la rponse pour les stimuli respectivement synchrones et asynchrones) .................................................................................. 65 Figure 30. Rgions crbrales communment actives dans les contrastes [AV-A] et [AV-V]...................................................................................................................... 67 Figure 31. Zone d'intgration dans la perception la parole bimodale........................... 68 Figure 32. Principe de l'extraction des potentiels voqus........................................... 74 Figure 33. Reprsentation du montage des lectrodes selon le Systme International 10-20....................................................................................................................... 75 Figure 34. Dfinition des diples de courant radiaux et tangentiels............................. 77 Figure 35. Distribution la surface du scalp des champs de potentiel produits par un diple tangentiel ( gauche) et radial ( droite). .................................................... 78 Figure 36. Illustration d'une rponse voque par la dformation transitoire d'un cercle en ellipse................................................................................................................. 82 Figure 37. Illustration d'une rponse voque par une stimulation auditive. ............... 83 Figure 38. Emplacement des 35 lectrodes actives utilises dans la srie d'tudes ralises au cours de nos travaux. ........................................................................ 86 Figure 39. Reprsentation des objets A, B et C utiliss. .............................................. 96 Figure 40. Topographie des interactions bimodales (mesures dans [AV-(A+V)]) dans la tche d'identification de cibles NON-REDONDANTES............................................ 98 Figure 41. Comparaison des interactions bimodales induites lorsque les sujets identifient des objets dfinis par des informations visuelles et auditives
REDONDANTES
et NON-REDONDANTES ................................................................... 100
Figure 42. Topographie des interactions bimodales (mesures dans [AV-(A+V)]) dans la tche de dtection. ........................................................................................... 119 Figure 43. Modlisation dipolaire de [AV-(A+V)] sur la priode 120-135 ms avec un modle sphrique. ................................................................................................ 120 Figure 44. Comparaison des interactions bimodales induites lorsque les sujets identifient (Giard et Peronnet, 1999) et dtectent (Fort et al., 2002a)................. 122
172
Figure 45. Illustration de la tche et du dcours temporel de la prsentation des stimuli dans la condition NON-ATTENTION .........................................................................137 Figure 46. Illustration de la tche et du dcours temporel de la prsentation des stimuli dans la condition ATTENTION .................................................................................138 Figure 47. Rponses voques unimodales auditives et visuelles dans les conditions
ATTENTION
et NON-ATTENTION................................................................................140
Figure 48. Rponses voques bimodales (AV) et somme des rponses unimodales (A+V) dans les conditions ATTENTION et NON-ATTENTION .....................................141 Figure 49. Interactions neuronales entre 80 et 140 ms...............................................142 Figure 50. Effet de l'attention sur l'onde N1 auditive ...................................................143 Figure 51. Interactions neuronales entre 100 et 150 ms.............................................144 Figure 52. Interactions neuronales entre 175 et 200 ms.............................................145 Figure 53. Interactions neuronales entre 150 et 175 ms.............................................146
173
REFERENCES BIBLIOGRAPHIQUES
1.
Alain, C., Arnott, S.R., Hevenor, S., Graham, S. and Grady, C.L. (2001). "What" and "where" in the human auditory system. Proc Natl Acad Sci U S A, 98 (21): 1230112306. Alain, C. and Woods, D.L. (1994). Signal Clustering Modulates Auditory Cortical Activity in Humans. Perception and Psychophysics, 56: 501-516. Alcaini, M., Giard, M.H., Echallier, J.F. and Pernier, J. (1995). Selective auditory attention effects in tonotopically organized cortical areas: A topographic ERP study. Human Brain Mapping, 2: 159-169. Alcaini, M., Giard, M.H., Thvenet, M. and Pernier, J. (1994). Two separate frontal components in the N1 wave of the human auditory evoked response. Psychophysiology, 31: 611-615. Alho, K., Tottola, K., Reinikainen, K., Sams, M. and Ntnen, R. (1987). Brain mechanism of selective listening reflected by event-related potentials. Electroencephalogr.Clin.Neurophysiol., 68: 458-470. Alho, K., Woods, D.L. and Algazi, A. (1992a). Processing of auditory stimuli during auditory and visual attention as revealed by event-related potentials. Psychophysiology: 1-33. Alho, K., Woods, D.L. and Algazi, A. (1994). Processing of auditory stimuli during auditory and visual attention as revealed by event-related potentials. Psychophysiology., 31: 469-479. Alho, K., Woods, D.L., Algazi, A. and Ntnen, R. (1992b). Intermodal selective attention. II. Effects of attentional load on processing of auditory and visual stimuli in central space. Electroencephalogr.Clin.Neurophysiol., 82: 356-368. Andersen, R.A., Snyder, L.H., Bradley, D.C. and Xing, J. (1997). Multimodal representation of space in the posterior parietal cortex and its use in planning movements. Annu Rev Neurosci, 20: 303-330. Andreassi, J.L. and Greco, J.R. (1975). Effects of bisensory stimulation on reaction time and the evoked cortical potential. Physiological Psychology, 3: 189-194. Anourova, I., Nikouline, V.V., Ilmoniemi, R.J., Hotta, J., Aronen, H.J. and Carlson, S. (2001). Evidence for dissociation of spatial and nonspatial auditory information processing. Neuroimage, 14 (6): 1268-1277. Ashmore, J. and Gale, J. (2000). The cochlea. Curr Biol, 10 (9): R325-327. Avan, P. and Bonfils, P. (1992). Analysis of possible interactions of an attentional task with cochlear micromechanics. Hear.Res., 57: 269-275. Baillet, S., Mosher, J.C. and Leahy, R.M. (2001). Electromagnetic brain mapping. IEEE Signal Processing Magazine, 18 (6): 14-30. Banati, R.B., Goerres, G.W., Tjoa, C., Aggleton, J.P. and Grasby, P. (2000). The functional anatomy of visual-tactile integration in man: a study using positron emission tomography. Neuropsychologia, 38: 115-124. Baron-Cohen, S., Harrison, J., Goldstein, L.H. and Wyke, M. (1993). Coloured speech perception: is synaesthesia what happens when modularity breaks down. Perception, 22: 419-426. Barth, D.S., Goldberg, N., Brett, B. and Di, S. (1995). The spatiotemporal organization of auditory, visual and auditory-visual evoked potentials in rat cortex. Brain Research, 678: 177-190.
2. 3.
4.
5.
6.
7.
8.
9.
10. 11.
12. 13. 14. 15.
16.
17.
177
18. 19.
Bear, F., Connors, B.W. and Paradiso, M.A. (1997). Neurosciences : A la dcouverte du cerveau (Traduction et adaptation franaise: Nieoullon A.). Paris: Pradel. Benedek, G., Fischer-Szatmari, L., Kovacs, G. and Katoh, Y.Y. (1996). Visual, somatosensory and auditory modality properties along the feline suprageniculateanterior ectosylvian sulcus/insular pathway. Prog.Brain Res, 112: 325-334. Benevento, L.A., Fallon, J., Davis, B.J. and Rezak, M. (1977). Auditory-visual interaction in single cells in the cortex of the superior temporal sulcus and the orbital frontal cortex of the macaque monkey. Experimental Neurology, 57: 849-872. Benevento, L.A. and Fallon, J.H. (1975). The ascending projections of the superior colliculus in the rhesus monkey (Macaca mulatta). J Comp Neurol, 160 (3): 339-361. Berman, S.M., Heilweil, R., Ritter, W. and Rosen, J. (1989). Channel probability and Nd: An event-related potential sign of attention strategies. Biological Psychology, 29: 107-124. Bermant, R.I. and Welch, R.B. (1976). Effect of degree of separation of visual-auditory stimulus and eye position upon spatial interaction of vision and audition. Percept Mot Skills, 42 (43): 487-493. Bertelson, P. and Radeau, M. (1981). Cross-modal bias and perceptual fusion with auditory-visual spatial discordance. Perception and Psychophysics, 29,6: 578-584. Berthoz, A. (1997). Le sens du mouvement. Paris. Bertrand, O., Perrin, F. and Pernier, J. (1991). Evidence for a tonotopic organization of the auditory cortex observed with auditory evoked potentials. Acta Oto.Laryngol., Suppl.491: 116-123. Boisacq-Schepens et Crommelink, M. (1996). Neuro-psycho-physiologie. Tome 1. Fonctions sensori-motrices. Paris: Masson. Bremmer, F., Schlack, A., Shah, N.J., Zafiris, O., Kubischik, M., Hoffmann, K.P., Zilles, K. and Fink, G.R. (2001). Polymodal motion processing in posterior parietal and premotor cortex: a human fMRI study strongly implies equivalencies between humans and monkeys. Neuron, 29: 287-296. Bruce, C., Desimone, R. and Gross, C.G. (1981). Visual properties of neurons in a polysensory area in superior temporal sulcus of the macaque. Journal of neurophysiology, 46,2: 369-383. Bullier, J. (1998). Architecture fonctionnelle du systme visuel. Vision : aspects perceptifs et cognitifs. Belin, C. Marseille, Solal. Bullier, J. and Nowak, L.G. (1995). Parallel versus serial processing: new vistas on the distributed organization of the visual system. Curr Opin Neurobiol, 5 (4): 497-503. Bullier, J., Schall, J.D. and Morel, A. (1996). Functional streams in occipito-frontal connections in the monkey. Behavioural Brain research, 76: 89-97. Busch, C., Wilson, G., Orr, C. and Papanicolaou, A.C. (1989). Crossmodal interactions of auditory stimulus presentation on the visual evoked magnetic reponse. Advances in Biomagnetism. Williamson, S. J. New York, Plenum Press. 221-224. Bushara, K.O., Grafman, J. and Hallett, M. (2001). Neural correlates of auditory-visual stimulus onset asynchrony detection. The journal of neuroscience, 21(1): 300-304. Bushara, K.O., Weeks, R.A., Ishii, K., Catalan, M.J., Tian, B., Rauschecker, J.P. and Hallett, M. (1999). Modality-specific frontal and parietal areas for auditory and visual spatial localization in humans. Nat Neurosci, Vol 2, Iss 8: 759-766. Caclin, A., Soto-Faraco, S., Kingstone, A. and Spence, C. (2002). Tactile "capture" of audition. Percept Psychophys, 64 (4): 616-630.
20.
21. 22.
23.
24. 25. 26.
27. 28.
29.
30. 31. 32. 33.
34. 35.
36.
178
37.
Callan, D.E., Callan, A.M., Kroos, C. and Vatikiotis-Bateson, E. (2001). Multimodal contribution to speech perception revealed by independent component analysis: a single-sweep EEG case study. Cognitive Brain Research, 10: 349-353. Calton, J.L., Dickinson, A.R. and Snyder, L.H. (2002). Non-spatial, motor-specific activation in posterior parietal cortex. Nat Neurosci, 5 (6): 580-588. Calvert, G.A. (2001). Crossmodal processing in the human brain: insights from functional neuroimaging studies. Cerebral Cortex, 11: 1110-1123. Calvert, G.A., Brammer, M.J., Bullmore, E.T., Campbell, R., Iversen, S.D. and David, A.S. (1999). Response amplification in sensory-specific cortices during crossmodal binding Neuroreport, 10(12): 2619-2623. Calvert, G.A., Bullmore, E.T., Brammer, M.J., Campbell, R., Williams, S.C., Mcguire, P.K., Woodruff, P.W., Iversen, S.D. and David, A.S. (1997). Activation of auditory cortex during silent lipreading. science, 276: 593-596. Calvert, G.A., Campbell, R. and Brammer, M.J. (2000a). Evidence from functional magnetic resonance imaging of crossmodal binding in the human heteromodal cortex. Current Biology, 10: 649-657. Calvert, G.A., Hansen, P., Iversen, S. and Brammer, M. (2000b). Crossmodal integration of non-speech audio-visual stimuli. Neuroimage, 11(5): S727. Calvert, G.A., Hansen, P.C., Iversen, S.D. and Brammer, M.J. (2001). Detection of audio-visual integration sites in humans by application of electrophysiological criteria to the BOLD effect. Neuroimage, 14: 427-438. Cansino, S., Williamson, S.J. and Karron, D. (1994). Tonotopic organization of human auditory association cortex. Brain Research, 663: 38-50. Casagrande, V.A. (1994). A third parallel visual pathway to primate area V1. Trends Neurosci, 17 (7): 305-310. Casagrande, V.A. (1999). The mystery of the visual system K pathway. J Physiol, 517 ( Pt 3): 630. Cathiard, M.A. and Tiberghien, G. (1994). Le visage de la parole: une cohrence bimodale temporelle ou configurationnelle. Psychologie.francaise., 39,4: 357-374. Celesia, G.G. (1976). Organization of auditory cortical areas in man. Brain, 99: 403414. Clark, V.P., fan, S. and Hillyard, S.A. (1995). Identification of early visual evoked potential generators by retinotopic and topographic analyses. Human Brain Mapping, 2: 170-187. Clark, V.P. and Hillyard, S.A. (1996). Spatial selective attention affects early extrastriate but not striate components of the visual evoked potential. Journal of Cognitive Neuroscience, 8: 387-402. Clarke, S., Bellmann, A., Meuli, R.A., Assal, G. and Steck, A.J. (2000). Auditory agnosia and auditory spatial deficits following left hemispheric lesions: evidence for distinct processing pathways. Neuropsychologia, 38 (6): 797-807. Cohen, Y.E. and Wessinger, C.M. (1999). Who goes there? Neuron., 24: 769-771. Colin, C., Radeau, M., Soquet, A., Demolin, D., Colin, F. and Deltenre, P. (2002). Mismatch negativity evoked by the McGurk-MacDonald effect: a phonetic representation within short-term memory. Clin Neurophysiol, 113 (4): 495-506. Corneil, B.D., Van Wanrooij, M., Munoz, D.P. and Van Opstal, A.J. (2002). Auditoryvisual interactions subserving goal-directed saccades in a complex scene. J Neurophysiol, 88 (1): 438-454. Davis, H., Osterhammel, P.A., Wier, C.C. and Gjerdingen, D.B. (1972). Slow vertex potentials: interactions among auditory, tactile, electric and visual stimuli. Electroencephalography and Clinical Neurophysiology, 33: 537-545.
38. 39. 40.
41.
42.
43. 44.
45. 46. 47. 48. 49. 50.
51.
52.
53. 54.
55.
56.
179
57.
Dien, J., Tucker, D.M., Potts, G. and Hartry-Speiser, A. (1997). Localization of auditory evoked potentials related to selective intermodal attention. Journal of Cognitive Neuroscience, 9: 799-823. Dixon, N.F. and Spitz, L. (1980). The detection of auditory visual desynchrony. Perception, 9: 719-721. Downar, J., Crawley, A.P., Mikulis, D.J. and Davis, K.D. (2000). A multimodal cortical network for the detection of changes in the sensory environment. Nature Neuroscience, Vol 3, Iss 3: 277-283. Downar, J., Crawley, A.P., Mikulis, D.J. and Davis, K.D. (2001). The effect of task relevance on the cortical response to changes in visual and auditory stimuli: an event-related fMRI study. Neuroimage, 14 (6): 1256-1267. Downar, J., Crawley, A.P., Mikulis, D.J. and Davis, K.D. (2002). A cortical network sensitive to stimulus salience in a neutral behavioral context across multiple sensory modalities. J Neurophysiol, 87 (1): 615-620. Driver, C. and Spence, J. (1998a). Attention and the crossmodal construction of space. Trends in Cognitive Sciences, 2: 254-262. Driver, J. (1996). Enhancement of selective listening by illusory mislocation of speech sounds due to lip-reading. Nature, 381: 66-68. Driver, J. and Mattingley, J.B. (1998). Parietal neglect and visual awareness. Nat Neurosci, 1 (1): 17-22. Driver, J. and Spence, C. (1998b). Crossmodal attention. Curr.Opin.Neurobiol., 8: 245253. Dubose, C., Cardello, A. and Maller, O. (1980). Effects of colorants and flavorants on identification, perceived flavor intensity, and hedonic quality of fruit-flavored beverages and cake. Journal of Food Science, 45: 1393-1418. Duhamel, J.R., Colby, C.L. and Goldberg, M.E. (1998). Ventral intraparietal area of the macaque: congruent visual and somatic response properties. J.Neurophysiol., 79: 126-136. Echallier, J.F., Perrin, F. and Pernier, J. (1992). Computer-assisted placement of electrodes on the human head. Electroencephalography and Clinical Neurophysiology, 82: 160-163. Ehrenstein, W.H. and Reinhardtrutland, A.H. (1996). A cross-modal aftereffect: Auditory displacement following adaptation to visual motion. Perceptual and motor skills, 82: 23-26. Eimer, M. (1999). Can attention be directed to opposite locations in different modalities? An ERP study. Clin.Neurophysiol., 110: 1252-1259. Eimer, M. (2001). Crossmodal links in spatial attention between vision, audition, and touch: evidence from event-related brain potentials. Neuropsychologia, 39: 12921303. Engel, A.K., Fries, P. and Singer, W. (2001). Dynamic predictions: oscillations and synchrony in top-down processing. Nat Rev Neurosci, 2 (10): 704-716. Engel, A.K. and Singer, W. (2001). Temporal binding and the neural correlates of sensory awareness. Trends Cogn Sci, 5 (1): 16-25. Engelken, E.J. and Stevens, K.W. (1989). Saccadic eye movements in response to visual, auditory, and bisensory stimuli. Aviat Space Environ Med, 60 (8): 762-768. Falchier, A., Clavagnier, S., Barone, P. and Kennedy, H. (2002). Anatomical evidence of multimodal integration in primate striate cortex. J Neurosci, 22 (13): 5749-5759. Felleman, D.J. and Van Essen, D.C. (1991). Distributed hierarchical processing in the primate cerebral cortex. Cerebral cortex, 1: 1-47.
58. 59.
60.
61.
62. 63. 64. 65. 66.
67.
68.
69.
70. 71.
72. 73. 74. 75.
76.
180
77. 78.
Ferrera, V.P., Nealey, T.A. and Maunsell, J.H. (1992). Mixed parvocellular and magnocellular geniculate signals in visual area V4. Nature, 358 (6389): 756-761. Ferrera, V.P., Nealey, T.A. and Maunsell, J.H. (1994a). Responses in macaque visual area V4 following inactivation of the parvocellular and magnocellular LGN pathways. J Neurosci, 14 (4): 2080-2088. Ferrera, V.P., Rudolph, K.K. and Maunsell, J.H. (1994b). Responses of neurons in the parietal and temporal visual pathways during a motion task. J Neurosci, 14 (10): 6171-6186. Ffytche, D.H., Guy, C.N. and Zeki, S. (1995). The parallel visual motion inputs into areas V1 and V5 of human cerebral cortex. Brain, 118: 1375-1394. Fishman, M.C. and Michael, C.R. (1973). Integration of auditory information in the cat visual cortex. Vision Research, 13: 1415-1419. Forster, B., Cavina-Pratesi, C., Aglioti, S.M. and Berlucchi, G. (2002). Redundant target effect and intersensory facilitation from visual-tactile interactions in simple reaction time. Exp Brain Res, 143 (4): 480-487. Fort, A., Delpuech, C., Pernier, J. and Giard, M.H. (2002a). Dynamics of corticosubcorical crossmodal operations involved in audio-visual object detection in humans. Cerebral Cortex, 12 (10): 1031-1039. Fort, A., Delpuech, C., Pernier, J. and Giard, M.H. (2002b). Early auditory-visual interactions in human cortex during nonredundant target identification. Cognitive Brain Research, 14: 20-30. Foxe, J.J., Morocz, I.A., Murray, M.M., Higgins, B.A., Javitt, D.C. and Schroeder, C.E. (2000). Multisensory auditory-somatosensory interactions in early cortical processing revealed by high-density electrical mapping [In Process Citation]. Brain Res Cogn.Brain Res, 10: 77-83. Foxe, J.J., Wylie, G.R., Martinez, A., Schroeder, C.E., Javitt, D.C., Guilfoyle, D., Ritter, W. and Murray, M.M. (2002). Auditory-Somatosensory Multisensory Processing in Auditory Association Cortex: An fMRI Study. J Neurophysiol, 88 (1): 540-543. Frassinetti, F., Pavani, F. and Ladavas, E. (2002). Acoustical Vision of Neglected Stimuli: Interaction among Spatially Converging Audiovisual Inputs in Neglect Patients. J Cogn Neurosci, 14 (1): 62-69. Frens, M.A., Van Opstal, A.J. and Van der willigen, R.F. (1995). Spatial and temporal factors determine auditory-visual interactions in human saccadic eye movements. Perception and Psychophysics, 57: 802-816. Friedrich, F.J., Egly, R., Rafal, R.D. and Beck, D. (1998). Spatial attention deficits in humans: a comparison of superior parietal and temporal-parietal junction lesions. Neuropsychology, 12 (2): 193-207. Fu, K.G., Johnston, T.A., Shah, A.S., Arnold, L., Smiley, J., Hackett, T.A., Garraghty, P.E. and Schroeder, C.E. (2001). Characterization of somatosensory input to auditory association cortex in macaques. Society for Neuroscience Abstract, 27: 681.683. Fuster, J.M., Bodner, M. and Kroger, J.K. (2000). Cross-modal and cross-temporal association in neurons of frontal cortex. Nature, Vol 405, Iss 6784: 347-351. Gaffan, D. and Harrison, S. (1991). Auditory-visual associations, hemispheric specialization and temporo-frontal interaction in the rhesus monkey. Brain, 114: 2133-2144. Ghatan, P.H., Hsieh, J.C., Petersson, K.M., Stone-Elander, S. and Ingvar, M. (1998). Coexistence of attention-based facilitation and inhibition in the human cortex. Neuroimage., 7: 23-29.
79.
80. 81. 82.
83.
84.
85.
86.
87.
88.
89.
90.
91. 92.
93.
181
94. 95.
Giard, M.H., Collet, L., Bouchet, P. and Pernier, J. (1994a). Auditory selective attention in the human cochlea. Brain Research, 633: 353-356. Giard, M.H. and Peronnet, F. (1999). Auditory-visual integration during multimodal object recognition in humans : a behavioral and electrophysiological study. J Cogn.Neurosci., 11:5: 473-490. Giard, M.H., Perrin, F., Echallier, J.F., Thevenet, M., Froment, J.C. and Pernier, J. (1994b). Dissociation of temporal and frontal components in the human auditory N1 wave: a scalp current density and dipole model analysis. Electroencephalography and Clinical Neurophysiology, 92: 238-252. Girard, P., Salin, P.A. and Bullier, J. (1992). Response selectivity of neurons in area MT of the macaque monkey during reversible inactivation of area V1. J Neurophysiol, 67 (6): 1437-1446. Giray, M. and Ulrich, R. (1993). Motor coactivation revealed by response force in divided and focused attention. J Exp Psychol Hum.Percept.Perform., 19: 1278-1291. Gonzalo, D., Shallice, T. and Dolan, R. (2000). Time-dependent changes in learning audiovisual associations: a single-trial fMRI study. Neuroimage, 11: 243-255. Goodale, M.A. and Milner, A.D. (1992). Separate visual pathways for perception and action. Trends in Neuroscience, 15,1: 20-25. Graziano, M.S. (2001). A system of multimodal areas in the primate brain. Neuron, 29 (1): 4-6. Graziano, M.S. and Gross, C.G. (1998). Spatial maps for the control of movement. Curr Opin Neurobiol, 8 (2): 195-201. Graziano, M.S., Reiss, L.A. and Gross, C.G. (1999). A neuronal representation of the location of nearby sounds. Nature, 397 (6718): 428-430. Graziano, M.S.A., Yap, G.S. and Gross, C.G. (1994). Coding of visual space by premotor neurons. science, 266: 1054-1057. Grefkes, C., Weiss, P.H., Zilles, K. and Fink, G.R. (2002). Crossmodal Processing of Object Features in Human Anterior Intraparietal Cortex. An fMRI Study Implies Equivalencies between Humans and Monkeys. Neuron, 35 (1): 173-184. Groh, J.M., Trause, A.S., Underhill, A.M., Clark, K.R. and Inati, S. (2001). Eye position influences auditory responses in primate inferior colliculus. Neuron, 29 (2): 509-518. Grossenbacher, P.G. and Lovelace, C.T. (2001). Mechanisms of synesthesia: cognitive and physiological constraints. Trends Cogn Sci, 5 (1): 36-41. Guandalini, P. (2001). The efferent connections to the thalamus and brainstem of the physiologically defined eye field in the rat medial frontal cortex. Brain Res Bull, 54 (2): 175-186. Hadjikhani, N. and Roland, P.E. (1998). Cross-modal transfer of information between the tactile and the visual representations in the human brain: A positron emission tomographic study. J.Neurosci., 18: 1072-1084. Hanes, D.P. and Wurtz, R.H. (2001). Interaction of the frontal eye field and superior colliculus for saccade generation. J Neurophysiol, 85 (2): 804-815. Harting, J.K., Huerta, M.F., Hashikawa, T. and van Lieshout, D.P. (1991). Projection of the mammalian superior colliculus upon the dorsal lateral geniculate nucleus: organization of tectogeniculate pathways in nineteen species. J Comp Neurol, 304 (2): 275-306. Hendry, S.H. and Reid, R.C. (2000). The koniocellular pathway in primate vision. Annu Rev Neurosci, 23: 127-153. Hershenson, M. (1962). Reaction time as a measure of intersensory facilitation. Journal of experimental psychology, 63: 289-293.
96.
97.
98. 99. 100. 101. 102. 103. 104. 105.
106.
107. 108.
109.
110. 111.
112. 113.
182
114.
Hikosaka, K., Iwai, E., Saito, H. and Tanaka, K. (1988). Polysensory properties of neurons in the anterior bank of the caudal superior temporal sulcus of the macaque monkey. J.Neurophysiol., 60: 1615-1637. Horster, W., Rivers, A., Schuster, B., Ettlinger, G., Skreczek, W. and Hesse, W. (1989). The neural structures involved in cross-modal recognition and tactile discrimination performance: an investigation using 2-DG. Behav.Brain Res, 33: 209227. Horton, J.C. (1984). Cytochrome oxidase patches: a new cytoarchitectonic feature of monkey visual cortex. Philos Trans R Soc Lond B Biol Sci, 304 (1119): 199-253. Huerta, M.F. and Harting, J.K. (1984). Connectional organization of the superior colliculus. Trends in Neuroscience: 286-289. Huerta, M.F., Krubitzer, L.A. and Kaas, J.H. (1986). Frontal eye field as defined by intracortical microstimulation in squirrel monkeys, owl monkeys, and macaque monkeys: I. Subcortical connections. J Comp Neurol, 253 (4): 415-439. Huerta, M.F., Krubitzer, L.A. and Kaas, J.H. (1987). Frontal eye field as defined by intracortical microstimulation in squirrel monkeys, owl monkeys, and macaque monkeys. II. Cortical connections. J Comp Neurol, 265 (3): 332-361. Hughes, H.C., Nelson, M.D. and Aronchick, D.M. (1998). Spatial characteristics of visual-auditory summation in human saccades. Vision Research, 38: 3955-3963. Hughes, H.C., Reuter-Lorenz, P.A., Nozawa, G. and Fendrich, R. (1994). VisualAuditory Interactions in Sensorimotor Processing - Saccades Versus Manual Responses. Journal of experimental psychology: human perception and performance, 20: 131-153. Hyvarinen, J. and Poranen, A. (1974). Function of the parietal associative area 7 as revealed from cellular discharges in alert monkeys. Brain, 97 (4): 673-692. Imig, T.J., Ruggero, M.A., Kitzes, L.M., Javel, E. and Brugge, J.F. (1977). Organization of auditory cortex in the owl monkey (Aotus trivirgatus). J Comp Neurol, 171 (1): 111-128. Innocenti, G.M., Berbel, P. and Clarke, S. (1988). Development of projections from auditory to visual areas in the cat. J Comp Neurol, 272 (2): 242-259. Iriki, A., Tanaka, M. and Iwamura, Y. (1996). Coding of modified body schema during tool use by macaque postcentral neurones. Neuroreport, 7 (14): 2325-2330. Jasper, H.H. (1958). The ten-twenty electrode system of the International Federation. Electroencephalogr.Clin.Neurophysiol., 10: 371-375. Jiang, W., Wallace, M.T., Jiang, H., Vaughan, W. and Stein, B.E. (2001). Two cortical areas mediate mutlisensory integration in superior colliculs neurons. Journal of Neurophysiology, 85: 506-522. Jones, E.G. and Powell, T.P.S. (1970). An anatomical study of converging sensory pathways within the cerebral cortex of the monkey. Brain, 93: 793-820. Jousmki, V. and Hari, R. (1998). Parchment-skin illusion: sound-biased touch. Current Biology, 8,6: R190. Kadunce, D.C., Vaughan, J.W., Wallace, M.T., Benedek, G. and Stein, B.E. (1997). Mechanisms of within- and cross-modality supression in the superior colliculus. J.Neurophysiol., 78: 2834-2847. Kadunce, D.C., Vaughan, J.W., Wallace, M.T. and Stein, B.E. (2001). The influence of visual and auditory receptive field organization on multisensory integration in the superior colliculus. Exp Brain Res, 139 (3): 303-310. Kawashima, R., Imaizumi, S., Mori, K., Okada, K., Goto, R., Kiritani, S., Ogawa, A. and Fukuda, H. (1999). Selective Visual and Auditory Attention Toward UtterancesA PET Study. Neuroimage., 10: 209-215.
115.
116. 117. 118.
119.
120. 121.
122. 123.
124. 125. 126. 127.
128. 129. 130.
131.
132.
183
133. 134. 135.
Kennett, S., Taylor-Clarke, M. and Haggard, P. (2001). Noninformative vision improves the spatial resolution of touch in humans. Current Biology, 11: 1188-1191. Kerkhoff, G. (2001). Spatial hemineglect in humans. Prog Neurobiol, 63 (1): 1-27. King, A.J. and Palmer, A.R. (1985). Integration of visual and auditory information in bimodal neurons in the guinea-pig superior colliculus. Experimental Brain Research, 60: 492-500. Kok, A. and de Jong, H.L. (1980). The effect of repetition of infrequent familiar and infamiliar visual patterns on components of the event-related brain potential. Biol. Psychol., 10: 167-188 Kuhl, P.K. and Meltzoff, A.N. (1982). The bimodal perception of speech in infancy. Science, 218 (4577): 1138-1141. Lamme, V.A. and Roelfsema, P.R. (2000). The distinct modes of vision offered by feedforward and recurrent processing. Trends Neurosci, 23 (11): 571-579. Lewis, J.W., Beauchamp, M.S. and DeYoe, E.A. (2000). A comparison of visual and auditory motion processing in human cerebral cortex. Cereb Cortex, Vol 10, Iss 9: 873-888. Lewis, J.W. and VanEssen, D.C. (2000). Corticocortical connections of visual, sensorimotor, and multimodal processing areas in the parietal lobe of the macaque monkey. J Comp Neurol, Vol 428, Iss 1: 112-137. Lewkowicz, D.J. (1996). Perception of auditory-visual temporal synchrony in human infants. J.Exp.Psychol.Hum.Percept.Perform., 22: 1094-1106. Lewkowicz, D.J. (2000). The development of intersensory temporal perception: an epigenetic systems/limitations view. Psychological Bulletin, 126: 281-308. Ligeois-Chauvel, C., Chauvel, P., Marquis, P., Musolino, A. and Bancaud, J. (1987). Intra-cerebral recordings of the primary auditory evoked potentials in man. In: edited by Engel, J.Jr., Fundamental mechanism of human brain function. New York: Raven Press. Liegeois-Chauvel, C., Musolino, A. and Chauvel, P. (1991). Localization of the primary auditory area in man. Brain, 114 ( Pt 1A): 139-151. Lindsley, R.W., Jayachandra, M., Feldman, R., Marcovici, A., Specht, C., Dias, E., Javitt, D.C. and Schroeder, C.E. (1999). Somato-sensory-auditory convergence in lateral sulcal regions in macaques. Soc.for Neurosci.Abst., 25: 1417. Livingstone, M.S. and Hubel, D.H. (1982). Thalamic inputs to cytochrome oxidase-rich regions in monkey visual cortex. Proc Natl Acad Sci U S A, 79 (19): 6098-6101. Lutkenhoner, B., Lammertmann, C., Simoes, C. and Hari, R. (2002). Magnetoencephalographic correlates of audiotactile interaction. Neuroimage, 15 (3): 509-522. Macaluso, E., Frith, C. and Driver, J. (2000). Modulation of human visual cortex by crossmodal spatial attention. science, 289: 1206-1208. MacSweeney, M., Amaro, E., Calvert, G.A., Campbell, R., David, A.S., McGuire, P., Williams, S.C., Woll, B. and Brammer, M.J. (2000). Silent speechreading in the absence of scanner noise: an event-related fMRI study [In Process Citation]. Neuroreport, 11: 1729-1733. Maison, S., Micheyl, C. and Collet, L. (2001). Influence of focused auditory attention on cochlear activity in humans. Psychophysiology, 38 (1): 35-40. Malmivuo, J. et Plonsey, R. (1995). Bioelectromagnetism. Oxford: Oxford University Press Mangun, G.R. (1995). Neural Psychophysiology, 32: 4-18. mechanisms of visual selective attention.
136.
137. 138. 139.
140.
141. 142. 143.
144. 145.
146. 147.
148. 149.
150. 151. 152.
184
153. 154.
Massaro, D.W. and Stork, D.G. (1998). Speech recognition and sensory integration. Am Sci, Vol 86, Iss 3: 236-244. Maunsell, J.H., Nealey, T.A. and DePriest, D.D. (1990). Magnocellular and parvocellular contributions to responses in the middle temporal visual area (MT) of the macaque monkey. J Neurosci, 10 (10): 3323-3334. Mazzoni, P., Bracewell, R.M., Barash, S. and Andersen, R.A. (1996). Spatially tuned auditory responses in area LIP of macaques performing delayed memory saccades to acoustic targets. J Neurophysiol, 75 (3): 1233-1241. McDonald, J.J., Teder-Slejrvi, W.A. and Hillyard, S.A. (2000). Involuntary orienting to sound improves visual perception. Nature, 407: 906-908. McGurk, H. and McDonald, J. (1976). Hearing lips and seing voices. Nature, 264: 746748. Meredith, M.A. (1999). The frontal eye fields target multisensory neurons in cat superior colliculus. Exp Brain Res, Vol 128, Iss 4: 460-470. Meredith, M.A., Nemitz, J.W. and Stein, B.E. (1987). Determinants of multisensory integration in superior colliculus neurons. 1. Temporal factors. Journal of Neuroscience, 10: 3215-3229. Meredith, M.A. and Stein, B.E. (1983). Interactions among converging sensory inputs in the superior colliculus. science, 221: 389-391. Meredith, M.A. and Stein, B.E. (1985). Descending efferents from superior colliculus relay integrated multisensory information. science, 227: 657-659. Meredith, M.A. and Stein, B.E. (1986a). Spatial factors determine the activity of multisensory neurons in cat superior colliculus. Brain Research, 365: 350-354. Meredith, M.A. and Stein, B.E. (1986b). Visual, auditory, and somatosensory convergence on cells in superior colliculus results in multisensory integration. Journal of neurophysiology, 56: 640-662. Meredith, M.A. and Stein, B.E. (1996). Spatial determinants of multisensory integration in cat superior colliculus neurons. J.Neurophysiol., 75,5: 1843-1857. Meric, C. and Collet, L. (1994). Attention and otoacoustic emissions: a review. Neurosci.Biobehav.Rev., 18: 215-222. Merzenich, M.M., Knight, P.L. and Roth, G.L. (1975). Representation of cochlea within primary auditory cortex in the cat. J Neurophysiol, 38 (2): 231-249. Michie, P.T., Bearpark, H.M., Crawford, J.M. and Glue, L.C.T. (1990). The nature of selective attention effects on auditory event-related potentials. Biological Psychology, 30: 219-250. Miller, J.O. (1982). Divided attention: Evidence for coactivation with redundant signals. Cognitive Psychology, 14: 247-279. Miller, J.O. (1986). Time course of coactivation in bimodal divided attention. Perception and Psychophysics, 40,5: 331-343. Miller, J.O. (1991). Channel interaction and the redundant targets effect in bimodal divided attention. Journal of experimental psychology: human perception and performance, 17: 160-169. Miller, M.W. and Vogt, B.A. (1984). Direct connections of rat visual cortex with sensory, motor, and association cortices. J Comp Neurol, 226 (2): 184-202. Miltner, W.H., Braun, C., Arnold, M., Witte, H. and Taub, E. (1999). Coherence of gamma-band EEG activity as a basis for associative learning. Nature, 397 (6718): 434-436. Mishkin, M., Ungerleider, L.G. and Macko, K.A. (1983). Object vision and spatial vision: two cortical pathways. Trends in Neuroscience: 414-417.
155.
156. 157. 158. 159.
160. 161. 162. 163.
164. 165. 166. 167.
168. 169. 170.
171. 172.
173.
185
174.
Molholm, S., Ritter, W., Murray, M.M., Javitt, D.C., Schroeder, C.E. and Foxe, J.J. (2002). Multisensory auditory-visual interactions during early sensory processing in humans: a high-density electrical mapping study. Brain Res Cogn Brain Res, 14 (1): 115-128. Morand, S., Thut, G., de Peralta, R.G., Clarke, S., Khateb, A., Landis, T. and Michel, C.M. (2000). Electrophysiological evidence for fast visual processing through the human koniocellular pathway when stimuli move. Cereb Cortex, 10 (8): 817-825. Morrell, F. (1972). Visual system's view of acoustic space. Nature, 238: 44-46. Morrot, G., Brochet, F. and Dubourdieu, D. (2001). The color of odors. Brain Lang, 79 (2): 309-320. Mottonen, R., Krause, C.M., Tiippana, K. and Sams, M. (2002). Processing of changes in visual speech in the human auditory cortex. Brain Res Cogn Brain Res, 13 (3): 417-425. Mttnen, R., Krause, C.M., Tiippana, K. and Sams, M. (2002). Processing of changes in visual speech in the human auditory cortex. Brain Res Cogn Brain Res, 13 (3): 417-425. Ntnen, R. (1992). Attention and Brain Function. Hillsdale, NJ. Ntnen, R. and Picton, T.W. (1987). The N1 wave of the Human electric and magnetic response to sound: a review and an analysis of the component structure. Psychophysiology, 24: 375-425. Newman, E.A. and Hartline, P.H. (1981). Integration of visual and infrared information in bimodal neurons in the rattlesnake optic tectum. Science, 213 (4509): 789-791. Nickerson, R.S. (1973). Intersensory facilitation of reaction time: energy summation or preparation enhancement? Psychological review, 80: 489-509. Nunn, J.A., Gregory, L.J., Brammer, M., Williams, S.C., Parslow, D.M., Morgan, M.J., Morris, R.G., Bullmore, E.T., Baron-Cohen, S. and Gray, J.A. (2002). Functional magnetic resonance imaging of synesthesia: activation of V4/V8 by spoken words. Nat Neurosci, 5 (4): 371-375. Okajima, Y., Chino, N., Takahashi, M. and Kimura, A. (1995). Effects of visual and auditory stimuli on median nerve somatosensory evoked potentials in man. Electromyogr.Clin.Neurophysiol., 35: 251-256. Olson, I.R., Gatenby, J.C. and Gore, J.C. (2002). A comparison of bound and unbound audio-visual information processing in the human cerebral cortex. Brain Res Cogn Brain Res, 14 (1): 129-138. Pandya, D.N. and Seltzer, B. (1982). Association areas of the cerebral cortex. Trends in Neuroscience, 5: 386-390. Pantev, C., Hoke, M., Lehnertz, K., Ltkenhner, B., Anogianakis, G. and Wittkowski, W. (1988). Tonotopic organization of the human auditory cortex revealed by transient auditory evoked magnetic fields. Electroencephalography and Clinical Neurophysiology, 69: 160-170. Paulesu, E., Harrison, J., Baron Cohen, S., Watson, J.D.G., Goldstein, L., Heather, J., Frackowiak, R.S.J. and Frith, C.D. (1995). The physiology of coloured hearing. A PET activation study of colour-word synaesthesia. Brain, Brain. 118: 661-676. Pernier, J. and Bertrand, O. (1997). L'lectro- et la magnto-encphalographie. Le cerveau en action "Imagerie crbrale fonctionnelle en psychologie cognitive". Dehaene, S., puf. Pernier, J., Perrin, F. and Bertrand, O. (1988). Scalp current density fields : concept and properties. Electroencephalography and Clinical Neurophysiology, 69: 385-389. Pernier, J., Perrin, F., Bertrand, O. and Giard, M.H. (1992). Cartographie des rponses lectriques lies des vnements et identification des populations neuronales actives. Psychologie Franaise, 37: 111-120.
175.
176. 177. 178.
179.
180. 181.
182. 183. 184.
185.
186.
187. 188.
189.
190.
191. 192.
186
193. 194.
Perrin, F., Bertrand, O. and Pernier, J. (1987). Scalp Current Density Mapping : Value and Estimation from Potential Data. IEEE Trans on Bio.Engi., 34(4): 283-288. Perrin, F., Pernier, J., Bertrand, O. and Echallier, J.F. (1989). Spherical splines for scalp potential and current density mapping. Electroencephalography and Clinical Neurophysiology, 72: 184-187. Pourtois, G., de Gelder, B., Vroomen, J., Rossion, B. and Crommelinck, M. (2000). The time-course of intermodal binding between seeing and hearing affective information. Neuroreport, Vol 11, Iss 6: 1329-1333. Pourtois, G., Debatisse, D., Despland, P.A. and de Gelder, B. (2002). Facial expressions modulate the time course of long latency auditory brain potentials. Brain Res Cogn Brain Res, 14 (1): 99-105. Pujol, R. (1990). Le traitement du son dans l'oreille interne. Pour la science, 154: 2029. Purves, D., Augustine, G.J., Fitzpatrick, D., Katz, L.C., LaMantia, A.S., McNamara, J.O. and Williams, S.M. (2001). Neuroscience, Sinauer Associates Incorporated. Raab, D.H. (1962). Statistical facilitation of simple reaction times. transactions of the New York academy of sciences, 24: 574-590. Raichle, M.E., Fiez, J.A., Videen, T.O., McLeod, A.M., Pardo, J.V., Fox, P.T. and Petersen, S.E. (1994). Practice-related changes in human brain functional anatomy during nonmotor learning, Cerebral Cortex, 4: 8-26. Raij, T., Uutela, K. and Hari, R. (2000). Audiovisual integration of letters in the human brain. Neuron, Vol 28, Iss 2: 617-625. Rauschecker, J.P. (1998). Cortical Curr.Opin.Neurobiol., 8: 516-521. processing of complex sounds.
195.
196.
197. 198. 199. 200.
201. 202. 203.
Rauschecker, J.P. and Tian, B. (2000). Mechanisms and streams for processing of "what" and "where" in auditory cortex. Proc Natl Acad Sci U S A, 97 (22): 1180011806. Recanzone, G.H., Guard, D.C. and Phan, M.L. (2000). Frequency and intensity response properties of single neurons in the auditory cortex of the behaving macaque monkey. J Neurophysiol, 83 (4): 2315-2331. Reisberg, D., McLean, J. and Goldfield, A. (1987). Easy to hear but hard to understand : a lipreading advantage with intact auditory stimuli. Hearing by eye : The psychology of lipreading. Campbell, R. London, Lawrence Erlbaum Associates. 93113. Rich, A.N. and Mattingley, J.B. (2002). Anomalous perception in synaesthesia: a cognitive neuroscience perspective. Nat Rev Neurosci, 3 (1): 43-52. Rizzolatti, G., Scandolara, C., Matelli, M. and Gentilucci, M. (1981). Afferent properties of periarcuate neurons in macaque monkeys. II. Visual responses. Behav Brain Res, 2 (2): 147-163. Robles, L. and Ruggero, M.A. (2001). Mechanics of the mammalian cochlea. Physiol Rev, 81 (3): 1305-1352. Rockland, K.S. and Ojima, H. (2001). Calcarine area V1 as a multimodal convergence area. Society for Neuroscience Abstract, 27: 511.520. Rockland, K.S. and Pandya, D.N. (1979). Laminar origins and terminations of cortical connections of the occipital lobe in the rhesus monkey. Brain Res, 179 (1): 3-20. Romani, G.L., Williamson, S.J. and Kaufman, L. (1982). Tonotopic organization of the human auditory cortex. Science, 216 (4552): 1339-1340. Romanski, L.M., Clugnet, M.C., Bordi, F. and LeDoux, J.E. (1993). Somatosensory and Auditory Convergence in the Lateral Nucleus of the Amygdala. Behavioral Neuroscience, 107: 444-450.
204.
205.
206. 207.
208. 209. 210. 211. 212.
187
213.
Romanski, L.M., Tian, B., Fritz, J., Mishkin, M., Goldman-Rakic, P.S. and Rauschecker, J.P. (1999). Dual streams of auditory afferents target multiple domains in the primate prefrontal cortex. Nat Neurosci, 2 (12): 1131-1136. Royet, J.P., Zald, D., Versace, R., Costes, N., Lavenne, F., Koenig, O. and Gervais, R. (2000). Emotional responses to pleasant and unpleasant olfactory, visual, and auditory stimuli: a positron emission tomography study. J Neurosci, 20 (20): 77527759. Rugg, M.D., Doyle, M.C. and Wells, T. (1995). Word and nonword repetition withinand across-modality: An event-related potential study. Journal of Cognitive Neuroscience, 7: 209-227. Sakowitz, O.W., Quiroga, R.Q., Schurmann, M. and Basar, E. (2001). Bisensory stimulation increases gamma-responses over multiple cortical regions. Brain Res.Cogn.Brain Res., 11: 267-279. Sakowitz, O.W., Schurmann, M. and Basar, E. (2000). Oscillatory frontal theta responses are increased upon bisensory stimulation. Clin Neurophysiol, 111: 884893. Sams, M., Aulanko, R., Hamalainen, H., Hari, R., Lounasmaa, O.V., Lu, S.T. and Simola, J. (1991). Seeing speech: Visual information from lip movements modifie activitiy in the human auditory cortex. Neuroscience letters, 127: 141-145. Schall, J.D., Morel, A., King, D.J. and Bullier, J. (1995). Topography of visual cortex connections with frontal eye field in macaque: convergence and segregation of processing streams. J Neurosci, 15 (6): 4464-4487. Schmolesky, M.T., Wang, Y., Hanes, D.P., Thompson, K.G., Leutgeb, S., Schall, J.D. and Leventhal, A.G. (1998). Signal timing across the macaque visual system. J Neurophysiol, 79 (6): 3272-3278. Schroeder, C.E. and Foxe, J.J. (2002). The timing and laminar profile of converging inputs to multisensory areas of the macaque neocortex. Brain Res Cogn Brain Res, 14 (1): 187-198. Schroeder, C.E., Lindsley, R.W., Specht, C., Marcovici, A., Smiley, J.F. and Javitt, D.C. (2001). Somatosensory input to auditory association cortex in the macaque monkey. Journal of Neurophysiology, 85: 1322-1327. Schroeder, C.E., Mehta, A.D., Ulbert, I., Steinschneider, M. and Vaughan, H.G. (1995). Visual reponses in auditory cortex and their modulation by attention. society for Neurosciences, 21: 694. Schrger, E. and Widmann, A. (1998). Speeded responses to audiovisual signal changes result from bimodal integration. Psychophysiology, 35: 755-759. Sekuler, R., Sekuler, A.B. and Lau, R. (1997). Sounds alter visual motion perception. Nature, 385: 308. Seltzer, B. and Pandya, D.N. (1994). Parietal, temporal, and occipital projections to cortex of the superior temporal sulcus in the rhesus monkey: a retrograde tracer study J Comp Neurol, 343: 445-463. Shams, L., Kamitani, Y. and Shimojo, S. (2000). What you see is what you hear. Nature, 408: 788. Shams, L., Kamitani, Y. and Shimojo, S. (2002). Visual illusion induced by sound. Brain Res Cogn Brain Res, 14 (1): 147-152. Simon, J.R. and Craft, J.L. (1970). Effects of an irrelevant auditory stimulus on visual choice reaction time. J Exp Psychol, 86 (2): 272-274. Slutsky, D.A. and Recanzone, G.H. (2001). Temporal and spatial dependency of the ventriloquism effect. Neuroreport, 12 (1): 7-10. Sommer, M.A. and Wurtz, R.H. (1998). Frontal eye field neurons orthodromically activated from the superior colliculus. J Neurophysiol, 80 (6): 3331-3335.
214.
215.
216.
217.
218.
219.
220.
221.
222.
223.
224. 225. 226.
227. 228. 229. 230. 231.
188
232.
Sommer, M.A. and Wurtz, R.H. (2001). Frontal eye field sends delay activity related to movement, memory, and vision to the superior colliculus. Journal of Neurophysiology, 85: 1673-1685. Soto-Faraco, S., Lyons, J., Gazzaniga, M., Spence, C. and Kingstone, A. (2002). The ventriloquist in motion: Illusory capture of dynamic information across sensory modalities. Brain Res Cogn Brain Res, 14 (1): 139-146. Spence, C. (2002). Multisensory attention and tactile information-processing. Behav Brain Res, 135: 57-64. Spence, C. and Driver, J. (2000). Attracting attention to the illusory location of a sound: reflexive crossmodal orienting and ventriloquism [In Process Citation]. Neuroreport, 11: 2057-2061. Stein, B.E., Huneycutt, W.S. and Meredith, M.A. (1988). Neurons and behavior: The same rules of multisensory integration apply. Brain Research, 448: 355-358. Stein, B.E., London, N., Wilkinson, L.K. and Price, D.D. (1996). Enhancement of perceived visual intensity by auditory stimuli: a psychophysical analysis. Journal of Cognitive Neuroscience, 8,6: 497-506. Stein, B.E. and Meredith, M.A. Cambridge,MA,USA, The MIT Press. (1993). The merging of the senses.
233.
234. 235.
236. 237.
238. 239.
Stein, B.E., Meredith, M.A., Huneycutt, W.S. and McDade, L. (1989). Behavioral indices of multisensory integration: orientation to visual cues is affected by auditory stimuli. Journal of Cognitive Neuroscience, 1,1: 12-24. Stein, B.E., Meredith, M.A. and Wallace, M.T. (1993). The visually responsive neuron and beyond: Multisensory integration in cat and monkey. Progress in Brain Research, 95: 79-90. Stein, B.E. and Wallace, M.T. (1996). Comparison of cross-modality integration in midbrain and cortex. Progress in brain research, vol 112. Stein, B., Elsevier Science BV. 289-299. Stein, B.E., Wallace, M.T. and Meredith, M.A. (1995). Neural mechanisms mediating attention to multisensory cues. The cognitive neurosciences. Gazzaniga, M. S. Cambridge, MA, M.I.T. Press. 683-702. Summerfield, Q. (1987). Some Preliminaries to a Comprehensive Account of Audiovisual Speech Perception. Hearing by eye : The psychology of lipreading. Campbell, R. London, Lawrence Erlbaum Associates. 3-52. Tallon-Baudry, C. and Bertrand, O. (1999). Oscillatory gamma activity in humans and its role in object representation. Trends Cogn Sci, 3 (4): 151-162. Teder-Salejarvi, W.A., McDonald, J.J., Di Russo, F. and Hillyard, S.A. (2002). An analysis of audio-visual crossmodal integration by means of event- related potential (ERP) recordings. Brain Res Cogn Brain Res, 14 (1): 106-114. Teder-Slejrvi, W.A., McDonald, J.J., Di Russo, F. and Hillyard, S.A. (2002). An analysis of audio-visual crossmodal integration by means of event-related potential (ERP) recordings. Cognitive Brain Research, 14. Tees, R.C. (1999). The effects of posterior parietal and posterior temporal cortical lesions on multimodal spatial and non-spatial competencies in rats. Behavioural Brain research, 106: 55-73. Thorpe, S., Fize, D. and Marlot, C. (1996). Speed of processing in the human visual system. Nature, 381: 520-522. Tiitinen, H., Alho, K., Huotilainen, M., Ilmoniemi, R.J., Simola, J. and Ntnen, R. (1993). Tonotopic Auditory Cortex and the Magnetoencephalographic (MEG) Equivalent of the Mismatch Negativity. Psychophysiology, 30: 537-540. Tootell, R.B.H., Reppas, J.B., Kwong, K.K., Malach, R., Born, R.T., Brady, T.J., Rosen, B.R. and Belliveau, J.W. (1995). Functional analysis of human MT and
240.
241.
242.
243.
244. 245.
246.
247.
248. 249.
250.
189
related visual cortical areas using magnetic resonance imaging. Journal of Neuroscience, Journal-of-Neuroscie: 3215-3230. 251. 252. 253. 254. Ungerleider, L.G. (1995). Functional brain imaging studies of cortical mechanisms for memory. science, 270: 769-775. Ungerleider, L.G., Courtney, S.M. and Haxby, J.V. (1998). A neural system for human visual working memory. Proc Natl Acad Sci U S A, 95 (3): 883-890. Ungerleider, L.G. and Haxby, J.V. (1994). 'What' and 'where' in the human brain. Curr Opin Neurobiol, 4 (2): 157-165. van der Steen, J., Russell, I.S. and James, G.O. (1986). Effects of unilateral frontal eye-field lesions on eye-head coordination in monkey. J Neurophysiol, 55 (4): 696714. Van Essen, D.C. (1979). Visual areas of the mammalian cerebral cortex. Annu Rev Neurosci, 2: 227-263. Varela, F., Lachaux, J.P., Rodriguez, E. and Martinerie, J. (2001). The brainweb: phase synchronization and large-scale integration. Nat Rev Neurosci, 2 (4): 229-239. Vaughan, H.G. and Ritter, W. (1970). The sources of auditory evoked responses recorded from the human scalp. Electroencephalography and Clinical Neurophysiology, 28: 360-367. Verkindt, C., Bertrand, O., Perrin, F., Echallier, J.F. and Pernier, J. (1995). Tonotopic organization of the human auditory cortex: N100 topography and multiple dipole analysis. Electroencephalography and Clinical Neurophysiology, 96: 143-156. Vogel, E.K. and Luck, S.J. (2000). The visual N1 component as an index of a discrimination process. Psychophysiology, 37: 190-203. von Stein, A., Rappelsberger, P., Sarnthein, J. and Petsche, H. (1999). Synchronization between temporal and parietal cortex during multimodal object processing in man. Cerebral cortex, 9: 137-150. Wallace, M.T., Meredith, M.A. and Stein, B.E. (1992). Integration of multiple sensory modalities in cat cortex. Experimental Brain Research, 91: 484-488. Wallace, M.T., Meredith, M.A. and Stein, B.E. (1993). Converging Influences from Visual, Auditory, and Somatosensory Cortices Onto Output Neurons of the Superior Colliculus. J.Neurophysiol., 69: 1797-1809. Wallace, M.T. and Stein, B.E. (1994). Cross-modal synthesis in the midbrain depends on input from cortex. Journal of neurophysiology, 71,1: 429-432. Watanabe, J. and Iwai, E. (1991). Neuronal activity in visual, auditory and polysensory areas in the monkey temporal cortex during a visual fixation task. Brain Research Bulletin, 26,4: 583-592. Watanabe, K. and Shimojo, S. (1998). Attentional modulation in perception of visual motion events. Perception, 27 (9): 1041-1054. Weeks, R.A., Aziz-Sultan, A., Bushara, K.O., Tian, B., Wessinger, C.M., Dang, N., Rauschecker, J.P. and Hallett, M. (1999). A PET study of human auditory spatial processing. Neurosci Lett, 262 (3): 155-158. Welch, R.B. and Warren, D.H. (1986). Intersensory interactions. Handbook of Perception and Human Performance, Volume I: Sensory Processes and Perception. Thomas, J. P. New York, Wiley. 25-21-25-36. Wessinger, C.M., VanMeter, J., Tian, B., Van Lare, J., Pekar, J. and Rauschecker, J.P. (2001). Hierarchical organization of the human auditory cortex revealed by functional magnetic resonance imaging. J Cogn Neurosci, 13 (1): 1-7. Wilkinson, L.K., Meredith, M.A. and Stein, B.E. (1996). The role of anterior ectosylvian cortex in cross-modality orientation and approach behavior. Experimental Brain Research, 112: 1-10.
255. 256. 257.
258.
259. 260.
261. 262.
263. 264.
265. 266.
267.
268.
269.
190
270. 271.
Wilson, J.R. (1993). Circuitry of the dorsal lateral geniculate nucleus in the cat and monkey. Acta Anat (Basel), 147 (1): 1-13. Woods, D.L., Alho, K. and Algazi, A. (1992). Intermodal selective attention. I. Effects on event-related potentials to lateralized auditory and visual stimuli. Electroencephalogr.Clin.Neurophysiol., 82: 341-355. Woods, D.L., Alho, K. and Algazi, A. (1993). Intermodal selective attention: evidence for processing in tonotopic auditory fields. Psychophysiology., 30: 287-295. Yvert, B., Bertrand, O., Thevenet, M., Echallier, J.F. and Pernier, J. (1997). A systematic evaluation of the spherical model accuracy in EEG dipole localization. Electroencephalogr.Clin.Neurophysiol., 102: 452-459. Yvert, B., Crouzeix, A., Bertrand, O., Seither-Preisler, A. and Pantev, C. (2001). Multiple supratemporal sources of magnetic and electric auditory evoked middle latency components in humans. Cereb.Cortex.2001.May;11(5):411-23., 11: 411-423. Zhou, Y.D. and Fuster, J.M. (2000). Visuo-tactile cross-modal associations in cortical somatosensory cells. Proc Natl Acad Sci U S A, 97 (17): 9777-9782.
272. 273.
274.
275.
191
PUBLICATIONS SCIENTIFIQUES
PUBLICATIONS
DE LECTURE
ORIGINALES
DANS
DES
REVUES
INTERNATIONALES
COMITE
Giard, M.H., Fort A., mouchetant-Rostaing, Y. et Pernier, J. (2000). Neurophysiological mechanisms of auditory selective attention in humans. Frontiers in Bioscience, 5, d84-94. Mouly, A.M., Fort A., Benboutayab, N. et Gervais, R. (2001). Olfactory learning induces structure-specific synaptic changes in rat central olfactory pathway. Neuroscience, 102:11-21. Fort, A., Delpuech, C., Pernier, J et Giard, M.H. (2002). Early auditory-visual interactions in human cortex during nonredundant target identification. Cognitive Brain Research, , 14:20-30. Fort, A., Delpuech, C., Pernier, J et Giard, M.H. (2002). Dynamics of corticosubcortical operations involved in audio-visual object detection in humans. Cerebral Cortex, 12:1031-1039.
CHAPITRES DE LIVRES
Fort, A., et Giard, M.H. (Sous Presse).Multiple electrophysiological mechanisms of audio-visual integration in human perception. In: Handbook of multisensory processes. Eds: G. Calvert, C. Spence and B.E. Stein, MIT Press. Fort, A., et Giard, M.H. (Sous presse). Intgration multisensorielle et perception intermodale. In: L'imagerie fonctionnelle lectrique (EEG) et magntique (MEG): Ses applications en sciences cognitives. Eds: B. Renaud et N. Fiori, Herms, Collection Sciences Cognitives.
RESUMES PUBLIES
Mouly, A.M., Fort A., et Gervais, R. (1998). Structure-specific synaptic changes following an olfactory learning in rat. Abstracts Society for Neuroscience, 24: 1421. Fort, A., et Giard, M.H. (1999). Integration of non-redundant auditory-visual information during object recognition in humans: a behavioral and ERP study. Psychophysiology, 36, Suppl.1, S51. Fort, A., Giard, M.H., Peronnet, F. et Pernier, J. (2000). Electrophysiological correlates of multisensory integration during auditory-visual object detection task in humans. Clinical Neurophysiology, 111, Suppl.1, S19.
195
Fort, A., Giard, M.H. et Pernier, J. (2000). Behavioral and electrophysiological correlates of auditory-visual integration during target detection in humans. Abstracts Society for Neuroscience, 26, 1978. Fort, A., et Giard, M.H. (2001). Influence of the perceptual task on the electrophysiological correlates of auditory-visual integration in humans. International Journal of Psychophysiology, S7.1, 207. Fort, A., et Giard, M.H. (2001). Is attention necessary for multisensory (auditoryvisual) integration in perception? Abstracts Society for Neuroscience, 511.13. Fort, A., et Giard, M.H. (2001). Does attention influence audio-visual neural interactions during bimodal object recognition? Journal of Cognitive Neuroscience (Sous presse).
COMMUNICATIONS SCIENTIFIQUES
Communications orales Fort, A., et Giard, M.H., Intgration des informations multimodales dans la reconnaissance dobjets audio-visuels. Runion de la Socit de Psychophysiologie Cognitive, Toulouse, 19-20 Novembre 1999. Giard, M.H, Fort, A., Delpuech, C., et Pernier, J. Crossmodal interactions in human cortex partly depend on the sensory dominance of the subject. Second Annual Multisensory Research Conference, New-York (USA), October 6-7, 2000. Fort, A., Giard, M.H., Delpuech, C., et Pernier, J. Corrlats neurophysiologiques de lintgration multisensorielle au cours de lidentification et de la dtection dobjets audio-visuels. Runion de la Socit de Psychophysiologie Cognitive, Bordeaux, 20-21 Octobre 2000. Fort, A., et Giard, M.H. Influence of the perceptual task on the eletrophysiological correlates of multisensory integration in humans. 13th Evoked Potentials International Congress (EPIC XIII), Paris, July 9-13, 2001. Giard, M.H et Fort, A., Audio-visual integration during active versus passive bimodal processing. 8th International Conference on Cognitive Neuroscience (ICON8), Porquerolles September 9-15, 2002. Communications affiches Fort, A., et Giard, M.H. Early auditory-visual interactions in non-redundant multimodal information processing. 39th Annual Meeting of the Society for Psychophysiological Research (SPR), Grenade (Espagne), October 6-10, 1999. Fort, A. et Giard, M.H. Corrlats lectrophysiologiques de lintgration multisensorielle dans une tche de dtection dobjets audio-visuels chez lhomme. Runion scientifique annuelle de la Socit dAnatomie Fonctionnelle Crbrale (SAFC), Lyon, 3 Mai 2000. Fort, A., Giard, M.H., Peronnet F. et Pernier J. Electrophysiological correlates of multisensory integration during auditory-visual object detection task in humans.
196
10th European Congres of Clinical Neurophysiology (ECCN), Lyon, August 2630, 2000. Fort, A. et Giard, M.H. Is attention necessary for multisensory (auditory-visual) integration in perception? 31th meeting of the Society for Neuroscience (SFN), San Diego (USA), November 10-15, 2001 Fort, A. et Giard, M.H. Does attention influence audio-visual neural interactions during bimodal object recognition? 9th annual meeting of the cognitive Neuroscience society (CNS), San Francisco (USA), April 14-16, 2002. Fort, A. et Giard, M.H. Audio-visual integration during active versus passive bimodal processing. 8th International Conference on Cognitive Neuroscience (ICON VIII), Porquerolles, September 9-15, 2002.
197

Thèse A. FORT - Synesthésie

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Thèse A. FORT - Synesthésie

Uploaded by

Copyright:

Available Formats

UNIVERSITE LUMIERE LYON II

INSTITUT DE PSYCHOLOGIE DEPARTEMENT DE PSYCHOLOGIE COGNITIVE

Pour obtenir le grade de

DOCTEUR DE L'UNIVERSITE LYON 2

M-H Giard O. Koenig J. Pernier B. Renault M. Taylor D. Woods

CHAPITRE 3 - LES BASES NEURONALES DE L'INTGRATION MULTIMODALE : TRAVAUX CHEZ L'ANIMAL 43

PARTIE II - METHODOLOGIE : L'EEG POUR ETUDE DE L'INTEGRATION

5.1 - PRINCIPES GNRAUX 5.1.1 - ENREGISTREMENT DE L'ACTIVIT LECTRIQUE CRBRALE ET EXTRACTION

PARTIE III - TRAVAUX EXPERIMENTAUX : ETUDE DE LA FLEXIBILITE DES PROCESSUS

CHAPITRE 8 - INTGRATION AUDIO-VISUELLE DANS LA DTECTION D'OBJETS BIMODAUX

117 117 118 118 118 118 118

10.1 - FLEXIBILIT DES PROCESSUS INTGRATIFS DANS LES AIRES SENSORIELLES

155 155 156 156 157 158

10.1.1 - INFLUENCE DE LA SENSIBILIT SENSORIELLE DOMINANTE DU SUJET

PERSPECTIVES : "THE BINDING PROBLEM"

TABLE DES ILLUSTRATIONS REFERENCES BIBLIOGRAPHIQUES PUBLICATIONS SCIENTIFIQUES

169 175 193

Comment lhomme acquiert lexprience perceptuelle des vnements du monde extrieur ?

APPROCHE COMPORTEMENTALE ET NEUROPSYCHOLOGIE

1.1 - ILLUSIONS PERCEPTIVES INTERMODALES

/ga/ /da/ /ba/

Cette illusion peut tre teste sur le site : http://www.psych.ucr.edu/avspeech/VSMcGurk.html.

1.1.2 - QUAND L'AUDITION ALTERE LA VISION

Cette illusion peut tre teste sur le site : http://neuro.caltech.edu/~lshams/demo.html.

1.1.3 - AUTRES ILLUSIONS PERCEPTIVES

1.2 - SITUATIONS NON-ILLUSOIRES : QUAND DEUX VALENT MIEUX QU'UN

1.2.1 - FACILITATION INTERSENSORIELLE

1.2.2 - "EFFET DE CIBLES REDONDANTES"

RELATIONS TEMPORELLES ET SPATIALES DES COMPOSANTES

1.3.1 - INFLUENCE DE LA DISPARITE TEMPORELLE

1.3.2 - INFLUENCE DE LA DISPARITE SPATIALE

1.4 - UN TROUBLE DE LA PERCEPTION INTERMODALE : LA SYNESTHESIE

PARFUMS, LES COULEURS ET LES SONS SE

1.4.2 - BASES NEURONALES DE LA SYNESTHESIE

CHAPITRE 2 - RAPPELS SUR

2.1 - LE SYSTEME VISUEL

2.1.1 - ORGANISATION GENERALE

Figure 7. Schma des voies visuelles sous-corticales.

2.1.2 - LA VOIE RETINO-GENICULO-CORTICALE

noyau gnicul latral dorsal

ventral voie magnocellulaire voie parvocellulaire

cortex visuel primaire

(medial superior temporal sulcus) appartenant au cortex temporal suprieur font

2.1.3 - LA VOIE RETINO-TECTALE

2.2 - LE SYSTEME AUDITIF

Figure 14. Voies auditives priphriques. (D'aprs Pujol, 1990).

2.2.2 - LES VOIES AUDITIVES ASCENDANTES (FIGURE 15)

Primary auditory cortex

Medial geniculate complex of the thalamus

Inferior colliculus Caudal midbrain Nucleus of lateral leminiscus Ponsmidbrain junction

Superior olive Cochlear nuclei

2.2.3 - LES VOIES AUDITIVES DESCENDANTES

2.2.4 - LES VOIES AUDITIVES DORSALE ET VENTRALE

CHAPITRE 3 - LES BASES NEURONALES

3.1 - NEURONES MULTISENSORIELS

3.1.1 - COLLICULUS SUPERIEUR

U NIVEAU DU NEURONE UNITAIRE

3.1.3 - AUTRES SITES D'INTEGRATION ET DE CONVERGENCE MULTISENSORIELLE

3.2.1 - CONNEXIONS SUBCORTICO-TECTALES ET CORTICO-TECTALES

3.2.2 - CONNEXIONS CORTICO-CORTICALES

4.1.1 - APPARIEMENT VISUO-TACTILE

4.1.2 - TACHES DE DETECTION ET PERCEPTION PASSIVE

4.1.3 - TRAITEMENT INTERMODAL DU MOUVEMENT