Efficace Bas-Agent Modles pour les non-gnomiques Evolution

Rsum : Modlisation des systmes dynamiques composs de regroupements de protines primitives est essentielle pour le domaine de l'astrobiologie, la science qui tudie les structures volutives dbut traitant avec les origines de la vie. Les thories actuelles sur l'mergence de concentrer dbut de la vie, soit sur l'ARN du monde des modles [2, 3] ou de protines modles du monde [4, 5]. La modlisation traditionnelle base sur deux modle sont gnralement soit trop lent converger ou trop simplifi de fournir de bons outils pour explorer les arbitrages dans les premiers stades de l' mergence de la vie. Ce document se concentre sur les protines du monde des modles et explique comment le modle de protines agrgations grce un utilitaire bas systme multi-agents. Nous dfinir des agents pour contrler les proprits spcifiques d'un ensemble donn de protines. Ces proprits dterminent la dynamique du systme, telles que la possibilit pour les protines de se joindre ou se sparent, tandis que les proprits supplmentaires dterminer l'aptitude de l'agrgation comme une cellule viable primitif. Nous montrons que sur une large gamme de conditions de dpart, il y a des mcanismes qui permettent aux agrgations de protines pour atteindre des valeurs leves de la condition physique gnrale. De plus grce l'utilisation d utilitaires agents spcifiques qui restent aligns sur l'utilit globale mondiale, nous sommes capables d'atteindre ces conclusions avec 50 fois moins d'tapes d'apprentissage.

INTRODUCTION
Dans ce papier, nous montrons comment les systmes multi-agents peuvent apporter une contribution importante au domaine de l'astrobiologie l'tude des cosystmes primitifs qui ont eu lieu tt dans l'histoire de la Terre et peut tre prsent sur d'autres plantes. Nous nous concentrons sur le sous-champ de non-gnomiques volution", impliquant l'volution des cologies de protines qui ne contiennent pas d' acides nucliques (ADN et ARN) qui forment la base de l'volution moderne. cologies protines sont importantes car les protines simples sont plus faciles faire par des processus naturels que les acides nucliques et on pense que la vie sur Terre pourrait avoir commenc avec ces cologies. La caractristique importante de protines cologies, c'est que contrairement acides nucliques, protines ne peuvent pas directement se reproduire. En consquence, non-gnomique est proccupe par l'volution du comportement global de l'cologie protine entire et sa capacit dans son ensemble pour former des cologies de nouvelles protines. Il est donc un bon domaine d'utilisation des systmes multi-agents pour modliser les interactions entre les protines et l'mergence de l'cologie protine spcifique. L'tude de la non-volution gnomique cherche trouver les conditions initiales et les mcanismes qui doivent tre prsents pour former des protines auto cologies maintien [6]. Malheureusement, avec les connaissances actuelles, il est impossible de simuler directement l'volution d'une cologie de protines. L'volution directe de procds chimiques de faible niveau a promis limite, en raison des difficults de calcul en crant une simulation qui engloberait une cologie plantaire complet. En principe, ralisables simulations peuvent tre obtenus par la modlisation de la dynamique de haut niveau d'interactions protiques qui plan structure chimique d'une protine (squences d'acides amins) des distributions de probabilit sur les fonctions possibles. Cependant, parce que l'heure actuelle unes de ces correspondances sont connues, une simulation significative ce niveau n'est pas possible. Comme une consquence non-gnomiques volution est actuellement analyse l'aide "plausible" des modles pour la dynamique de l'cologie des protines [4, 5]. Ces modles simplifis dynamiques sont ensuite courir et sont values en fonction d'une fonction d'utilit globale. Cette utilit globale des mesures de la valeur abstraite de l'cologie de protines rsultant. Malheureusement la cration d'un modle qui conduit une cologie bien final est laborieuse et comsuming temps extrmement. Ce document montre comment les agents d'apprentissage peuvent tre utiliss pour amliorer ce processus de modlisation en ayant des agents apprendre automatiquement les paramtres des modles de l'cologie des protines qui conduisent la remise en forme globale leve, permettant plus complexes et significatives modles que ceux utiliss actuellement dans la communaut astrobiologique. Dans cette approche les agents choisissent des proprits des protines individuelles qui influent sur la dynamique du systme (telles que la capacit d'une protine de diviser d'autres protines) ainsi que les proprits des protines qui sont importantes dans la production d'une cologie viables, telles que la possibilit d'une cologie de produire lipides ncessaires une

membrane cellulaire. Dans un processus continu, les agents choisissent des proprits des protines alors que la rpartition et le nombre de protines est mis jour grce la dynamique de l'cologie. En utilisant l'apprentissage par renforcement, les agents tentent de faire des choix qui mnent la remise en forme globale leve, dtermine par une fonction d'utilit donne d'valuer la viabilit de l'cologie. Dans nos expriences de la correspondance entre les proprits des protines et de l'utilit globale de l'cologie est plus complexe, indirecte et raliste que dans les modles prcdemment utiliss dans la communaut astrobiologique. En consquence, les cologies qui sont capables de raliser de fitness de haute offrir un meilleur exemple de mcanismes qui peuvent conduire des cologies protines auto-entretenue. La section 2 dcrit les principes et les prcdents travaux associs la non-gnomiques volution. La section 3 dcrit le modle mathmatique utilis dans ce document simuler la dynamique et l'valuation des cologies de protines. La section 4 montre comment les agents d'apprentissage sont utilises pour optimiser les proprits des protines de sorte que tout le systme ralise haute fitness mondiale. La section 5.1 prsente les rsultats de simulations du systme montrant que les cologies avec fitness globale leve peut tre trouve rapidement. La section 6 discute ensuite de l'importance de ces rsultats dans le domaine de astrobioligy, et fournit des orientations futures dans lesquelles systmes multi-agents peuvent tre utiliss pour bnficier de cette tude 2. Fond et travaux prcdents
Toute vie actuelle est base sur les organismes rpliquer par l'information code dans l'ADN (acide dsoxyribonuclique) ou d'ARN (acide ribonuclique). ADN et l'ARN sont composs de squences d'acides nucliques, qui peuvent former des paires de bases permettant la rplication de la squence. En raison de leur capacit se rpliquer, les modles des origines de la vie base sur l'ADN ou l'ARN sont les modles les plus populaires [3]. Cependant, l'ADN et / ou modles ARN base ont beaucoup de difficults [6]. Organismes actuels ncessitent une interaction complexe entre l'ADN et l'ARN pour survivre. Mme les organismes hypothtiques fondes uniquement sur l'ARN ( ARN mondes, UA) ncessitent des interactions complexes entre les diffrents types de l'ARN [2, 3]. En outre, les squences d'acides nucliques qui forment l'ADN et l'ARN sont difficiles faire dans les conditions pr-biotiques qui existaient au dbut de la Terre, l'histoire AOS. Par consquent, il ya un intrt croissant chez les non-gnomiques volution de l'tude des organismes qui n'utilisent pas les acides nucliques. Au lieu d'utiliser des acides nucliques, ces organismes utilisent des protines seulement. Le modle de non-gnomique volutive des organismes primitifs a l'avantage que les protines sont faites de squences d'acides amins, qui ont t montrs pour tre effectue dans des conditions similaires celles qui existaient dans la Terre, AOS histoire ancienne. Cependant, puisque les acides amins ne

peuvent pas former de paires de bases, la diffrence des acides nucliques, les protines ne peuvent pas tre directement reproduits (figure 1). Par consquent, les O eld de non-gnomique se concentre sur l'volution des proprits globales des cologies de protines pour voir si protocellules (prcurseurs des cellules qui ont des proprits de ces cellules comme ayant une membrane, mais n'ont pas toutes les fonctions cellulaires ou des composantes cellulaires) form partir de ces cologies peuvent produire de nouvelles protocellules [2, 6]. Comprendre les comportement combin de l'cologie est primordiale afin d' dterminer la place potentielle de l'volution non gntiques dans le histoire de la vie sur Terre. Tout en laboratoire et les progrs rcemment calcul a t fait dans la comprhension des cologies protines auto-rplication, nous sommes encore loin d'tre en mesure de prcision de modliser l'volution d'un protocellule en fonction de ses protines constitutives [4, 5, 7, 8, 11]. En consquence les modles actuels sont grandement simplifis, en utilisant de haut niveau hypothse sur la dynamique du systme [6]. Un des rares modles pour les non-gnomiques volution est dcrite dans de nouvelles Pohorille [6] et est bas sur la relation entre la longueur de la protine et son efficacit - le pourcentage de temps il russit effectuer des oprations sur d'autres protines. Dans ce modle, les protines effectuer deux oprations: l'hydrolyse et la ligature. L'hydrolyse est le processus de dcomposition d'une protine, tandis que la ligature est le processus de construction d'une nouvelle protine en joignant deux protines. Dans ce modle l'efficacit de la ligature et l'hydrolyse sont bases sur gaussiennes, avec plus de protines tant gnralement plus efficace. L'valuation de la condition de l'protocellule dans ce modle est bas sur la longueur de protines avec plus de protines en cours d'valuation plus lev que les protines avec plus courte dure. Les expriences ralises avec ce calcul modle montrent que protocellules deviennent plus aptes avec le temps. Toutefois, dans ce modle l'valuation de la condition ne concerne que l'efficacit de deux fonctions, tout en de nombreuses autres proprits sont ncessaires pour un protocellule viables, telles que la capacit d'une protine pour produire des lipides de construction de la membrane cellulaire. Dans cet article nous allons largir ces rsultats et de dvelopper un modle plus complexe de la nongnomiques volution avec l'aide d'un systme multi-agents. Cette configuration diffre des prcdentes en ce que l'efficacit des protines atteindre certaines tches est dtermin par les actions des agents d'apprentissage, permettant de nombreux degrs de libert de plus dans la dynamique de l'volution. En outre, les protines ont plusieurs fonctions en plus de leur capacit briser et construire d'autres protines. Enfin l'utilit globale utilise dans l'valuation de l'aptitude de l'protocellule prend en compte la rpartition de toutes les fonctions des protines dans le protocellule.

Figure 1: la rplication des protines. ADN et d'ARN peuvent former des paires de base et reproduire directement leurs squences. Les protines ne peuvent pas former de paires de base et ne peut donc pas directement se reproduire. Cependant, comme un systme, un groupe de protines formant un protocellul peut tre en mesure de rpliquer en crant d'autres protocellules avec environ les mmes caractristiques.

fait dans des ecologies derplique de comprhension de protine, nous sommes toujours loin de pouvoir modeler avec prcision l'volution d'un protocell bas sur ses protines constitutives [ 4.5, 7, 8, 11 ].En consquence des modles courants sont considrablement simplifis, en utilisant la prtention niveau lev au sujet de la dynamique du systme [ 6 ].Un des quelques modles pour l'volution non-genomic est dcrit dans nouveau et Pohorille [ 6 ] et est bas sur le rapport entre la longueur de la protine et son efficacit - le pourcentage du temps o elle russit effectuer des oprations sur d'autres protines.Dans ce modle, les protines effectuent deux oprations :hydrolyse et ligature.L'hydrolyse est le processus de dcomposer une protine, tandis que la ligature est le processus de construire une nouvelle protine en joignant deux protines.Dans ce modle l'efficacit de la ligature et l'hydrolyse sont bases sur Gaussians, avec de plus longues protines tant gnralement plus efficaces.L'valuation de forme physique du protocell dans ce modle est base sur la longueur de protine avec de plus longues protines tant values plus haut que des protines avec une longueur plus courte. Les expriences informatiques excutes avec cette exposition modle que les protocells deviennent davantage ont quip du temps.Cependant, dans ce modle l'valuation de forme physique est seulement concerne par l'efficacit de deux fonctions tandis que nombreuse d'autres proprits sont exiges pour un protocell viable, tel que la capacit d'une protine de produire des lipides de btiment de cellulemembrane. En cet article nous examerons ces rsultats et dvelopperons un modle plus complexe d'volution non-genomic avec l'aide d'un systme d'multi-agent.Cette installation diffre de la prcdente dans cela les efficacits que les protines atteignent certaines tches est dtermines par les actions des agents d'tude, permettant beaucoup plus de degrs de libert dans la dynamique de l'volution.En outre les protines ont plus de fonctions sans compter que leur capacit de casser et construire d'autres protines.Enfin l'utilit globale

utilise en valuant la forme physique du protocell tient compte de la distribution de toutes les fonctions de protine dans le protocell. 3. LE MODLE DE PROTOCELL Le modle du protocell primitif utilis en cet article est bas sur diffrents types de protine accomplissant diffrentes tches dans le protocell et contribuant diffremment la forme physique du protocell. Dans ce modle un protocell a un ensemble de protines de divers types. Les deux types les plus importants de protines sont des protines de combinateur et de briseur. Les protines de combinateur prennent deux autres protines et les combinent dans une protine simple (ligature). Les protines de briseur prennent un simple l'autre protine et les cassent en deux protines spares (hydrolyse). D'autres types de protine ont des fonctions importantes telles que la production de lipide pour des murs de cellules, la production nergtique et le transport d'nergie. Cependant dans notre modle, ces autres protines activement ne contribuent pas la dynamique du systme et sont seulement importantes en valuant la viabilit finale du protocell comme dfinie par l'utilit globale du systme. 3.1 Utilit Globale Pour qu'un protocell survive et prospre, il a besoin de diffrents types de protines accomplissant diffrentes tches. Certains types de protines sont ncessaires pour des membranes de cellules de btiment, alors que d'autres sont ncessaires pour des tches telles que la production nergtique, le transport d'nergie et l'change chimique. Si une cellule a une distribution faible des protines, telles que n'avoir aucune protine pour des membranes de cellules de btiment, il sera peu susceptible de survivre et devrait recevoir une utilit faible. Notre modle fait une abstraction au-dessus des diffrents types de protines possibles, ignorant leurs fonctions de bas niveau. Nous supposons seulement qu'il y a des nombres optimaux de chaque type de protine et nous employons un affaiblissement exponentiel pour assigner l'utilit aux distributions au loin-optimales. Pour dfinir formellement l'utilit globale d'un protocell, laisser l tre les types possibles de k de protines et laisser y i tre la quantit dsire de protines du type i dans le systme, alors que x i reprsente la quantit courante de protines du type prsent d'i dans le systme. Nous choisissons la forme fonctionnelle .... , qui prend son valeur optimale de 1 quand x i = y i, pour dcrire quel point nous troits sommes au nombre dsir de protines excutant la fonction k. L'intuition derrire ce choix est qu'il y a une quantit optimale d'une protine particulire requise dans le protocell. S'il y a cette quantit, le protocell ne fonctionnerait pas correctement, et s'il y a plus que cette quantit, la protine emploie plus de ressources que ncessaires pour accomplir sa tche. L'utilit globale pour le protocell est simplement la somme de ces fonctions: l o x est le vecteur des quantits courantes de chaque type de protine et y est le vecteur des quantits dsires de chaque type de protine. 3.2 Dynamique De Protocell : La dynamique du protocell est dtermine par l'hydrolyse et la ligature. Pendant la ligature, une "protine de combinateur" joint deux protines dans une protine simple. Pendant l'hydrolyse, d'autre part, une protine est casse dans deux protines. Il y a deux questions cruciales dans les deux oprations. D'abord, le combinateur ou la protine de briseur doit choisir les protines sur lesquelles elle agira. En second lieu le protein(s) rsultant du need(s) d'opration pour hriter de certaines proprits de leurs prdcesseurs. Ces issues seront modeles par des concepts de spcialisation et de grouper respectivement.

Bas sur la thorie courante d'volution non-genomic, c'est unl ikely que des protines de combinateur dans les protocells tt ont t spcialises, c.--d. elles combineraient deux autres protines ensemble indpendamment de quel type elles taient [ 6 ]. Cependant, il est probable que des protines de briseur aient t lgrement spcialises : Il y avait quelques types de protines qu'une protine particulire de briseur ne casserait pas. Tandis que la dynamique relle de spcialisation est complexe, nous modlerons cette spcialisation en assignant chacun la protine de briseur un type simple de protine qu'elle ne cassera jamais. Toutes autres protines seront casses par cette protine. Quand de nouvelles protines sont cres en raison des oprations de combinaison ou de rupture, elles seront assignes des types bass sur les protines qu'elles sont venues de. Cette tche sera modele par le principe du "type faisceaux de protine." Dans ce modle nous supposons que les protines du mme type tendent rassembler prs de l'un l'autre, formant groupe. Dans notre modle chaque protine appartient exactement un faisceau, bien que les faisceaux multiples puissent avoir des protines des types semblables (figure 2). Quand une nouvelle protine est cre en raison d'une opration de rupture elle tendra aller un faisceau du mme type que son parent (cependant pas ncessairement le mme faisceau). Quand une nouvelle protine est cre a bas sur peigner deux protines, il ira un faisceau choisi bas sur les proprits des faisceaux de parent. Des dtails de ces tches sont donns dans la section 4.

Le schma 2 : Dactylographier Les Agents. Chaque type agent dtermine la protine saisit son faisceau. Chaque agent prend des dcisions au sujet du type de protine dans son faisceau indpendamment, ainsi les protines dans le mme faisceau peuvent avoir diffrents types. 4. CADRE D'AGENT POUR LE MODLE DE PROTINE En cet article, les agents jouent un rle important en dterminant la spcialisation du Th e des protines de briseur et en dterminant les proprits des faisceaux. Spcifiquement, chaque faisceau sera assign un "type" agent, dont les actions dterminent le type de chaque protine dans son faisceau. En outre chaque spcialisation d'une protine de briseur sera dtermine

par les actions des agents " d'une spcialisation de briseur". Cette section dcrit les dtails de l'apprentissage et des mesures pris par les agents. 4.1 Dactylographier Les Agents Les types des protines dans un faisceau sont dtermins par un agent affect ce faisceau. Dans notre modle un agent prend une mesure discrte s'tendant du ` 1 k ', o le ` k 'est le nombre de types possibles. Chaque fois qu'un agent prend une mesure, son action dtermine le type d'une protine simple dans son faisceau choisi au hasard. Avec le temps, un agent prend beaucoup de mesures, dfinissant les types de de plus en plus protines dans le faisceau. Le but de l'agent est de choisir les types qui mnent finalement un protocell d'utilit globale leve. Pour accomplir cette tche, nos agents apprennent par une tude simple de renfort. Le systme est model en utilisant une srie d'tapes discrtes de temps, o chaque agent prend une mesure font un pas ensuite chaque fois. Au dbut d'une tape de temps chaque type agent prend une mesure dterminant le type de protine simple dans son faisceau. Cette action est dtermine par un tudiant avide de renfort de "e " avec une table d'tude de la taille k, le nombre de types de protine. Chaque entre dans la table reprsente l'utilit prvue par agents en choisissant l'action lie cette entre. Avec la probabilit "1 e " un agent prend une mesure lie l'entre de table la plus leve. Avec la probabilit "e " il prend une mesure alatoire. Noter qu'avec l'tudiant "e-avide ", nous nous attendrions ce qu'un faisceau ait des protines de plusieurs diffrents types. La majeure partie du temps l'agent placerait des protines au type li l'utilit prvue la plus leve, bien que parfois elle choisisse les types alatoires avec la frquence selon "e ". Autre que si un agent place le type de protine quelque chose une protine de combinateur ou une protine de briseur, alors rien ne se produit dans le systme jusque la prochaine fois l'tape. Cependant, si un agent choisit une protine pour tre un combinateur ou une protine de briseur, les oprations de combinaison ou de rupture correspondantes puis ont lieu. Si la protine est un combinateur, alors deux autres protines sont choisies au hasard et ensemble combines pour former une nouvelle protine. Si la protine est une protine de briseur, alors une autre protine est choisie au hasard pour la rupture possible. Si cette protine est rellement casse dpend de la spcialisation de la protine de briseur, discute aprs. 4.2 Agents De BreakerSpecialization Chaque protocell a plusieurs agents de briseur-spcialisation lis aux protines. Un agent de briseur-spcialisation sera typiquement associ plusieurs protines, mais une protine sera seulement associe un agent de briseur-spcialisation. Les actions de son agent de briseurspcialisation dterminent la spcialisation de toutes les protines de briseur qui sont associes elle. chaque fois que l'tape, l'agent de briseur-spcialisation prend une de mesures d'"k " choisies avec un "e - " tudiant avide de renfort. Cette action dfinit alors la spcialisation d'une protine de briseur choisie alatoirement. Cette spcialisation dtermine le type de protine que la protine de briseur ne peut pas se casser : Si la protine qu'elle fonctionne pendant sa opration de rupture est allume du mme type que sa spcialisation, alors l'opration ne fait rien. 4.3 Attribution de faisceau de nouvelles protines

Aprs une opration de combinaison ou de rupture, le faisceau que la nouvelle protine appartient est dtermin par les faisceaux des protines originales impliques dans l'opration. Dans notre modle nous voulons le protein(s) d'enfant qui rsultent de ces oprations pour finir vers le haut dans le cluster(s) qui sont "semblables" au cluster(s) que le protein(s) de parent est venu de. Tandis qu'il y a beaucoup de manires de dfinir la similitude entre les faisceaux, notre modle emploiera les tables d'tude pour les agents assigns chaque faisceau pour dfinir la similitude (le schma 3). Pour une opration de rupture, une protine "p " dans le faisceau "C" est casse dans deux nouvelles protines. Pour trouver le faisceau "C nouveau " pour une des nouvelles protines "P nouvelles ", nous calculons d'abord un vecteur, v comme suit : v = Qc + e (2) W ici Q c est l'tiquette d'tude le du type agent li au faisceau c, et e est bruit de Gaus Singan. Le faisceau pour la nouvelle protine, c nouveau est alors choisi comme faisceau li l'agent qui a la table d'tude la plus troite v, bas sur la norme de Manhattan (1-norme) : cnew = argminc_(Qc, v) (3) l o ........ est la norme de Manhattan.

Le schma 3 : Cassant Des Protines Distantes. Quand une protine est distante cass, deux protines d'enfant sont cres. Les types de chacune des protines d'enfant dpendent de la table d'tude de l'agent pour le faisceau que la protine originale est venu de. Pour chaque protine d'enfant une nouvelle table est faite en ajoutant le bruit cette table d'tude. Chaque protine d'enfant est assigne l'au faisceau dont l'agent a la table d'tude est le plus proche de la table de protines. Pour une opration de combinaison une protine p 1 dans le faisceau c 1 est combine avec la protine p 2 dans le faisceau c 2 pour former une nouvelle protine simple, p nouveau. Comme avec l'opration de rupture, pour trouver le faisceau c nouveau pour la nouvelle protine nous calculons d'abord un vecteur, v. Cependant ce temps v est une fonction de deux tables d'tude puisque p nouveau est cr de deux protines. Pour manipuler ceci nous combinons les tables d'tude en utilisant l'oprateur maximum lment-sage m (x, y), qui assigne chaque composant de m i le maximum de x i ou de y i : m i = maximum (x i, yi). Le vecteur v peut alors tre calcul comme : v = m (Q c 1 ,Q c 2) + e.......................... (4)

Q c 1 et Q c 2 sont les tables d'tude du type agents lis les faisceaux c l o 1 et le c 2, et e est bruit gaussien. Comme avant le faisceau pour la nouvelle protine, c nouveau est alors choisi comme faisceau li l'agent qui a la table d'tude la plus troite v, bas sur la norme de Manhattan (1-norme) : c nouveau = argmin c _ (Q c, v) , (5) l o () est la norme de Manhattan. Le procd pour dterminer l'agent de briseurspcialisation li une nouvelle protine est parallle, avec les tables d'tude des agents de briseur-spcialisation tant employs. 4.4 Utilits D'Agent Le but des agents est de maximiser l'utilit globale G (x, y) comme dfini dans quation 1. Cependant quand il y a beaucoup d'agents, il est difficile de maximiser cette utilit. Cette difficult rsulte du fait qu'un agent simple aura seulement un petit impact sur la valeur de G. Si un agent prend une mesure et G augmente, cet agent ne sait pas si les augmentations taient dues ses action ou les actions des autres agents. Quand les agents n'ont pas l'influence significative au-dessus de leur utilit par rapport l'influence de tous les autres agents, cela prend habituellement un moment trs bon pour eux d'apprendre agir qui le maximisent. Pour allger ce problme, cet article fait maximiser chaque agent une "utilit de diffrence" au lieu de l'utilit globale. Une utilit de diffrence est spcifique l'des agents i, et peut tre calcule comme suit : D i(z) = G(z) - G (z -i) , (6) W ici z est par un vecteur de toutes les mesures prises les tout l'agents et z - I est un vecteur de toutes les actions except la mesure prise par l'agent i. La deuxime limite de l'quation de diffrence est une version counterfactual de l'utilit globale qui peut tre vue comme valeur du systme sans agent i. Par consquent l'utilit de diffrence peut tre vue comme contribution nette de l'agent au systme. En soustrayant cette deuxime limite counterfactual de la premire limite, l'quation de diffrence enlve une grande partie du bruit provoqu par les actions des autres agents. L'utilit de diffrence a t montre pour acclrer considrablement le renfort apprenant dans beaucoup de domaines, y compris le cheminement de trafic d'Internet, commande multirobotique et communication par satellite La forme spcifique de l'utilit de diffrence pour notre utilit globale, G (x, y), dfini en cet article est : D i (x, y) = G (x, y) - G (x - I, y) , (7) W ici x - I reprsente les comptes des types de protine pour un protocell, a eu l'agent que je n'avais pris aucune mesure. La forme exacte de x - I dpend du type d'action fait, particulirement si l'agent faisait une protine un combinateur ou un briseur. Pour toutes les actions laisser j soit le type de protine choisi par l'agent. Pour le combinateur les actions

laissent a et b tre les types de protines qui ont t combines et ont laiss c d'tre le type de protine produit. Pour le briseur les actions ont laiss un tre le type de protine cass et ont laiss b et c tre les types de protines a produit. Puis la valeur de x - I est comme suit : 1. x - e j pour des protines de non-combinateur ou de briseur, 2. x - e j + e a + e b -la communaut europenne pour des protines de combinateur, 3. x - e j + e a - e b -la communaut europenne pour des protines de briseur, l o e j est un vecteur o l'lment j a une valeur de 1 et les autres lments sont 0. Essentiellement pour des protines de combinateur et de briseur, les protines cres sont enleves des comptes et les protines consommes sont retournes. 5. RSULTATS Pour examiner la capacit de notre systme agent-bas de produire les modles efficaces, nous avons couru un certain nombre d'expriences o les agents ont d crer des modles que cela a mens aux protocells avec l'utilit leve commenant par diffrentes distributions de protine. Dans cette tche pendant que les agents devaient crer un modle avec la distribution approprie des protines de combinateur et de briseur, et a d s'assurer que les protines de briseur ont eu le profil appropri de slectivit. En outre les agents ont d s'assurer que les fonctions de toutes les protines taient dans la distribution approprie. Dans toutes les expriences il y avait trente agents. Dans chaque exprience il y avait cinq types diffrents de protines qui ont t dsires dans les rsultats finals sans compter que les protines de combinateur et de briseur (par exemple, protines pour la collection d'nergie, le transport d'nergie, le btiment de membrane, et le btiment de noyau). L'exprience a examin les diffrentes conditions commenantes, diffrentes combinaisons souhaitables de ces protines en choisissant un nombre optimal de chaque ces cinq protines, y 1, y 2, y 3, y 4, y 5 , avec un total optimal correspondant y = y 1 + y 2 + y 3 + y 4 + y 5, et conditions optimales changeantes. La premire exprience a examin les capacits des agents crer un modle qui a atteint un bon quilibre final, partir des protines de y. L'intention de cette exprience tait dterminer de si la combinaison dsire des protines peuvent tre atteintes en rarrangeant les protines prsent au dbut. La deuxime exprience a examin ces capacits partir de 2 protines. L'intention de cette exprience tait de dterminer combien peu de protines sont ncessaires pour que le processus commence, et si un protocell peut se dvelopper partir de juste deux protines et produire des protines ncessaires pour accomplir toutes les tches exiges La troisime exprience a examin ces capacits commenant par 3 protines de y. L'intention de cette exprience tait d'examiner si le protocell peut couper travers encombrent et liminent les protines inutiles. La quatrime exprience a examin la capacit du protocell de s'adapter un changement soudain d'environnement o le nombre optimal de chaque type de protine est chang michemin par la simulation. L'intention de cette exprience tait de voir la robustesse du protocell aux changements soudains de son environnement.

5.1 volution de Protocell des protines de y Dans la premire exprience le protocell a commenc par 30 protines. Le nombre optimal de protines tait 31 (1+2+4+8+ 16), avec y 1 = 1, y 2 = 2, y 3 = 4, y 4 = 8, et y 5 = 16. Puisque commencer et le nombre optimal de protines taient presque identique, ce problme tait relativement simple et la seule tche des agents tait de crer un modle qui forme la distribution approprie et la maintient. Cependant, en dpit de la simplicit de la tche, le schma 4 prouve que les agents maximisant directement l'utilit globale ne pourraient pas produire modle proportionn. En fait les actions initiales des agents ont produit un modle qui tait plus mauvais que commenant, et aprs que 5000 preuves d'tude qu'ils ne sont toujours pas parvenus atteindre leur excution commenante initiale. Ce lieutenant de resu n'tonne pas puisque beaucoup de le choix des paramtres modles peut tre trs destructif, comme crer trop de protines de briseur. Puisqu'il tait trs difficile que les agents apprennent de l'utilit globale, elles ont eu la difficult viter ces choix destructifs. En revanche, les agents employant l'utilit de diffrence pouvaient produire modles proportionns pour cette tche. En changeant la distribution ils pouvaient crer un modle qui a ralis une utilit de 3.7, partir de l'utilit initiale de 2.8. Les agents employant l'utilit de diffrence taient plus efficaces que les agents en utilisant l'utilit globale parce que l'utilit de diffrence tait beaucoup learnable. Le nce de significa de ce modle l'volution non genomic, est de quelque manire que minimal. Il prouve que la distribution approprie peut tre maintenue, intuitivement signifiant qu'il devrait y avoir peu de protines de combinateur et de briseur.

Le schma 4 : Excution pour le protocell commenant par le nombre optimal proche des protines. Agents en utilisant modle proportionn de forme de service de diffrence en changeant des distributions de protine en cibles convenables. L'utilit globale ne peut pas atteindre l'excution (alatoire) originale. 5.2 volution de Protocell de 2 protines Dans la deuxime exprience, le protocell a commenc par 2 protines. Le nombre optimal de protines tait 31, avec y 1 = 1, y 2 = 2, y 3 = 4, y 4 = 8, et y 5 = 16. Ceci a prsent un arrangement beaucoup plus difficile que le prcdent, puisque commenant par 2 protines, les agents ont d crer un modle qui augmente le nombre de protines par un facteur de 15, tout en fournissant que les protines sont dans la distribution approprie. Ceci exige d'une premire augmentation de la distribution des protines de briseur de crer assez de protines totales et une variation dans la distribution, aussi bien, pour maintenir les niveaux appropris de protine. Le schma 5 prouve que les agents employant l'utilit de diffrence peuvent crer un modle que cela mne adapter fortement des protocells. Dans cette exprience, l'excution du

protocell va de 0. 8 3. 5, une augmentation sensiblement plus grande que de l'exprience prcdente. Cette plus grande augmentation est prvue puisque le protocell initial avec deux protines est dans un tat beaucoup plus mauvais que celui commenant par 30. Cette exprience prouve qu'un modle existe o un protocell avec un nombre restreint de protines peut devenir un avec un grand nombre de protines et former la distribution approprie de protine. Ceci a l'perspicacit significative dans les conditions initiales exiges pour la formation des protocells. Ce rsultat dmontre que dans les conditions appropries une cologie de protine peut tre forme partir de seulement 2 protines.

Figure 5: Performance for protocell starting with 2 proteins. Agents using difference utility are able to form model where combiner and breaker proteins are formed, and lead protocell to an equilibrium where there are enough proteins, and the proteins are in the correct distribution. 5.3 Protocell Evolution from 3y Proteins In the third experiment the protocell started with 95 proteins. The optimal number of proteins was again 31, with y1 = 1, y2 = 2, y3 = 4, y4 = 8, and y5 = 16. This experiment requires an initial increase in the distribution of combiner proteins so that proteins in the initial high population are combined together to form a smaller population. As before results show that agents using the difference utility are able to create a model that leads to highly fit protocells. In this experiment the performance of the protocell quickly shoots from 2.2 to 3.6, but then goes down slightly. This slight reduction in utility is due to the model producing too many combiner proteins that causes the system to overshoot its protein reduction. Figure 6 shows that when there are too many proteins in a protocell, a mechanism can be created to reduce the number and create a proper protein distribution. 5.4 Protocell Evolution in Dynamic Environments In the final experiment, the protocell started with 35 proteins with an optimal number of proteins of 31. The optimal number of proteins was thirty one, with y1 = 1, y2 = 2, y3 = 4, y4 = 8, y5 = 16, but at 5000 episodes is changed to y1 = 16, y2 = 8, y3 = 4, y4 = 2, and y5 = 1. This experiment requires the agents to adapt to new model requirements after they have already developed an existing model. The results shown in Figure 7 show that the agents are able to quickly adapt to this change in model requirements.

6. DISCUSSION AND CONCLUSION In this paper we explore multi-agent models to simulate potential ways in which early non genomic cells can evolve to perform the tasks required for survival. Through the use of learning agents, we create an abstract dynamical model

Le schma 6 : Excution pour le protocell commenant par trois fois trop de protines. Les agents employant l'utilit de diffrence peuvent former le modle o des protines de combinateur et de briseur sont formes qui mnent le protocell un quilibre o il y a assez de protines, et les protines sont dans la distribution correcte. pour un protocell primitif d'une complexit considrablement plus grande que les modles prcdents. En particulier nos modles incluent les protines qui ont eu beaucoup de diffrentes proprits et ont eu une dynamique plus complexe pour la protine combinant et se cassant. En outre, alors que l'utilit de forme physique utilise dans d'autres modles se reflte directement la dynamique du systme, tel que l'efficacit, notre utilit de forme physique seulement est indirectement influence par la dynamique. Par consquent notre utilit de forme physique est plus raliste et fournit m plus de degrs de libert pour que le systme volue. Avec notre cadre, nous prouvons que les modles existe qui peuvent produire les protocells fortement adapts partir d'une grande varit de conditions commenantes. Tandis que notre utilisation des systmes d'multi-agent nous permettent de crer les modles de l'volution non-genomic qui sont plus complexes que les modles prcdents, ils sont toujours fortement abstraits. Une issue avec le modle est que les protines seulement de combinateur et de briseur affectent la dynamique du systme. Nous travaillons actuellement avec des astrobiologists pour aider ajouter l'autre dynamique dans le cadre. Une autre issue est que les distributions optimales de protine utilises dans notre utilit globale du protocell sont quelque peu arbitraires. Cependant notre cadre permet d'autres distributions d'tre branches, et nous travaillons galement avec des astrobiologists pour proposer des valeurs plus ralistes. Quoique beaucoup de dtails doivent tre ajouts nos modles pour augmenter leur plausibilit biologique, le cadre d'multi-agent fournit la puissance et flexibilit de faire ainsi et assortit naturellement les proprits distribues des ecologies de protine-seulement. En gnral une valuation plus complexe des protocells peut simplement tre mise en application par les utilits d'agent. En outre plus de complexit peut tre prsente en ajoutant diffrents types d'agents ou en changeant l'espace d'action d'agents. En raison de leur flexibilit nous croyons que les systmes d'multi-agent deviendront un outil important l'tude de l'astrobiology.

Remerciements : Les auteurs remercient Dr. Andrew Pohorille, branche d'Astrobiology, centre de recherches de la NASA Ames, des discussions de valeur inestimable et de dcrire patiemment les complexits des modles "du monde de protine" de la vie tt.

Le schma 7 :Formation modle pour changer des conditions de Distribution. When pour la distribution des protein schanges l'tape de temps cinq mille, agents areable de former un modle qui s'ajustent sur le changement

Figure 7: Model Formation for Changing Distribution. When requirements for the distribution of proteins changes at time step five thousand, agents are able to form a model that adjust to change.

Critres