SERPIKOM

WWW.SERPIKOM.EU

DUMB-0 version 1.6 Manuel dexploitation

MANUEL DEXPLOITATION DUMB-0

Avertissement
ATTENTION
LES SPECIFICATIONS ET LES INFORMATIONS CONCERNANT LE PRODUIT DECRIT DANS CE DOCUMENT SONT SUJETS CHANGEMENT SANS NOTIFICATION PREALABLE. TOUTES LES AFFIRMATIONS, INFORMATIONS ET RECOMMANDATIONS INCLUSES DANS LE PRESENT DOCUMENT SONT REPUTEES FIABLES, MAIS SONT COMMUNIQUEES A TITRE DINDICATION SANS AUCUNE GARANTIE DAUCUNE SORTE, NI EXPLICITE NI IMPLICITE. LUTILISATEUR EST PLEINEMENT RESPONSABLE DE LINTERPRETATION QUIL PEUT FAIRE DU CONTENU DU PRESENT DOCUMENT. EN PARTICULIER, LUTILISATEUR EST SEUL RESPONSABLE DU RESPECT DES NORMES ET REGLEMENTS EN VIGUEUR LORS DE LUTILISATION DE CE PRODUIT. LUTILISATEUR EST PLEINEMENT RESPONSABLE DE SA SECURITE LORS DE LINSTALLATION ET DE LEXPLOITATION DU PRODUIT DECRIT DANS CE DOCUMENT. NOUS DECLINONS TOUTE RESPONSABILITE, DANS TOUTES LES CIRCONSTANCES, ET POUR TOUS LES CAS CONCERNANT LES DOMMAGES DIRECTS, INDIRECTS, EXCEPTIONNELS, REPETITIFS OU ACCIDENTELS. DE MEME, NOUS DECLINONS TOUTE RESPONSABILITE POUR LES SITUATIONS DE PROCES, PERTE DEXPLOITATION, PERTE DE PROFIT, PERTE DE DONNEES DU CLIENT DU FAIT DE LINTERPRETATION DU PRESENT DOCUMENT AINSI QUE DE TOUTE UTILISATION DU MATERIEL DECRIT DANS LE PRESENT DOCUMENT. LE PRESENT AVERTISSEMENT NENGAGE PAS NOTRE RESPONSABILITE. IL EST DE LA RESPONSABILITE DU CLIENT DE SASSURER QUIL EST SUFFISAMENT FORME POUR UTILISER LE MATERIEL ET LA DOCUMENTATION.

UTILISATION EN FRANCE : R226 (N 0707 FEOLV 192)

MATERIEL SOUMIS A AUTORISATION

CE MATERIEL EST SOUMIS A AUTORISATION DU SGDN POUR LES CAS SUIVANTS : UTILISATION DETENTION LOCATION VENTE DEMONSTRATION

i/30

---< TEXTUAL >--attached_l=%s, %s, spam_status=good(%f) ou spam_status=spam(%f)

T able des matires

DEMARRAGE RAPIDE........... 4 PRINCIPES OPERATIONNELS.................. 6 PRINCIPE DE FONCTIONNEMENT 6
Architecture de traitement ..............6 Flux intercepts ..............................7 Traitements effectus ......................7
Traitement des interceptions..............7 Classification des interceptions .........8 Post-traitements .................................9

Noms de fichiers standards

Pour chaque interception, il existe deux espaces de nommage de fichier. Le premier correspond la racine des interceptions, et permet de nommer les fichiers associs chaque interception sans aucun risque de collision. Le second correspond la racine de chaque interception et contient uniquement les noms de fichiers attachs ventuellement prsents dans un email. $uuid.tck Racine des interceptions $uuid.mbox $uuid.body_raw $uuid.body_text $uuid.attach *** Racine de chaque email Ticket de communication contenant lensemble des informations sur lemail intercept Fichier brut contenant lemail au format bsdmbx Fichier contenant le corps extrait du mail ltat brut Fichier contenant le corps extrait du mail, et converti en fichier texte Rpertoire contenant les ventuelles pices attaches figes sous forme de fichier Nimporte quel fichier attach contenu dans le mail ayant pour rfrence $uuid. Ces fichiers se trouvent alors stocks dans un rpertoire propre chaque email

Maintenance automatise de la place disque ( garbage collector ) ...................................................... 19 CONFIGURATION EN MODE MAINTENANCE ............................... 21 Paramtres rseau........................ 21

EXPLOITATION INTERACTIVE........................22 EXPLOITATION STAND-ALONE REMOTE ........................................... 22 EXPLOITATION STAND-ALONE LOCAL (IDW)............................... 23 ANNEXES ................................26
DES LANGUES DISPONIBLES EN VERSION 1.6.............................. 26 INFORMATION SUR LA CONSTITUTION DE LUUID........... 26 CARACTERES SPECIAUX POUR LA CONSTITUTION DE FILTRES ......... 27 CONTENU DES FICHIERS DE COLLECTION DID+ ..................... 27 FORMAT DU TICKET DE COMMUNICATION .......................... 28 NOMS DE FICHIERS STANDARDS 29 VARIABLES STANDARDS DU DOCUMENT ..................................... 29

MODES DEXPLOITATION .............. 9

Utilisation en filtre........................10 Utilisation en stand-alone .......10
Client embarqu (IDW) ...................11 Client externe ..................................11

CONFIGURATION.................12 INSTALLATION................................12
Pr-requis .....................................12 Cblage du botier ........................12
Cblage single ...........................12 Cblage dual ..............................13

LISTE

Variables standards du document

$uuid $version_format $GMT_date $language $raw_file $dst_ip $src_ip 192.168.1.3 62.31.192.2 cf. supra %d.%d $unix_time $prog_name $storage $PF $proto $dst_port $src_port %d, nombre de secondes coules depuis le 1er janvier 1970 %s : nom dun processus de traitement %s : nom dun zone de stockage %2s--%s : identifiant dun dossier de traitement attribu au mail %s : protocole de communication. Parmi : pop3/smtp/imap %d : numro de port rseau %d : numro de port rseau

CONFIGURATION DEPUIS LINTERFACE WEB (IDW).............13

Configuration de lacquisition......14 Capture des emails .......................14 Traitements des emails .................14 Classification des emails ..............15 Finalisation (configuration des postprocesseurs)..................................16 Configuration multiutilisateur ......17 Configuration des utilisateurs .........................17 Attribution des process folder aux utilisateurs18 Configuration spcifique du postprocesseur --ftp........................18
2/30

%2s

29/ 29/30

3me colonne : datation de linterception au format unix_time. Ces fichiers sont disponibles dans un rpertoire accessible par protocole http ladresse suivante : http://ip_expl/dumb0/csv/. Chaque fichier a pour nom : idcoll-yyyy-mm-dd:hh.csv.

Format du ticket de communication

Un ticket de communication est divis en 5 sections dinformation : TICKET : section didentification de la version du format du ticket, et de la date de cration du ticket lui-mme. Le format est le suivant : ---< TICKET $version_format $GMT_date($unix_time) >--par exemple : ---< TICKET 1.41 Wed Oct 3 13:53:19 2007(1191419599) >--TRACEBACK : section contenant un marqueur de tous les processus qui ont t appliqus linterception. Le format est le suivant : ---< TRACEBACK >--From $prog_name received_by $prog_name for $storage at $GMT_date($unix_time) Le nombre de lignes dans la section traceback nest pas limit. INFO : cette section contient des informations globales (extraites) sur lemail intercept. ---< INFO >--acquition_time=$unix_time acquition_time_str=$GMT_date body_language=$language ip_dst=$dst_ip ip_src=$src_ip mbox_data_file=$uuid.mbox port_dst=$dst_port port_src=$src_port process_folder=$PF raw=$raw_file transport_proto=$proto uuid=$uuid

Cette page est laisse blanche intentionnellement

TEXTUAL : cette section contient les informations diverses, en particulier la liste des fichiers attachs et le marqueur de smap/non spam.
3/30 28/ 28/30

Ethernet du botier dumb-0). Un uuid est reprsent dans le systme dumb-0 sous forme dune chane de caractres correspondant au format suivant : %08x-%04x-%04x-%04x-%012x, ce qui donne par exemple comme valeur : 1b4e28ba-2fa1-11d2-883f-b9a761bde3fb.

Chapitre

Caractres spciaux pour la constitution de filtres

Les valeurs de regex pour la constitution de filtres de process-folder sont des regex perl. Les modificateurs les plus importants sont les ancrages qui permettent de spcifier commence par : ^ et fini par : $. Exemples : phone=+33123456789 Dsigne un numro de tlphone convenant : +33123456789 phone=^+336 Dsigne un numro de tlphone commenant par : +336 phone=3456789$ Le botier DUMB-0 (DUMB-0) Dsigne un numro de tlphone finissant par : 3456789 Il en est de mme pour les spcifications demail ou de tld. tld=ebay.fr$ 1 Dsigne toutes les adresses finissant par : ebay.fr tld=ebay Dsigne toutes les adresses contenant : ebay (ebay.fr, ebay.con, ). 1 1

0
Dmarrage rapide
Dballage, installation et dmarrage en moins de 10 minutes.
Avant toute mise en service, assurez-vous que le carton demballage du produit contient bien les lments suivants : Cble dalimentation lectrique CEE7 /C5 (CEE7) 1 Bloc dalimentation 110/220V, 60W (PSU)

Carte compact flash contenant le firmware (CF) 1 Le manuel dexploitation (DOC)

Contenu des fichiers de collection dID+

Un fichier nouveau est gnr toutes les heures. Les fichiers sont lisibles sous MS excel et contiennent les informations suivantes : 1re colonne : ID+ 2me colonne : uuid du mail dans lequel lID+ a t vu
27/ 27/30

Note : Si vous perdiez lun des lments constitutifs du produit, toutes les pices dtaches sont disponibles et tenues en stock.

4/30

blage : branchement du botier une source dnergie. En 110/220V, vous utiliserez le transformateur (PSU) et le cble CEE7. Vous pouvez aussi connecter directement une alimentation basse tension 12V capable de dlivrer 5A. Le cble pour ce type de connexion nest pas fourni en standard mais est disponible sur demande. Connexion de linterface rseau marque ACQ larrire du botier sur le support de communication que vous souhaitez oprer. Ce port rseau nauto-ngocie pas le type de cble. Vous devez donc choisir le type de cble Ethernet appropri (crois ou droit) en fonction de lenvironnement. Connexion de linterface rseau marque EXP larrire du botier sur le support rseau destin lexploitation. Si vous faites une connexion directe sur un PC muni dun navigateur, vous devez utiliser un cble crois. Installez le firmware dans le lecteur de compact flash situ en face avant du botier DUMB-0 (le lecteur se trouve sous la trappe en face avant du produit). ise en route : par dfaut linterface dexploitation a pour adresse IP : 192.168.1.1/24. Vous devez donc avoir votre PC dexploitation sur le mme rseau. Une fois les connexions ralises, vous pouvez mettre le botier sous tension (bouton rond dans le coin suprieur droit de la face avant). Le botier met moins dune minute pour tre oprationnel. Une fois oprationnel, vous disposez dun affichage tournant dindicateurs systme. ccs linterface dexploitation embarque (IDW) : au moyen dun navigateur WEB, ouvrez ladresse : http://192.168.1.2/webmail. Vous pouvez vous connecter en fournissant le login : dumb0 et le mot de passe : dumb0. Si votre interface dinterception est bien connecte une source laissant passer des emails, vous devez voir apparatre les premires interceptions dans le processing folder (PF) nomm UN en quelques minutes.

A
Annexes
Liste des langues disponibles en version 1.6
Les 41 langues identifies dans cette version sont prsentes dans le tableau suivant. Les codes en regard de chaque langue sont ceux utilisables dans la dfinition dun filtre sur langue.
Afrikaans Bulgarian Breton Bosnian Welsh Danish German English Esperanto Spanish Estonian Basque Arabic Korean AF BG BR BS CY DA DE EN EO ES ET EU AR KO Finish French Frisian Irish Croatian Hungarian Indonesian Icelandic Italian Latin Latvian Malay Urdu Russian FI FR FY GA HR HU ID IS IT LA LV MS UR RU Dutch Norwegian Polish Portuguese Romanian Russian Slovene Somali Albanian Swedish Swahili Turkish Chineese NL NO PO PT RO RU SL SO SQ SV SW TR CN

M
A

Information sur la constitution de luuid

LUUID est l'abrviation du terme anglais Universal Unique Identifier (identifiant unique universel) utilis en informatique. Il s'agit d'un standard dfini initialement par l'OSF (Open Software Foundation). La dernire version de ce standard est dfinie par le RFC 4122, en 2005. Ces identifiants uniques sont cods sur 128 bits et sont produits en utilisant des composantes pseudo-alatoires ainsi que les caractristiques d'un ordinateur (adresse MAC dune des interfaces
5/30 26/ 26/30

Chapitre

1
Principes oprationnels
Cette page est laisse blanche intentionnellement

Le systme dinterception Dumb-0 est conu pour un usage extrmement simplifi, tout en ayant des performances importantes pour un appareil de terrain. Le systme de fonctionnement est du type store & forward , et limplmentation autorise un fonctionnement avec de frquents arrts/redmarrages et redfinitions de mission.
e principe gnral des traitements effectus par le botier DUMB-0 est celui du filtre, savoir que linterception effectue initialement va se voir appliquer plusieurs processus de traitement automatis. Au terme de ces traitements, linterception est stocke dans le disque dur interne et mise disposition au moyen de diffrentes interfaces. Il existe deux systmes principaux de mise disposition, suivant lenvironnement dexploitation. Si lenvironnement de traitement est du type lger, mobile ou occasionnel , il est possible dexploiter le botier en mode stand-alone , cest-dire sans le recours daucun systme tiers. Si lenvironnement est plus stable ou si lexploitation ncessite plus de post-traitements (comme le croisement des informations, la mise en GED, ), le botier peut tre exploit en filtre. Dans ce cas, il ralise les fonctions dacquisition et de traitement sans envoyer les interceptions au systme dinterface.

Principe de fonctionnement
Architecture de traitement

Larchitecture de traitement est du type pipeline , savoir que les traitements sont appliqus lensemble des interceptions effectues, depuis la capture proprement parler jusqu la mise disposition. Le systme effectue quatre fonctions principales : acquisition, traitement, classification et post-traitement. Chaque tape contribue au traitement des interceptions suivant un systme denrichissement progressif de linformation extraite.

25/ 25/30

6/30

Lactivation de la section Options permet daccder aux lments de configuration optionnelle dIDW.

Flux intercepts

Les interceptions peuvent tre ralises directement sur une interface Ethernet 10/100/1000. Dans ce cas, le botier est branch directement sur le flux qui fait transiter les emails. Les interceptions peuvent aussi tre ralises de manire indirecte. Dans ce cas, il existe un dispositif dacquisition distinct du botier dumb-0. Ce dispositif enregistre les interceptions dans des fichiers au format pcap et les dpose dans le botier dumb-0 par ftp. La suite des traitements effectus est strictement identique quelque soit le mode dinterception (directe ou indirecte).
Traitements effectus
Traitement des interceptions

Lactivation de la section Rechercher permet deffectuer des recherches par mot clef dans les emails dun process-folder donn. Cette section permet aussi de mmoriser les recherches les plus frquentes.
Pour effectuer des recherches par mot clef

Chaque email intercept par le systme dumb-0 est identifi de manire unique dans le systme et entre tous les systmes au moyen dun label nomm luuid. Chaque interception effectue par un botier dumb-0 sera donc identifie sans aucune ambigit par son uuid. La construction de luuid est dtaille en annexe. Lextraction du mail dans le flux protocolaire est ralise par analyse protocolaire unidirectionnelle, cest--dire que le systme dumb-0 extrait les mails des flux unidirectionnels tels que ceux prsents sur satellite DVB. Lensemble des informations recueillies loccasion de ces traitements est stock dans ticket de communication . Ce fichier a pour nom : $uuid.tck. Les emails intercepts sont traits par un dtecteur de spam baysien. Ce dtecteur fonctionne base dapprentissage dexemples. Ces exemples sont dsigns par linterface interactive IDW. Lavantage principal de ce systme de dspam est son fonctionnement possible en environnement totalement isol dInternet. Lidentification de la langue du corps des mails est effectue par analyse statistique n-gram. Cette analyse retourne la langue probablement pratique dans le corps du mail. Si la langue ne peut tre dtermine, le label alors retourn sera unk. La langue ainsi dtermine peut tre utilise comme
7/30 24/ 24/30

Recherches mmorises

Rsultats de la recherche (liste clicable)

Exploitation stand-alone local (IDW)

Lexploitation avec linterface embarque permet daccder aux process folder en sy abonnant.

paramtre de classification. Lensemble des langues disponibles est list en annexe la fin de ce document. Le systme danalyse extrait les identificateurs (appels ID+ par la suite) prsents dans 3 zones de la transmission : 1. 2. adresses IP en jeu dans la transaction (source et destination) adresses email prsentes dans len-tte du courrier. Typiquement, les champs From : To : et Cc :. Toutes les adresses email et tous les numros de tlphones prsents dans le corps du mail.

3.

Lensemble de ces identifiants, ainsi que la langue du message sont exploits par le systme de classification pour dterminer si le mail peut tre mis en correspondance avec un dossier de traitement. Lensemble des pices attaches sont systmatiquement dtaches et enregistres sur disque. Les noms des fichiers dtachs sont stocks dans le ticket de communication. Une fois abonn, le PF en question apparat en partie gauche de linterface. La liste des mails appartenant ce PF est prsente en partie droite de linterface. La lecture des emails se fait par simple clic sur les lments dinterface navigables.
Classification des interceptions

Le systme de classification permet dattribuer chaque mail de manire exclusive un dossier de traitement en fonction de critres de correspondances (filtres) qui dfinissent ce dossier de traitement. Il existe quatre niveaux priorit de mise en correspondance avec un dossier de traitement. Lensemble des filtres sont tests successivement par priorit de classe dcroissante, et lintrieur de chaque classe par ordre lexicographique croissant. Ds quun filtre tablit une correspondance, le mail est marqu de la classe en question et le jeu de test sarrte. Le principe de filtrage est rsum la figure suivante.

23/ 23/30

8/30

OC (Open Case) : ce niveau est le plus prioritaire. Cest le cas pour des cibles prioritaires identifies le plus prcisment possible. NI (Not Interesting) : ce niveau permet de capturer les mails correspondant des identifiants connus mais sans intrts. GS (General Search) : ce niveau permet de capturer des emails correspondant des critres gnraux de recherche. UN (UNcatched) : si aucune correspondance ne peut tre tablie, le courrier est tiquet UN. Il existe aussi deux catgories complmentaires qui peuvent tiqueter un mail : ML (MaLformed) : pour un mail aux en-ttes malforms. Cest typiquement le cas dune interception partielle. SPAM : pour un mail tiquet comme SPAM.

Chapitre

3
Exploitation interactive
Lexploitation des interceptions en mode interactif des interceptions est particulirement simplifie par lemploi dinterfaces du type lecteur de courrier lectronique . Pour lexploitation interactive, vous pouvez utiliser linterface embarque (IDW) ou mme un MUA standard comme MSoutlook ou Thunderbird.

Post-traitements

Les post-traitements dfinissent la manire dont les interceptions sont mises disposition. Dans la version courante du produit (V1.4), il existe 4 post-traitements (dont 3 activables optionnellement). --ftp : envoi systmatique par ftp de chaque email trait par le systme dumb-0 lextrieur du botier. Lenvoi est ralis sous forme darchive au format zip contenant les lments suivants : $uuid.tck $uuid.mbox $uuid.body_raw $uuid.body_text $uuid.attch/* (ensemble des pices jointes figes sous forme de fichier) Lenvoi dun nouveau lot de mails est effectu toutes les 3 minutes. --csv : cration dun fichier contenant lensemble des ID+ collects au cours du traitement des mails intercepts. Le format de ces fichiers est spcifi en annexe (page 27). --map : mise disposition des interceptions un systme dexploitation interactive. Lexploitation interactive peut tre ralise en stand-alone local au moyen dun logiciel embarqu (client lger WEB) : IDW ; ou en stand-alone remote au moyen dun logiciel de lecture de mail classique tel que MS-outlook ou Thunderbird. Le dernier post-processeur est celui du stockage local au botier des emails. Il est activ en permanence.

Exploitation stand-alone remote

Lexploitation en stand-alone remote est le mode dans lequel les emails intercepts sont accds par un MUA1 standard. La manire de lire et de traiter les mails reste principalement dirige par le choix du logiciel et nest pas couverte par ce document. Configuration ct DUMB-0 : activer le post-processeur --map (voir Finalisation (configuration des post-processeurs) page 16). Configuration ct MUA : Accder un serveur imap : configuration du compte mail IP : donner ladresse IP de linterface EXP du botier. Login : dumb0 Password : dumb0 (par dfaut)

Modes dexploitation
Le botier dumb-0 peut tre exploit dans deux modes diffrents : le mode filtre ou le mode standalone . Dun point de vue technique seule diffre lexploitation finale ; les systmes dacquisition et de traitement restant identiques. Le choix entre les deux modes dexploitation sera donc dirig par lenvironnement. Si celui-ci est mobile, occasionnel ou avec de frquents changements de
9/30

Mail User Agent : logiciel de lecture/composition de mail, tel que Thunderbird ou MS-outlook.
22/ 22/30

Configuration en mode maintenance

Paramtres rseau

paramtres le mode stand-alone sera prfrable. Pour une utilisation plus fixe, et complt par un systme dexploitation des interceptions, le mode filtre sera prfrable.
Utilisation en filtre

Le mode maintenance est accessible par slection au boot (menu de boot). Pour entrer dans linterface de maintenance, vous devez vous connecter avec le login admin. Le mot de passe par dfaut est admin. Vous pouvez vous connecter en local (en connectant un cran et un clavier) ou distance par ssh. Vous entrez alors directement dans linterface texte de maintenance prsente cidessous.

Dans le cas dune utilisation en mode filtre, les paramtres de capture et de classification seront spcifis au moyen de linterface interactive stand-alone local IDW. Son utilisation est dtaille au chapitre Installation. Un exemple darchitecture dexploitation du botier est reprsent la figure suivante.

SERPIKOM S E R PI K O M

Cette interface permet en particulier les mises jour logicielles du botier et le changement de la configuration IP des interfaces rseau. Lentre RAZ SPAM db permet de supprimer toutes les informations relatives au SPAM/NONSPAM prsentes dans la base du dspameur baysien. Lentre RAZ interception supprime toutes les interceptions effectues, ainsi que tous les sousproduits issus des post-processeurs.
Utilisation en stand-alone

Lexploitation en stand-alone peut se faire au moyen de deux clients diffrents. Ces deux clients utilisent les donnes issues du mme post-processeur : --map. Le choix sera essentiellement une question de capacit de post-filtrage et de recherche par mot-clef (ct client) ou dhabitude dutilisation dune interface plus quune autre. En mode stand-alone , il est possible de rpartir lexploitation des emails intercepts sur diffrents utilisateurs. Dans ce cas, ladministrateur du botier devra spcifier les droits daccs (login & passwd) ainsi que les folders qui sont destins chacun des exploitants. Si aucun exploitant nest prcis pour un process folder, celui est alors trait par dfaut par le login dumb0. De plus il est possible de dupliquer lexploitation dun process folder en lattribuant deux exploitants diffrents.

21/ 21/30

10/ 10/30

Client embarqu (IDW)

Le client embarqu est un client lger du type webmail. Il permet doprer lensemble des fonctions de configuration des fonctions du botier dumb-0 : Positionnement des paramtres de classification. Positionnement des paramtres de gestion de lexpiration des fichiers ( garbage collector ). Paramtres gnraux du processeur de mail. Paramtrage du post-processeur ftp. Activation/dsactivation de post-processeurs et des catgories dinterception sur lesquelles appliquer les post-processeurs. Linterface IDW permet dexploiter directement les interceptions au moyen des catgories de fonctions suivantes : Abonnement/dsabonnement un process-folder Mise en valeur de mails sur critres dadresse Recherche sur mot clef et mmorisation des recherches les plus frquentes Affichage des mails et de leurs pices attaches Interface de renseignement de la base de SPAM Systme paramtrable dalerte sur mail entrant

NI_mindlc=1 NI_maxdlc=30 UN_mindlc=1 UN_maxdlc=2 ML_mindlc=1 ML_maxdlc=2 SPAM_mindlc=1 SPAM_maxdlc=5 RAW_mindlc=1 RAW_maxdlc=30

Les valeurs indiques sont celles par dfaut si une clef ntait pas spcifier dans la note gc.conf.

_maxdlc > _mindlc > 1 Pour chaque classe, la dure de conservation courante (_curdlc) est calcule en fonction de loccupation disque suivant la courbe prsente ci-dessous. Le seuil maximum doccupation disque est fix 75 %.

Client externe

Tout client mail externe compatible avec le protocole imap est utilisable pour consulter les emails intercepts et classifis par le botier. ; par exemple MS-outlook ou Thunderbird. Pour exploiter les interceptions en utilisant ces clients (mode stand-alone remote ), il suffit de les paramtrer pour ce connecter un serveur imap. Les paramtres de connexion sont alors : Ladresse IP de linterface EXP du botier (par dfaut 192.168.1.2) Le login : dumb0 Le mot de passe : dumb0 (par dfaut)

Si lexploitation est configure en multiutilisateur, chaque oprateur se connectera avec son login et son mot de passe personnel.

Les botes mail issues du post-processeur --map ne sont pas gres par le garbage collector . Cette gestion est de la responsabilit exclusive de lexploitant des interfaces interactives (IDW ou MUA classique).

11/ 11/30

20/ 20/30

ftp.conf Les clefs spcifier obligatoirement sont les suivantes : SRV : permet de spcifier ladresse IP du serveur ftp. LOGIN : permet de spcifier le login distant PASSWD : permet de spcifier le mot de passe pour le login spcifi DIR : permet de spcifier le rpertoire dans lequel les archives dinterception vont tre envoyes. Exemple : SRV=192.168.1.12 LOGIN=archive PASSWD=tressecret DIR=archives_dumb0

Chapitre

2
Configuration
Les oprations de configuration du botier sont ralises au moyen de linterface IDW (client WEB). Lensemble des paramtres de gestion des interceptions est accessible sous le menu Notes.

Maintenance automatise de la place disque ( garbage collector )

Le stockage des interceptions sur disque fait lobjet dune gestion de la place disponible sur la base de dates de premption. Ainsi les interceptions trop anciennes sont systmatiquement supprimes du systme. Ainsi, il reste toujours suffisamment de place disque pour le stockage de nouvelles interceptions. Les paramtres du processus de gestion de la premption sont spcifis dans la note gc.conf Le systme dumb-0 gre les dates de conservation des interceptions sur la base des catgories de Process Folder . Les catgories ainsi gres sont : OC : interceptions prioritaires NI : mail sans intrt GS : recherche gnrale UN : uncatched ML : malforms SPAM : spam RAW : fichiers bruts (soit de session directement intercepts, soit pcap). Pour chaque classe, il faut spcifier deux seuils de dure de conservation (en jours). Un seuil minimum et un seuil maximum. Les clefs utiliser pour ces spcifications sont : GS_mindlc=7 GS_maxdlc=50 OC_mindlc=20 OC_maxdlc=60
19/ 19/30

Installation
Pr-requis

Pour installer le botier dumb-0, vous devez disposer pralablement des lments suivants : Source dnergie secteur (110 ou 220V) ou une source basse tension 12V/5A. Seuls les cbles et transformateurs pour un raccordement sur le secteur sont fournis en standard. Les cbles pour un raccordement en BT sont disponibles sparment sur demande. Deux cbles Ethernet, un pour le raccordement de linterface ACQ, un pour le raccordement de linterface EXP. Attention, les ports ACQ et EXP nauto-ngocient pas le croisement, vous devez donc choisir les cbles en fonction de lenvironnement rseau dacquisition et dexploitation. Un ordinateur dot dun navigateur WEB pour se connecter linterface IDW du botier.
Cblage du botier

Le botier peut tre cble de deux manires distinctes, en fonction de laccessibilit au rseau intercepter. Pour chacun des cas il conviendra de spcifier dans linterface notes du botier le mode de fonctionnement (single ou dual). Cette configuration est prsente au paragraphes suivants.
Cblage single

Lorsque la source de donnes contient un flux bi directionnel (connexion un port miroir de switch, sortie de tap aggrgateur), ou lorsque la source est unidirectionnelle (par exemple un capteur satellite). Il convient de cbler le flux de donnes sur la prise marque ACQ.
12/ 12/30

1. 2. 3.

login (lettres minuscules uniquement) mot de passe (chiffres et lettres) statut du compte : lun des trois mots clef enable : le compte reoit les emails qui lui sont destins et est normalement utilisable disable : le compte reoit les emails qui lui sont destins mais est inaccessible temporairement remove : le compte est dtruit. Les emails qui lui sont destins sont envoys au compte dumb0, les mails qui sont dj prsents dans des process folder sont envoys au compte dumb0.

Cblage dual

Lorsque les donnes interceptes sont disponibles sur deux brin ethernet spars (sortie de TAP), il faut cbler les deux prises ACQ et EQL avec chacun des cbles de sortie.

Si la note user.conf nexiste pas ou bien est vide, les emails intercepts sont traits par le compte dumb0 (comportement par dfaut).
Attribution des process folder aux utilisateurs

Lattribution des process folder aux utilisateurs se fait au moyen de la note usermap.conf. Cette note spcifie par ligne quel est lexploitant pour un process folder donn. Process folder=nom user

Configuration depuis linterface web (IDW)

Les oprations de configuration sont effectues en utilisant linterface IDW. Tous les paramtres de configuration prsents dans ce chapitre sont accessibles en utilisant linterface Notes dIDW. Linvocation de cette interface est effectue en cliquant sur Notes comme prsent au tirage dcran suivant.

Il nest pas obligatoire que le process folder soit pralablement dfini ou actif pour tre spcifi dans la note usermap.conf De mme si lutilisateur nest pas dfini (ou si son statut est remove ), le process folder correspondant sera envoy par dfaut lutilisateur dumb0. Si un process folder est dfini, mais na pas dexploitant dclar, les email seront alors envoys lutilisateur par dfaut dumb0. Il est possible de spcifier deux exploitants distincts pour un mme process folder. Dans ce cas les interceptions sont dupliques entre les deux exploitants.
Configuration spcifique du post-processeur --ftp

Si le post processeur --ftp est spcifi dans la note finalize.conf, vous devez spcifier les paramtres du serveur ftp qui va accueillir les archives. Ces spcifications doivent tre enregistres dans la note :
13/ 13/30 18/ 18/30

Cette spcification est effectue dans la note : finalize.conf

Configuration de lacquisition

Lexploitant devra spcifier le mode de cble (single ou dual) dans une note dnomme tap.conf. 1. Pour activer un post-processeur, il suffit de le spcifier dans cette note (une activation par ligne) : --ftp : active le transfert des archives des interceptions par ftp. La spcification des paramtres ftp utiliser doit tre stocke dans la note ftp.conf. --map : active la mise disposition des mails classs en Process Folder aux diffrents systmes de lecture de mails (IDW ou lecteur de mail standard). --csv : active la mise disposition des collections dID+ dans les flux surveills. Les fichiers ainsi gnrs par ce post-processeur sont au format excel csv et accessibles lurl suivante : http://adress_exp/dumb0/csv. Le format de ces fichiers est dcrit en annexe (page 27). Le dernier pos-processeur est celui du stockage local. Il est activ en permanence. 2. Crer une note appele tap.conf Ajouter dans la note la ligne : --single ou --dual en fonction de la configuration de cblage retenue. pour une prise en compte immdiate de tout changement de configuration, vous devez redmarrer lectriquement le botier dumb-0.

3.

Capture des emails

Il ny a aucune configuration particulire effectuer pour que le botier capture les emails directement sur linterface ACQ (et optionnellement EQL). La capture indirecte est gre tout aussi simplement en effectuant lenvoi par ftp des fichiers pcap traiter. Dans ce cas, vous devez vous connecter ladresse de lune des interfaces du botier (prfrentiellement ACQ) par ftp avec le login : dumb0 et le mot de passe du compte dumb0. Les fichiers doivent tre dposs dans le rpertoire : .in.batch_pcap Pour viter la contention sur les fichiers pcap lors du transfert par ftp, en particulier si ces fichiers sont volumineux, vous devez pralablement chaque transfert de fichier, crer un fichier vide de lock. Ce fichier doit avoir pour nom celui du fichier transfrer concatn avec le suffixe .lck. En fin de transfert, vous devez supprimer le fichier de lock, toujours au moyen dun client ftp. Exemple : transfert du fichier gros_enregistrement.pcap

Il y a trois catgories de mails que vous pouvez spcifier pour envoi aux post-processeurs : --hilit : envoi les mails qui ont t mis en correspondance avec un des Process Folder de classe OC, NI ou GS. --unhilit : envoi les mails qui nont pas t mis en correspondance avec un des Process Folder . --spam : envoi les mails qui ont t marqus comme spam dans les post-processeurs Ainsi la configuration cite en exemple (tirage cran sur le ct) envoie tous les mails dans tous les post-processeurs.

Configuration multiutilisateur

1. 2. 3.

crer dans le rpertoire distant le fichier gros_enregistrement.pcap.lck transfrer le fichier gros_enregistrement.pcap supprimer le fichier gros_enregistrement.pcap.lck

Le botier dumb-0 peut tre exploit par diffrents exploitants simultanment, soit par connexion multiples IDW, soit en utilisant un client imap externe. Chaque exploitant utilisera alors un login personnel et ne pourra exploiter que les process folder qui lui sont attribus par ladministrateur (login dumb0). Le mode multiutilisateur se configure au moyen de deux notes spares. user.conf : permet de dfinir les logins/mot de passe ainsi que le statut de lexploitant usermap.conf : permet de dfinir les exploitants pour chaque process folder.
Configuration des utilisateurs

Traitements des emails

Pour chaque utilisateur, vous devez ajouter une ligne dans la note user.conf. Chaque ligne est compose de trois champs, spars par : et sans espaces.

Lensemble des traitements (prsents au chapitre Principe de fonctionnement page 6) est systmatiquement appliqu lensemble des mails intercepts. Il est possible, via linterface IDW, de configurer un allgement des processus de traitement, en demandant ne pas traiter les spam. Cette configuration est ralise dans linterface de configuration Notes. 1. crer une note ayant pour nom : process.conf
14/ 14/30

17/ 17/30

2. 3.

ajouter dans la note la ligne : --process-spam sauvegardez la note

Cette configuration en place, lensemble des mails, spam compris, sera trait par le botier. Pour supprimer cette configuration, ditez nouveau la note process.conf, et supprimez la ligne --process-spam. La nouvelle configuration est prise en compte immdiatement aprs la sauvegarde de la note.
Classification des emails

language : cette clef permet de classifier un mail sur la base de la langue dans laquelle est crit le body . Les langues et les codes correspondant supports dans version courant du produit sont prsents en annexe (page 26). ip : cette clef permet de classifier un mail sur la base de ladresse IP source ou destination du mail. Pour chaque dossier de traitement, vous pouvez spcifier une ou plusieurs clefs. Les clefs multiples sexpriment une par ligne dans la note. Les clefs se composent implicitement (et uniquement) par ou. Par exemple, la note suivante (GS--francais) : tld=.fr$ language=fr signifie la classification dans ce Process Folder de tous les mails dont les adresses mail (From/To ou contenant) une adresse se finissant en .fr, ainsi que tous les mails dont le corps est crit en Franais. Les spcifications dtailles des regex utilisables pour spcifier les clefs sont prsentes en annexe (page 27).

La classification des emails repose sur le principe de mise en correspondance dfinie par dossier de traitement. Un dossier de traitement est dclar au systme dumb-0 par la cration dune note (dans linterface Notes) ayant pour nom : XX--nomlibre o XX dsigne la classe de dossier de traitement. Notez lobligation du double --. Par ordre dcroissant de priorit : OC : pour Open Case , cest la classe de plus grande priorit NI : pour Not Interesting , classe de seconde priorit destine capturer les mails connus mais sans aucun intrt. Cette classe doit tre utilise pour viter dencombrer la classe suivante. GS : pour General Search . Cette classe a pour objet de regrouper les interceptions de recherche gnrale (faiblement cibles). UN : la fois une classe et un Process Folder , recueille tous les mails qui nont pas t capturs par un filtre dune classe plus prioritaire. Il est inutile de crer ce Process Folder car celui-ci est cr automatiquement par le systme.

Les mises en correspondance sont spcifies dans chaque note par un ensemble de rgles : clef = regex

lintrieur de chaque classe de Process Folder , (OC/NI/GS) les filtres sont tests successivement par ordre lexicographique. Le premier PF qui met en correspondance lune de ces clefs stoppe le processus de classification et attribue le mail au PF.

Les clefs possibles sont : tld : pour Toplevel Domain, cette clef est utilise pour spcifier la capture de toutes les adresses mail sur la base de leur top domaine. Par exemple : tld=.gouv.fr capturera tous les mails de/ destination ou contenant une adresse mail contenant .gouv.fr phone : pour tlphone, cette clef est utilise pour spcifier la capture de tous les numros de tlphone correspondants. Les numros de tlphone tests sont ceux ventuellement trouvs lintrieur dun email. Par exemple : phone=+33123456789 capturera dans le mme dossier de traitement tous les emails laissant apparatre ce numro de tlphone dans le body . email ou mail : cette clef est utilise pour spcifier une adresse mail. Par exemple : email=suspect@domaine.com interceptera tous les mails destination ou ayant pour origine ou contenant ladresse mail ainsi spcifie.
15/ 15/30

Outre les rgles clef=regex, vous pouvez spcifier un tag particulier : suspend pour suspendre leffet dune note dfinissant un process folder. Dans ce cas, vous pouvez temporairement annuler leffet de la dfinition entire du process folder sans le supprimer.
Finalisation (configuration des post-processeurs)

Les post-processeurs sont les modules qui ralisent la mise disposition des emails. Il en existe 4 en version 1.4 du produit. Il y a deux volets la configuration de la finalisation : 1. 2. spcifier les post-process qui doivent tre appliqus spcifier quels mails envoyer aux post-processeurs spcifis
16/ 16/30