SISTEMAS EXPERTOS

__________________

INGENIERIA DEL CONOCIMIENTO SEGN

JHON DURKIN

METODOLOGIAS DE DESARROLLO
Al igual que para desarrollar un sistema de informacin convencional existen
varias metodologas de desarrollo como la Ingeniera de la Informacin, tendencias
estructuradas y orientadas a objetos, as existen varias metodologas para desarrollar
un sistema experto. Como ya sabemos el rea de sistemas expertos es
relativamente joven por lo cual no se dispone de una nica metodologa sino que
cada autor propone una de acuerdo a su forma de desarrollo. Sin embargo existen
algunas que han tenido xito mas que otras lo cual ha llevado a su mayor difusin.
Aqu solo mencionaremos algunas y mostraremos un esquema general de la
metodologa con la cual trabajaremos nosotros.
Metodologa de Buchanan
Metodologa de Grover
Metodologa de Brule
Metodologa de Blanque y Garca Martnez
Metodologa KADS
Ingeniera del Software,.. etc.

Estas son solo algunas encontradas en la bibliografa revisada. Para nuestro caso
nosotros trabajaremos con la Metodologa de Ingeniera del Conocimiento de Jhon
Durkin, de la cual se muestra una breve descripcin a continuacin:

_______________________________________________________
Pg. 1

SISTEMAS EXPERTOS

__________________

Fase 1
Evaluacin

Reformulacin

Requerimientos
Fase 2
Adquisicin del conocimiento

Exploraciones

Conocimiento
Requerimientos
Fase 3
Diseo

Estructura
Fase 4
Prueba

Evaluacin
Fase 5
Documentacin

Producto
Fase 6
Mantenimiento

_______________________________________________________
Pg. 2

SISTEMAS EXPERTOS

__________________

FASE 1: EVALUACIN
1.1 Motivacin para el Esfuerzo.
1.2 Identificar problemas candidatos.
1.3 Estudio de viabilidad.
1.4 Anlisis de Costo/Beneficio.
1.5 Seleccionar el mejor proyecto.
1.6 Escribir el proyecto propuesto.
FASE 2: ADQUISICIN DEL CONOCIMIENTO
2.1 Recoleccin del conocimiento.
2.2 Interpretacin.
2.3 Anlisis.
2.4 Diseo de mtodos para recolectar conocimiento adicional.

FASE 3: DISEO
3.1 Seleccionar Tcnica de Representacin del Conocimiento.
3.2 Seleccionar Tcnica de Control.
3.3 Seleccionar Software de Desarrollo de Sistema Experto.
3.4 Desarrollo de Prototipo.
3.5 Desarrollo de Interfase.
3.6 Desarrollo del Producto.
FASE 4: PRUEBAS
4.1 Validacin del Sistema.
4.2 Evaluacin de la Prueba/Evaluacin.
FASE 5: DOCUMENTACIN
5.1 Relacin de temas que deben ser documentados.
5.2 Organizacin de la documentacin.
5.3 Documentacin Impresa.

5.4 Documentacin en hipertexto.

5.5 Reporte Final
FASE 6: MANTENIMIENTO

6.1 Modificaciones probables del sistema.

_______________________________________________________
Pg. 3

SISTEMAS EXPERTOS

__________________

6.2 Responsables de mantenimiento.

6.3 Interfaces de documentacin del mantenimiento

A continuacin se detallan cada una de las fases de desarrollo de un sistema experto

de acuerdo con Jhon Durkin:

_______________________________________________________
Pg. 4

SISTEMAS EXPERTOS

__________________

FASE 1: DETERMINACIN DEL PROBLEMA

El esquema general de esta primera etapa grficamente es como sigue:

Determinar Motivacin

La solucin
Conducida a

Motivacin
Problema Conducido a

Identificar
posibles
problemas (PREdeterminacin)

Estudio de Viabilidad
Proyectos viables
Anlisis Costo/Beneficio
Proyecto costoso
Seleccin del Proyecto
Mejor Proyecto
Proposicin de Proyecto

Figura 6: Procedimiento de Determinacin del Problema

Fuente: [01]*
TAREA 1: Determinar Motivacin para el Esfuerzo
Consiste en determinar Por qu est la organizacin motivada para seguir Sistemas
Expertos?. Algunas organizaciones estn mirando resolver un problema particular
mientras que otras estn interesadas en encontrar que puede hacer la tecnologa por
ellos.
De acuerdo a lo antes mencionado existen dos posiciones que puede asumir una
organizacin al incursionar en la tecnologa de Sistemas Expertos
Conducida por el Problema
Ocurre cuando la organizacin trata de resolver un problema que ya se ha
identificado.
Conducida por la Solucin
En algunos casos una organizacin es motivada para explorar una tecnologa nueva
por un inters general o curiosidad.

_______________________________________________________
Pg. 5

SISTEMAS EXPERTOS

__________________

TAREA 2: Identificar problemas candidatos

Esta tarea solo ocurre cuando la organizacin es conducida por la solucin. Este
paso es hecho antes que la viabilidad formal y estudios costo/beneficio y es llamado
PRE-DETERMINACION.
Formando la Lista
Cuando se forma la lista de problemas candidatos se debera buscar la ayuda de
individuos dentro de la organizacin. Un buen lugar para observar dentro de la
organizacin es el nivel medio. Estos individuos tienen una visin global de
operaciones y conocimiento acerca de problemas de cada da. Su visin es valiosa
porque se descubre reas donde la aplicacin de un sistema experto tiene el
potencial para proporcionar valor real a la organizacin.
Demostracin de la Tecnologa
Si la organizacin est explorando la aplicacin de Sistemas Expertos, entonces se
debera ver al proyecto como una demostracin de la tecnologa. Por lo tanto, un
problema pequeo y relativamente simple es ms preferible que un complejo. Por
pequeo, quiere decir que el alcance del problema no cubre un gran nmero de
problemas complejos. Por simple, quiere decir que el problema parece a primera
vista de ser solucionable. Como gua para solucionar el problema considerar lo que
otros han hecho en el pasado.
Sugerencias para escoger un buen problema
Para las organizaciones buscando explorar la tecnologa considere los siguientes
puntos:
Toma de decisin humana.
Conocimiento heurstico.
Pequeo.
Simple.
xito probable.
Algn valor.
TAREA 3: Estudio de Viabilidad
Grficamente el esquema de viabilidad se representa as:

_______________________________________________________
Pg. 6

SISTEMAS EXPERTOS

__________________

Recursos
Origen del Conocimiento

Requerimientos

Gente
Dominio
Conocimiento

Viabilidad del
Proyecto

Problema

Resolucin del
problema
Capacidad
Motivacin

Gente

Riesgo

Diseo
Despliegue
Mantenimiento

Figura 7: Estudio de Viabilidad del Sistema Experto

Fuente: [1]*
En esta tarea lo primordial es tratar de determinar si el proyecto tendr xito. Se
consideran dos puntos a evaluar
Primero: Una lista de tems que debera reunir el proyecto es verificado. Estos tems
incluyen los recursos propios, un recurso de conocimiento y personal del proyecto.
La siguiente lista de requerimientos debera ser verificada primero cuando se considera
un problema para una aplicacin de Sistema Experto:
Disponibilidad de conocimiento para la solucin del problema(experto)
Disponibilidad de un Ingeniero del Conocimiento.
La solucin del problema puede ser validada.
Disponibilidad de fondos.
Disponibilidad de software de desarrollo de sistema.
Disponibilidad de facilidades de computador.
Segundo: Considerar asuntos que son importantes para el xito del proyecto, pero los
cuales son subjetivos de naturaleza y requieren algn juicio para determinar. Ellos
incluyen caractersticas del problema, caractersticas de la gente involucrada del
proyecto y asuntos de despliegue. An cuando un proyecto rene los requerimientos
verificados hay otros asuntos que pueden prevenir el completo xito del proyecto. Un

_______________________________________________________
Pg. 7

SISTEMAS EXPERTOS

__________________

proyecto de sistema experto puede fallar por razones que caen dentro de las tres
categoras: problema, gente y despliegue.
Viabilidad del Problema
Los asuntos de viabilidad incluyen caractersticas de dominio, conocimiento y tareas de
solucin del problema.
Comprende:
Conocimiento experto necesitado.
Los pasos de solucin son definibles.
Conocimiento simblico usado.
Heursticas usadas.
El problema es solucionable.
Existen problemas exitosos.
El problema es bien enfocado.
El problema es estable
Conocimiento incompleto o incierto utilizado.
Solucin mas una recomendacin.
Asuntos de viabilidad de la gente
La capacidad y la motivacin de la gente involucrada en el proyecto son asuntos
importantes para considerar cuando se juzga la viabilidad del proyecto .Los principales
actores de un proyecto de sistema experto son: experto de dominio, ingeniero de
conocimiento, usuario final, y administracin .Determinar su impacto en la viabilidad del
proyecto es un desafi debido a las complejidades de naturaleza humana. Se necesita
considerar sus deseos, miedos, y emociones para juzgar si ellos efectivamente
contribuirn el proyecto. Las caractersticas principales que deben tener cada persona
involucrada en un proyecto de sistema experto son:

Experto
Puede comunicar el conocimiento.
El experto puede dedicar tiempo.
El experto es cooperativo, no hostil o escptico del proyecto.

Ingeniero de conocimiento
El ingeniero de conocimiento tiene buenas habilidades de comunicacin.
El ingeniero del conocimiento puede relacionar el problema al software.

_______________________________________________________
Pg. 8

SISTEMAS EXPERTOS

__________________

El ingeniero de conocimiento tiene destrezas de programacin de sistema

experto.
El ingeniero del conocimiento puede dedicar el tiempo.

Usuario final
El usuario final puede dedicar tiempo.
El usuario final es receptivo al cambio.
El usuario final es cooperativo.
Gerencia
La gerencia apoya al proyecto.
La gerencia es receptiva al cambio.
La gerencia no es escptica.
La gerencia tiene expectativas razonables.
La gerencia entiende objetivos.

Asuntos de viabilidad de Despliegue

Se debe considerar:
El sistema puede ser introducido fcilmente.
El sistema puede ser mantenido.
El sistema puede ser integrado con recursos existentes.
Entrenamiento disponible.
El sistema no tiene una ruta crtica.
Determinacin de viabilidad
Un esfuerzo por determinar la viabilidad de un sistema experto fue proporcionado por
Beckman (1991) el cual formo una lista de temas para considerar, luego asign a cada
uno un nmero que reflejaba su importancia relativa. Esta lista de verificacin de peso
es luego comparada a algn problema candidato, y si el problema encuentra un tema,
recibe los puntos predescritos del tema. La suma de todos los puntos es luego usada
para atribuir un porcentaje de la viabilidad del proyecto. Un ejemplo de esta forma de
determinar la viabilidad de muestra a continuacin:

_______________________________________________________
Pg. 9

SISTEMAS EXPERTOS

__________________

Tabla N 5: Asuntos de viabilidad del problema

Asuntos de viabilidad del problema
Peso

Asunto

Puntaje

Conocimiento experto necesitado

Los pasos de solucin de problema son definibles

Conocimiento simblico usado

Heursticas usadas

El problema es solucionable

Existen sistemas exitosos

El problema es bien enfocado

El problema es razonablemente complejo

El problema es estable

Conocimiento incompleto o incierto utilizado

No determinstico

Solucin mas una recomendacin

16

Puntos Totales

Puntaje Total

Viabilidad = Puntaje total/Puntos totales

Fuente: [1]*
Una deficiencia con este mtodo es que muchos temas son subjetivos y son difciles
para responder de un modo si o no. Considere por ejemplo el tema del mbito del
problema. Para un problema dado nosotros podramos ser capaces de comentar sobre
este tema, pero puede ser demasiado limitante para ser restringido a una respuesta de si
o no. Esta limitacin puede tambin guiar a responder errores que produce una falsa
figura de determinacin de viabilidad.
Un diferente tipo de estrategia fue desarrollado que corrige este problema. Como la
tcnica anterior, empieza por formar una lista de temas importantes para considerar.
Cada tema es luego asignado un peso (entre 0 y 10) que refleja la importancia de cada
tema durante la evaluacin de un proyecto dado, los nmeros (entre 0 y 10) son
atribuidos a cada tema que refleja el grado de creencia en el tema. Este valor es luego
multiplicado por el valor del tema para establecer un puntaje por el tema. Todos los
puntajes son luego aadidos y divididos por la suma de los pesos del tema. Este nmero
es limitados entre 0 y 10, y proporciona una estimacin de determinacin de viabilidad
del proyecto.

_______________________________________________________
Pg. 10

SISTEMAS EXPERTOS

__________________

Los valores de peso son resultados de la experiencia de consulta de Durkin sobre

los esfuerzos de determinacin de proyectos anteriores.
Un ejemplo de lo anterior mencionado se muestra a continuacin:

Tabla N 6 : Formulario de determinacin de viabilidad del problema

ASUNTOS DE VIABILIDAD DEL PROBLEMA
PUNTAJE = PESO * VALOR

ASUNTO

Conocimiento experto necesitado

Los pasos de solucin de problema son definibles

Conocimiento simblico usado

Heursticas usadas

10

El problema es solucionable

Existen sistemas exitosos

El problema es bien enfocado

El problema es razonablemente complejo

El problema es estable

Conocimiento incompleto o incierto utilizado

No determinstico

Solucin mas de una recomendacin

91
PUNTAJE

PESO

TOTAL

TOTAL

VIABILIDAD DEL PROBLEMA = PUNTAJE TOTAL

PESO TOTAL

Fuente: [1]*

Tabla N 7: Formulario de determinacin de viabilidad de personal.

ASUNTOS DE VIABILIDAD DE PERSONAL
PUNTAJE = PESO * VALOR

ASUNTO
EXPERTO DE DOMINIO

El experto puede comunicar el conocimiento

El experto puede dedicar tiempo

El experto es cooperativo

23
PUNTAJE

PESO

TOTAL

TOTAL

VIABILIDAD DEL EXPERTO = PUNTAJE TOTAL

PESO TOTAL

_______________________________________________________
Pg. 11

SISTEMAS EXPERTOS

__________________
INGENIERO DEL CONOCIMIENTO

Buenas habilidades de comunicacin

Puede relacionar el problema al software

Tiene destrezas de programacin de sistema

experto
Puede dedicar tiempo

34
PUNTAJE

PESO

VIABILIDAD DEL INGENIERO

DEL CONOCIMIENTO =

TOTAL

TOTAL

PUNTAJE TOTAL
PESO TOTAL

USUARIO FINAL
6

El usuario final puede dedicar tiempo

El usuario final es receptivo al cambio

El usuario final es cooperativo

20
PUNTAJE

PESO

VIABILIDAD DEL
USUARIO FINAL =

TOTAL

TOTAL

PUNTAJE TOTAL
PESO TOTAL

GERENCIA
9

La gerencia apoya al proyecto

La gerencia es receptiva al cambio

La gerencia no es escptica

La gerencia tiene expectativas razonables

La gerencia entiende objetivos

37
PUNTAJE

PESO

TOTAL

TOTAL

VIABILIDAD LA GERENCIA =

PUNTAJE TOTAL
PESO TOTAL

Fuente: [1]*

_______________________________________________________
Pg. 12

SISTEMAS EXPERTOS

__________________

Tabla N 8: Formulario de determinacin de viabilidad de despliegue

ASUNTOS DE VIABILIDAD DEL DESPLIEGUE
PUNTAJE = PESO * VALOR

ASUNTO

El sistema puede ser introducido fcilmente

El sistema puede ser mantenido

El sistema no tiene una ruta critica

El sistema puede ser integrado con recursos

existentes
Entrenamiento disponible

39
PUNTAJE PESO
TOTAL TOTAL

VIABILIDAD DEL DESPLIEGUE = PUNTAJE TOTAL

PESO TOTAL

Fuente: [1]*

Para ilustrar, asumir que se evalu un proyecto candidato que resulto en los siguientes
puntajes para cada categora

CATEGORIA

PUNTAJE TOTAL

PESO TOTAL

Problema

800

91

Gente

900

114

Despliegue

300

39

2000

244

VIABILIDAD DEL PROYECTO = 2000/244 = 8.19

Se puede usar estas formas para establecer los valores de viabilidad para los
proyectos candidatos, y escoger esos con valores ms altos para considerarlos despus.
Para los proyectos con bajos valores globales, este mtodo tambin proporciona una
visin dentro de que rea es deficiente, como asuntos de problema, asuntos de gente,
etc.

_______________________________________________________
Pg. 13

SISTEMAS EXPERTOS

__________________

TAREA 4: Anlisis Costo/ Beneficio

El prximo paso es determinar el esperado pago-justificacin para el proyecto.

Para la mayora de los proyectos este es usualmente es medido en un anlisis costo
beneficio. La organizacin desea evidencia tangible que muestre que la inversin de
tiempo y dinero es justificado. Bajo las mejores condiciones este puede ser una tarea
difcil. Cuando el proyecto involucra una tecnologa nueva como sistemas expertos, la
tarea encuentra incertidumbre adicional.
Costo del Proyecto
Los costos principales del proyecto son establecidos por los gastos de trabajo y
software. La cuenta de gastos de trabajo para el tiempo gastado en el proyecto son por
el ingeniero del conocimiento, el experto de dominio y el usuario final.
La opcin del software de desarrollo del sistema experto est basada en la naturaleza
del problema y las facilidades del computador de la organizacin.

Los asuntos de beneficio

El beneficio de desarrollar un sistema experto puede ser medido en una de las cuatro
maneras: productividad mejorada, costos bajos, calidad mejorada o un asunto muy
tangible pero importanteimagen mejorada.
1. Productividad mejorada
Mejores Decisiones
Decisiones ms rpidas
Propaga especializacin
2. Costos mas bajos
Reduce costos de trabajo
Mejora uso de material
3. Calidad mejorada
Producto Superior
Servicios superiores
Proporciona entrenamiento
4. Imagen mejorada
Innovador

La encuesta conducida por Pepper (1991) sobre las aplicaciones del sistema experto en
la industria de servicio mostr que la mayora de las organizaciones justific el esfuerzo
sobre beneficios intangibles de estrategias, como ganar un margen competitivo (50%) o

_______________________________________________________
Pg. 14

SISTEMAS EXPERTOS

__________________

capturar y preservar especializacin escasa (44%). Pocas organizaciones buscaron

beneficiarse de ahorros de costo. Esta encuesta indica que la mayora de las
organizaciones estn buscando explorar la tecnologa, esto es, ellas estn conducidas
por la solucin.

TAREA 5: Seleccionar el mejor proyecto

Para cada problema inicialmente seleccionado para el esfuerzo de determinacin,

ahora se tiene la informacin sobre su viabilidad y su conveniencia. La prxima tarea es
seleccionar uno para seguir un proyecto de sistema experto.
El cuadro que usted ahora tiene de cada posible proyecto es ambos cualitativo y
cuantitativo. El estudio de viabilidad proporcion un nmero que refleja la estimacin del
proyecto de viabilidad global. Este nmero es principalmente el valor de comparar varios
proyectos. El estudio de costo/beneficio tambin proporcion nmeros. El costo del
proyecto es usualmente fcil de estimar, y en algunos casos, usted puede aproximar los
ahorros esperados o ganancias de la organizacin. Usted debera tambin tener un
sentido del impacto que el proyecto puede tener en establecer sistemas expertos dentro
de la organizacin.
Conociendo la motivacin de la organizacin es de ayuda sobre esta tarea. Si ellos
son conducidos por el problema, usted debera mostrar que el proyecto es viable y que
los beneficios esperados excedieron al costo del proyecto. Aun cuando la organizacin
est explorando la tecnologa (conducida por la solucin) aparentemente una situacin
cmoda. usted debera an proporcionar alguna justificacin para el esfuerzo. Estas
organizaciones son usualmente ms tolerantes de los beneficios de corto plazo, pero
ellos esperan que el proyecto engendre beneficios a largo plazo.

TAREA 6: Escribir el proyecto propuesto

Siguiendo la seleccin de un buen problema, se puede necesitar escribir un proyecto

propuesto que documente los esfuerzos esperados. Esta propuesta debera documentar
que es para ser hecho, porque el proyecto es importante, y como se ejecutar el
esfuerzo. En la discusin de cada uno de esto puntos, el propuesto debera ser breve y
al punto.
A continuacin se describen las partes que debera contener la propuesta del proyecto:

_______________________________________________________
Pg. 15

SISTEMAS EXPERTOS

__________________
PROYECTO PERSONAL

OBJETIVO
1. Declaracin de que ser logrado.
2. Una oracin por problema
VISTA GLOBAL
1. Vista de alto nivel del proyecto
2. Discusin general del problema y su solucin
3. Referencias de trabajos pasados.
4. Explicar en general que se lograr.
5. Discutir por que el proyecto tiene valor.
PROBLEMA
1. Descripcin detallada del problema.
2. Discutir los problemas y operaciones comunes.
3. Describir los esfuerzos de evaluacin.
SOLUCION
1. Discutir que realizar el sistema experto.
2. Describir como el sistema experto conseguir los objetivos.
3. Listar los recursos necesarios del proyecto.
PLAN
1. Listar y discutir las principales fases del proyecto.
TIEMPOS ESTABLECIDOS
1. Calcular los periodos de tiempo para las principales fases del proyecto.
RESULTADOS (ENTREGABLES)
1. Lista los resultados del proyecto.(entregables)
PERSONAL
1. Lista el personal del proyecto.
COSTOS
1. Lista los costos del proyecto de diverso tipo.

_______________________________________________________
Pg. 16

SISTEMAS EXPERTOS

__________________

FASE 2: ADQUISICION DEL CONOCIMIENTO

Siguiendo las fases, la siguiente tarea es la adquisicin del conocimiento. Esta tarea es
el desafo ms difcil en el desarrollo de un sistema experto.
Procesos de Adquisicin de Conocimiento
La adquisicin del conocimiento es inherentemente un proceso cclico. Sigue las tareas
de recoleccin del conocimiento, su interpretacin y anlisis, y el diseo de mtodos
para recolectar conocimiento adicional.

La recoleccin es la tarea de adquirir conocimiento del experto. Este esfuerzo

requiere entrenamiento en tcnicas de entrevistas. Adems requiere buenas
habilidades de comunicacin interpersonal y la habilidad para obtener la
cooperacin del experto.

La interpretacin de la informacin recolectada envuelve la identificacin de piezas

clave de conocimiento, como conceptos, reglas, estrategias, etc.

El anlisis envuelve el estudio de las piezas clave del conocimiento destapado

durante la tarea de interpretacin. Este esfuerzo proporciona la visin de formar las
teoras en la organizacin del conocimiento y estrategias de solucin de problemas.

El diseo es la tarea de preparacin para el siguiente encuentro con el experto.

Siguiendo la realizacin de las tareas anteriores, se forma una nueva comprensin
del problema. Este esfuerzo puede haber expuesto nuevos conceptos que
necesitan exploracin extensa. Las tcnicas de extraccin del conocimiento son
entonces escogidas para obtener esta informacin durante la prxima reunin.

Problemas con adquisicin de Conocimiento

Existen muchos problemas con la adquisicin del conocimiento que hacen de esta una
tarea difcil. Muchos de estos problemas puede remontarse a la dificultad en extraer
conocimiento del experto.
Sin premeditacin de conocimiento.- A travs de la experiencia resolviendo un
problema, un experto a menudo compila el conocimiento de la solucin del
problema en una forma compacta, la cual permite una solucin eficiente del

_______________________________________________________
Pg. 17

SISTEMAS EXPERTOS

__________________

problema. Si el experto es preguntado para describir su mtodo de solucin de

problemas, l a menudo har saltos mentales sobre problemas importantes.

Incapacidad para verbalizar el conocimiento.- Muchas tareas son difciles de

verbalizar debido a que ellas fueron aprendidas mirando a otros individuos
ejecutando estas tareas. Los esfuerzos de la labor manual representan este tipo de
tareas.

Proveer conocimiento irrelevante .- Muchas sesiones de extraccin pueden ser

sostenidas con el experto durante el proyecto. Despus de un tiempo, la cantidad
de informacin recolectada puede estar agobiando. Para hacer la materia mucho
peor, mucha de esta informacin puede ser irrelevante para el proyecto. La tarea es
filtrar a travs de toda esta informacin y escoger slo los problemas importantes.

Proveer conocimiento incompleto.- Un experto a menudo puede proporcionar

una descripcin incompleta de sus procesos mentales. Si el problema es una simple
omisin, la situacin puede ser fcilmente corregida. Sin embargo, si ocurre porque
el experto es inconsciente del conocimiento usado, (problema de compilacin) el
desafo puede ser mayor.

Proveer conocimiento incorrecto.- Un experto puede proporcionar conocimiento

incorrecto porque l no est informado o debido a un simple error durante la
introspeccin. En cualquier caso, esto lleva a un cuerpo incompleto del
conocimiento en sistemas expertos.

Proveer conocimiento inconsistente.- El conocimiento proporcionado por el

experto puede ser inconsistente con cualquier declaracin. Este problema ocurre
frecuentemente cuando el experto proporciona una explicacin de sus estrategias
de resolucin de problemas.
Esfuerzo del equipo cooperativo
El xito del proceso de extraccin del conocimiento depender grandemente de formar
un equipo de individuos que son hbiles y cooperativos. Cada miembro del equipo es
responsable de tareas que solapan tareas de otros. Una interaccin considerable puede
esperarse y esto es importante para nutrir el a veces frgil espritu de cooperacin.

_______________________________________________________
Pg. 18

SISTEMAS EXPERTOS

__________________

Tcnica de entrevista
La tcnica de obtencin del conocimiento ms comn utilizada hoy en da en el diseo
de sistemas expertos es el mtodo de la entrevista. Esta tcnica envuelve una
interaccin directa entre el experto y el ingeniero del conocimiento, donde las preguntas
son dadas para destapar el conocimiento. Para hacer este productivo esfuerzo, la
entrevista debe ser efectivamente manejada.
El manejo de la entrevista propiamente requiere que varios puntos sean dirigidos.
Algunos de los bsicos relacionan a los artculos como preparar la agenda, horario de la
sesin, y preparar una lista de materiales. Otros problemas son ms intangibles, pero
importantes para el esfuerzo. Saber cmo empezar, conducir y terminar efectivamente la
entrevista son consideraciones importantes para adquirir la informacin deseada y para
mantener la cooperacin de los miembros del equipo. Tambin es importante saber
cmo hacer las preguntas de una manera que proporcionar la informacin deseada.
Existen diferentes tcnicas de entrevistas para ganar tipos ciertos de conocimiento y
para evitar algunos problemas tpicos asociados con la extraccin del conocimiento.
Anlisis de Conocimiento
Siguiendo la entrevista, la informacin recolectada necesita ser analizada. Los objetivos
de este esfuerzo son determinar qu fue aprendido y que problemas adicionales debe
seguirse.
Normalmente una trascripcin es primero hecha de una grabacin de la sesin. Esta
trascripcin es luego revisada para identificar las piezas clave del conocimiento,
conceptos, reglas, etc. Estas piezas de conocimiento son luego analizadas para formar
teoras en su organizacin y cmo ellas relacionan a lo que ya es conocido sobre el
problema. Tambin se agregan estas piezas de conocimiento a la documentacin del
proyecto de una manera discutida despus en este captulo.
Un alcance que puede ayudar a analizar el conocimiento recolectado es grabar la
informacin recolectada grficamente. Las representaciones grficas en la forma de
mapas de concepto, redes de inferencia, diagramas de flujo y rboles de decisin
pueden ser de valor particular.
FASE 3: DISEO

Esta tarea comienza con la seleccin de la tcnica de representacin del conocimiento y

la estrategia de control. Es seguida con la seleccin de una herramienta de software que
rene mejor las necesidades del problema. Un sistema prototipo pequeo es luego
construido para validar el proyecto y para proporcionar una gua para el trabajo futuro. El

_______________________________________________________
Pg. 19

SISTEMAS EXPERTOS

__________________

sistema es entonces extensamente desarrollado y refinado para encontrar los objetivos

del proyecto. Este proceso es estructurado de acuerdo a las siguientes tareas:

Tarea 1: Seleccionar Tcnica de Representacin del Conocimiento

Tarea 2: Seleccionar Tcnica de Control
Tarea 3: Seleccionar Software de Desarrollo de Sistema Experto
Tarea 4: Desarrollo de Prototipo
Tarea 5: Desarrollo de Interfase
Tarea 6: Desarrollo del Producto
TAREA 1: Seleccionar Tcnica de Representacin del Conocimiento
Se debe escoger una tcnica de representacin del conocimiento que mejor muestre la
manera en que el experto modela el conocimiento del problema mentalmente. Sin
embargo, para razones prcticas, se debe adems considerar los recursos y
capacidades de la organizacin.
Un mtodo basado en frames es apropiado si el experto describe el problema
referenciando los objetos importantes y sus relaciones, particularmente si el estado de
un objeto afecta a otro objeto. Esta situacin es encontrada en problemas tipo simulacin
o algunas donde las relaciones causales son importantes.
Otra seal que un mtodo basado en frame puede ser bien escogido es que el experto
considere varios objetos similares cuando resuelve el problema. Un sistema basado en
frame puede razonar sobre objetos similares usando solo unas pocas reglas del modelo
de emparejamiento que trabajan a travs una clase de objetos. Esto proporciona un
mtodo eficaz al codificar los objetos y las reglas.
Un mtodo basado en reglas es conveniente si el experto

discute el problema

principalmente usando declaraciones tipo IF/THEN.

El mtodo de la induccin es de valor si existen ejemplos pasados del problema. La
induccin tambin es apropiada si no existe ningn experto real en el problema, pero
una historia de informacin del problema esta disponible que puede usarse para derivar
los procedimientos de toma de decisin automticamente.
TAREA 2: Seleccionar Tcnicas de Control
El encadenamiento hacia adelante es apropiado si el experto primero recolecta
informacin sobre el problema y luego ve qu puede ser concluido.
El encadenamiento hacia atrs es una buena opcin si el experto primero considera
alguna conclusin o meta, luego intenta demostrarlo buscando la informacin de apoyo.

_______________________________________________________
Pg. 20

SISTEMAS EXPERTOS

__________________

En este caso, el experto est principalmente interesado en demostrar alguna hiptesis o

recomendacin. Tambin, si el nmero de metas es mucho menor que la cantidad de
posible data, entonces considera un alcance de encadenamiento hacia atrs.
Paradigmas de Resolucin de Problemas
Otra manera para que usted pueda ganar la visin en escoger ambos, la tcnica de
representacin de conocimiento y la estrategia de inferencia es revisar lo que otras han
hecho en el pasado en esfuerzos similares.
Siguiendo estas mismas ideas, los diseadores del sistema experto escogen a menudo
representacin del conocimiento y tcnicas de control sobre la base del problema que
resuelve el paradigma. Estas opciones confan en los xitos del pasado.
Se han hecho los esfuerzos pasados para relacionar cada paradigma a varios
caracteristicas que pueden ser deseables en el diseo del sistema experto (Gevarter
1987, Martin y Ley 1988.Lo siguiente muestra una aproximacin del anlisis hecho de
los proyectos de sistemas expertos anteriormente listados en el Apndice C en un
esfuerzo al elaborar cada

proyecto que resuelve el problema, inspeccin a la

representacin de conocimiento y las tcnicas de control que se emplearon. El resultado

de este esfuerzo se muestra en el siguiente esquema:

Tabla N 9: . Tipo de problema versus inferencia y Representacin de Conocimiento

TIPO DE PROBLEMA VERSUS INFERENCIA Y REPRESENTACIN
DE CONOCIMIENTO
REPRESENTACIN DEL
INFERENCIA

TIPO DE
PROBLEMA

HACIA

HACIA

ATRS

CONOCIMIENTO
REGLAS

FRAMES

INDUCCIN

ADELANTE
CONTROL

DISEO

DIAGNSTICO

TIPO DE

BAJO

ALTO

ALTO

AVG.

BAJO

BAJO

ALTO

ALTO

BAJO

BAJO

ALTO

MEDIO

MEDIO

ALTO

BAJO

INFERENCIA

REPRESENTACIN DEL
CONOCIMIENTO

_______________________________________________________
Pg. 21

SISTEMAS EXPERTOS
PROBLEMA

__________________
HACIA
ATRS

INSTRUCCIN

INTERPRETACIN

SEGUIMIENTO

PLANIFICACIN

PREDICCION

PRESCRIPCIN

SELECCIN

ALTO

MEDIO

HACIA

REGLAS

FRAMES

ADELANTE INDUCCIN

MEDIO

ALTO

ALTO

MEDIO

ALTO

BAJO

BAJO

ALTO

BAJO

ALTO

ALTO

MEDIO

BAJO

BAJO

ALTO

ALTO

MEDIO

BAJO

MEDIO

ALTO

ALTO

BAJO

ALTO

ALTO

BAJO

BAJO

ALTO

BAJO

MEDIO.

MEDIO

ALTO

MEDIO

BAJO

Fuente: [1]*

TAREA 3: Seleccionar Software para el desarrollo del sistema experto

Hay una gran variedad de herramientas de software disponibles para el desarrollo de
un sistema experto. Ellos van desde los lenguajes de programacin bsicos hasta los de
desarrollo de alto nivel (SHELLS).

_______________________________________________________
Pg. 22

SISTEMAS EXPERTOS

__________________

Categoras de software

SOFTWARE PARA
SISTEMA EXPERTO

LENGUAJES

BASADO
EN REGLAS

SHELLS

BASADO
EN OBJETOS

BASADO
EN
REGLAS

BASADO
EN
FRAMES

INDUCCION
HYBRIDO

Figura N 8: Categoras de Software

Fuente: [1]*
Importancia de caractersticas de software

Las caractersticas a considerar en la eleccin de una herramienta de desarrollo son:

General
Costo
El Hardware de la computadora
Licencia
Apoyo en la capacitacin

Desarrollador de Interfaz
Codificando el conocimiento.
Razonamiento inexacto.
Establecer reglas

Acceso externo al programa:

_______________________________________________________
Pg. 23

SISTEMAS EXPERTOS

__________________

Utilidades de depuracin.

Interfaz de usuario
Preguntas
Explicaciones

Grficos

Hipertexto

TAREA 4: Desarrollo del Prototipo

Seleccionado el software de acuerdo a los requerimientos del proyecto, el desarrollo
del sistema se empieza. La mayora de proyectos de sistemas expertos empiezan el
desarrollo construyendo un prototipo de sistema pequeo. Un prototipo es un modelo
del sistema final. Su estructura bsica, que representa y procesa el conocimiento del
problema, es igual al esperado en el sistema final. Aunque el prototipo es slo una
pequea

versin

del sistema final limita la habilidad propiamente si el dise enva

los propsitos siguientes al servidor.

Validacin de aproximacin del sistema experto.
Confirma opcin de tcnica de representacin de conocimiento y estrategias de
control.
Proporciona una va de adquisicin de conocimiento.

Definir una estrategia global

Para iniciar el diseo del prototipo es necesario definir una estrategia global. Esta
bsqueda es una serie de tareas de nivel alto que el sistema necesitar realizar.

Definir Estructura de Conocimiento

Durante el desarrollo del prototipo usted debe crear un esquema de trabajo que se
acomode los cambios futuros.

Dar validez al Proyecto

En la primera fase, se hacen los esfuerzos para probar la base de conocimiento
completa para la lgica y consistencia. La naturaleza exhaustiva de esta prueba slo es
posible al inicio del proyecto cuando la base de conocimiento es pequea.

_______________________________________________________
Pg. 24

Esta

SISTEMAS EXPERTOS

__________________

comprobacin destapa las deficiencias en el conocimiento y bsqueda de razonamiento,

y valida la opcin de la tcnica de representacin de conocimiento y de desarrollo de
software.
La segunda fase es probar es ms de una demostracin el sistema. Su propsito es
quitar algn posible escepticismo por el proyecto que podra sostenerse por los
individuos dentro de la organizacin. Aunque el sistema habr limitado la capacidad en
su formulario del prototipo, una demostracin exitosa en algn problema pequeo nutrir
el apoyo por el proyecto.
En el futuro el prototipo madurar al punto dnde puede atacar los problemas reales que
formen el dominio. En esta fase de probar, se compara los resultados del sistema con
aquellos del experto.
Lanzar el Prototipo?
Una dificultad tpica que puede descubrirse al seguir la comprobacin del prototipo es
que la opcin original de la herramienta de desarrollo de software era pobre.

Por

ejemplo, puede encontrarse que la tcnica de representacin de conocimiento o el

mtodo de la inferencia es impropia.
Va para la Adquisicin de Conocimiento
Es tambin fructfero usar el sistema del prototipo como una va para adquirir el
conocimiento.
Por su naturaleza, un prototipo del sistema es slo una rendicin pequea del sistema
final. Los lmites de su conocimiento en el problema son rpidamente puestos en claro
durante la prueba, dnde los fracasos son las reglas. Con la cooperacin del experto,
un estudio despus de este fracaso abre la puerta al conocimiento adicional. El experto
puede determinar por qu el resultado dado por el sistema est equivocado, y puede
proporcionar la visin en qu conocimiento est extraando en el sistema que le impidi
alcanzar el resultado correcto. De esta forma, el prototipo acta como otra herramienta
que el ingeniero de conocimiento puede usar para sondear el conocimiento adicional.

TAREA 5: Desarrollo de la Interfaz

Deben definirse las caractersticas tcnicas de la interfaz al principio del proyecto con
la cooperacin del usuario. El desarrollo de la interfaz debe empezar con el desarrollo
del prototipo del sistema experto.
Las claves para un diseo eficaz de la interfaz son:

_______________________________________________________
Pg. 25

SISTEMAS EXPERTOS

__________________

Consistencia
Claridad
Control
Colores de la pantalla
TAREA 6: Desarrollo del Producto
Durante el desarrollo del prototipo, se sostienen las sesiones de extraccin de
conocimiento y se corren las pruebas. Con cada refinamiento, la capacidad del sistema
se mejora. En un modo evolutivo, el prototipo del sistema empieza a asumir la forma
del sistema final. No hay un punto fijo dnde esta transicin ocurre;

el prototipo

evoluciona gradualmente hasta que el sistema sea completado.

Refinamiento del conocimiento
Una caracterstica bsica de un sistema experto es que gana su forma de poder de
conocimiento. Esta tarea implica ensanchar y profundizar el conocimiento.
El conocimiento es hecho ms ancho agregando nuevos conceptos. En los sistemas
basados en reglas cuando se agregan las reglas se agrega a este nuevo conocimiento.
En los sistemas basados en frames, el nuevo concepto se agrega generando un nuevo
frame de la clase.
Ahondando el conocimiento involucra informacin adicional que apoya el conocimiento
existente. En los sistemas basados en reglas, este tipo de desarrollo se ha realizado
agregando reglas que apoyan las reglas existentes. En los sistemas basados en frames,
se agregan los nuevos rasgos al marco existente.

Refinamiento del Control

Una versin temprana de un sistema experto normalmente incluye las estrategias de
control simples. Una opcin de encadenamiento dirigido hacia atrs o adelante podra
hacerse, junto con un juego pequeo de metas. sta es una manera buena de empezar
el diseo, desde que al principio usted quiere determinar si usted est entrando la
direccin correcta.

Con los beneficios del proyecto, se ver maneras buenas de

introducir las estrategias de control ms complejas.

Una rea dnde pueden esperarse refinamientos en el control del sistema est en la
agenda de la meta. La agenda de la meta proporciona una lista de metas que el sistema
sigue en alguna sucesin del juego. Durante el proyecto, usted puede encontrar una
necesidad para agregar las metas a la agenda o refinar existentes en tareas ms finas.
Usted tambin puede descubrir que la sucesin estricta de una agenda de la meta
tambin est reprimiendo la aplicacin. En este evento, se puede querer hacer las

_______________________________________________________
Pg. 26

SISTEMAS EXPERTOS

__________________

metas sensibles al contexto de la sesin. Esto puede lograrse a travs del uso de metaregla. Una meta-regla puede escribirse y establecer las nuevas metas o cargar otras
bases de conocimiento sobre la base de la informacin descubierta.
Aunque usted puede empezar con una sola opcin de encadenamiento dirigido hacia
atrs o adelante, usted puede encontrar una necesidad de cambiar entre ellos. Esta
situacin normalmente ocurre si el problema involucra varias tareas algunos de los
cuales pueden manejarse bien por una de las tcnicas de la inferencia. Cuando esto
ocurre, usted debe estructurar varias bases de conocimiento, cada uno con su propia
tcnica de inferencia.

El Refinamiento de la interfaz
Algunos de los puntos tpicos que el usuario final puede proporcionar como gua son:
La facilidad de uso.
Las direcciones de la pantalla.
Las preguntas.
Las clarificaciones.
Los resultados.
Las tcnicas interactivas (el ratn, el lightpen, etc.)

El Razonamiento inexacto.
Algunos sistemas expertos necesitan usar una tcnica de razonamiento inexacta. Sin
embargo, en las fases tempranas del proyecto, se verifica el conocimiento obtenido del
experto en un sentido exacto. Es decir, deben codificarse hechos, reglas, o frames en el
sistema de una manera exacta. El resultado del

razonamiento del sistema puede

verificarse ms fcilmente si un acercamiento lgico se toma en la codificacin del

conocimiento. Siguiendo este paso de la comprobacin, pueden usarse los mtodos del
razonamiento inexacto para refinar la performance del sistema.

FASE 4: PRUEBA

Conforme prosigue el proyecto el sistema experto necesitar ser probado y evaluado

peridicamente para asegurar que su performance est convergiendo hacia las metas
establecidas. Deben tomarse las decisiones en que se probar, cmo y cundo las
pruebas se dirigirn, y quin ser involucrado en las pruebas. Es importante que estas
decisiones se tomen temprano, en un momento cuando las metas del proyecto originales
se establecen.

_______________________________________________________
Pg. 27

SISTEMAS EXPERTOS

__________________

El proceso de la evaluacin se preocupa ms por la aprobacin del sistema y aceptacin

del usuario.
Validacin del sistema
Un sistema experto modela la decisin

de un experto humano. Si se dise

correctamente, el sistema deriva los mismos resultados que el experto y razona de una
manera similar al experto. Por consiguiente, el esfuerzo de aprobacin debe dirigirse a
lo siguiente:
Valide los resultados del sistema.
Valide que proceso razona el sistema.

Validar los Resultados

Durante la prueba, la informacin del problema se da al sistema experto y la
recomendacin del sistema se compara con resultados cedidos por un individuo llamado
el "evaluador."
Hay tres consideraciones mayores al disear una prueba para validar los resultados de
un sistema experto:
La seleccin del criterio de la prueba.
La seleccin de los casos de la prueba.
La seleccin del evaluador.
Seleccionar el Criterio de Prueba
Cada proyecto tiene alguna meta para lograr. Para juzgar si el proyecto ha encontrado
su meta con xito, el criterio normalmente se establece cuando el proyecto se evala.
Si la organizacin est usando la tecnologa para dirigirse a un problema especfico
(conducida por el problema), establecer un criterio de prueba entonces es normalmente
directo. Es decir, el sistema debe demostrar que logra algn valor medible en tales
factores como: economas del costo, mejora de productividad, la mejora de calidad del
producto etc. Son problemas muy tangibles, pero ellos son a menudo difciles de medir
hasta que el sistema se haya especializado en el campo.
Un acercamiento diferente confa en comparar la relativa performance del sistema con
aquella del experto en el campo.
Comparacin relativa
Establezca Metas Razonables
La evaluacin Requiere Juicio

_______________________________________________________
Pg. 28

SISTEMAS EXPERTOS

__________________

Seleccionando los Casos de la Prueba

Al trabajar en una aplicacin con demandas, es importante que usted pruebe el sistema
primero para los problemas tpicos antes de probar los ms difciles.
Seleccin de Evaluadores
Si el sistema experto ser usado por otros expertos se recomienda que estos sean parte
del equipo de evaluadoresy que no estn asociados al proyecto.
Si el sistema ser usado por los no expertos, entonces ellos deben ser parte del equipo
de la evaluacin. Ellos pueden proporcionar

comentarios adelante si el sistema

proporciona resultados buenos, los resultados ms rpidos, etc.

Adems debe considerar los siguientes puntos:
Evite el Prejuicio Potencial
Valide el Razonamiento
Aprendiendo de los Errores
La Aceptacin del usuario: Dado por:
- Facilidad de uso.
- Claridad de las preguntas.
- Claridad de las explicaciones.
- Presentacin de resultados.
- Utilidades del sistema.
- Encuesta al usuario.
Evolucin de la Prueba / Evaluacin
Paso 1: La Comprobacin preliminar
Paso 2: Examinando la demostracin
Paso 3: Probando Validacin Informal
Paso 4: Prueba de refinamiento
Paso 5: Prueba Formal
Paso 6: Comprobacin del campo

FASE 5: DOCUMENTACIN

Como un proyecto de sistema experto maduro, la cantidad de conocimiento recolectado

del experto crece. Despus de un tiempo, debe encontrar la cantidad de informacin
abrumadora. Para manejar esta situacin, tendr que decidir temprano sobre algn
mtodo para documentar efectivamente esta informacin.
Si est propiamente diseado, esto tambin servir para las siguientes tareas de
mantener el sistema y escribir el reporte final del proyecto.

_______________________________________________________
Pg. 29

SISTEMAS EXPERTOS

__________________

Qu necesita ser documentado?

Durante un proyecto de sistema experto, la informacin que usted necesita para retener
y grabar en la documentacin sirve para tres propsitos primarios:
Referencias para desarrollar el sistema experto.
Referencias para redactar el informe final.
Referencias para mantener el sistema experto.

Durante el esfuerzo de desarrollo, se necesitar volver a menudo a esta

documentacin para grabar la nueva informacin o estudiar previamente la informacin
descubierta. Desde que muchos proyectos requieren un reporte final de proyecto, la
informacin grabada en la documentacin sirve como una fuente valiosa para este
esfuerzo. Siguiendo el despliegue del sistema experto, el sistema necesitar ser
mantenido. Para acomodar cada uno de estos esfuerzos, debe documentar lo siguiente:
Conocimiento
Grficos de conocimiento
Cdigo fuente
Pruebas
Transcripciones
Glosario de trminos especficos del dominio
Reportes.

Cmo organizar la Documentacin?

Adems de contener la informacin listada en la seccin anterior, la documentacin debe
ser organizada para facilitar el desarrollo del sistema, la escritura de los reportes y el
mantenimiento del sistema. Para lograr esto, la documentacin debe reunir las
siguientes especificaciones:
Fcil entrada de nuevo conocimiento
Fcil acceso y modificacin del antiguo conocimiento.
Fcil acceso para la informacin relacionada.
Fcil repeticin del material para redactar el reporte.
Hipertexto

Para facilitar la hojeada de la informacin relacionada en un documento que ha sido

puesto en la forma electrnica, algunos diseadores de hoy adoptan la tcnica de
hipertexto.

_______________________________________________________
Pg. 30

SISTEMAS EXPERTOS

__________________

Se puede usar una estructura de hipertexto para leer informacin sobre algn asunto,
luego navegar a travs de otros nodos para aprender sobre la informacin relacionada.
Para ilustrar, considerar el siguiente ejemplo.
Reporte Final
Para muchos proyectos de sistema expertos necesita escribir un reporte final. Hay
variaciones de que ser presentado en este reporte que depende de la organizacin
para quien el trabajo fue hecho. El contenido del reporte final del proyecto debe incluir lo
siguiente:
Pgina del ttulo
Tabla de contenidos.
Resumen ejecutivo
Visin global del proyecto
Descripcin del programa
Resultados de las pruebas
Resumen
Referencias
Bibliografas
Apndices.

FASE 6: MANTENIMIENTO

Muchos sistemas expertos contienen conocimiento que est evolucionando con el

tiempo. La organizacin que usa el sistema puede adquirir nuevos productos y equipos,
o cambiar procedimientos para trabajar con los recursos existentes. Este cambio declara
modificaciones apropiadas requeridas al sistema.
Conforme es usado el sistema experto, las deficiencias pueden tambin ser
descubiertas. Los usuarios pueden encontrar dificultad para usar el sistema, o pueden
descubrir omisiones. Mantener cualquier tipo de software puede ser costoso.
Dada la probabilidad de que necesita cambios el sistema y sus costos asociados,
necesita ser establecido un programa de mantenimiento efectivo para cada proyecto de
sistema experto. Los usuarios necesitan un camino para reportar problemas que ellos
encuentran, y los individuos con habilidades de ingeniero de conocimiento deben estar
disponibles para hacer los cambios. Debe adems haber una manera para manejar el
esfuerzo del mantenimiento para asegurar que la tarea se logre efectivamente.
Los mayores temas a considerar al reunir un programa de mantenimiento de sistema
experto son:

_______________________________________________________
Pg. 31

SISTEMAS EXPERTOS

__________________

Documentacin
Pensar en el mantenimiento durante el diseo
Estructura Modular
Separar el conocimiento de la informacin
Meta Reglas
Problemas del Software
Habilidades de programacin
Portabilidad del sistema
Utilidades de modificacin
Acuerdo de mantenimiento
Quin mantiene el sistema?
Cambios del documento.

_______________________________________________________
Pg. 32

SISTEMAS EXPERTOS

__________________

BIBLIOGRAFA

LIBROS
[01]*

Durkin, J. EXPERT SYSTEMS: DESIGN AND DEVELOPMENT. New

York. Maxwell Macmilan. 1994

[02] Cohen, D. SISTEMAS DE INFORMACIN PARA LA TOMA DE
DECISIONES. McGrawHill.
[03]

Snchez,

J.

SISTEMAS

EXPERTOS:

UNA

METOLOGIA

PROGRAMACION.Prentice Hall. Mxico. 1991

* Traducido del original por el autor.

INTERNET
[INTER 01] www.uc3m.es
[INTER 02] www.monografias.com
[INTER 03] www.uakron.edu
[INTER 04] www.pucp.edu.pe
[INTER 05] www.inei.gob.pe
[INTER 06] www.itnuevolaredo.edu.mx/takeyas

_______________________________________________________
Pg. 33

DE