Esquemas para comprender una lnea conceptual y metodolgica sobre la Evaluacin y Acreditacin de la Calidad de la Educacin Superior

Universidad Mayor de San Simn Cochabamba - Bolivia 1998

Justy Tezanos Pinto

Presentacin
Presentar una obra, cometido siempre grato, se convierte en tarea llena de satisfaccin y, por qu no decirlo, de indisimulado orgullo cuando se trata de un trabajo como el que entrega Justy Tezanos Pinto de Corts, con quien me ligan slidos lazos de afecto y largos aos de trabajo universitario compartido. Siempre he admirado -desde que era mi alumna- la enorme capacidad de produccin acadmica de Justy; pero tambin fue frecuente mi queja de que tal produccin no fuese llevada a la imprenta para difundir ms ampliamente su contenido. ltimamente esa queja va desapareciendo, y hoy puedo exteriorizar mi alegra al escribir esta presentacin de los Esquemas para comprender una lnea conceptual y metodolgica sobre evaluacin y acreditacin de la calidad de Educacin Superior. Se trata de eso: Esquemas, es decir una representacin de algo atendiendo a sus lneas ms significativas. Aqu la obra adquiere un gran valor didctico, no solo por facilitarnos a quienes los leemos la comprensin del contenido, sino tambin por entregarnos un instrumento a ser utilizado, por docentes y estudiantes, en los procesos de enseanza - aprendizaje. Estos Esquemas los destina Justy a ayudarnos a comprender una lnea conceptual y metodolgica sobre evaluacin y acreditacin de la calidad de la Educacin Superior. Y lo logra: la lnea conceptual se presenta clarsima, y la metodolgica aparece ntida como articulacin de mtodos, tcnicas y procedimientos. A partir de la afirmacin de la competencia y capacidad de la Universidad Boliviana para evaluarse y ser evaluada, los esquemas nos llevan a la comprensin del sentido de la evaluacin, su diferencia y al mismo tiempo nexo con la medicin; el concepto de acreditacin en general y de acreditacin institucional en particular, precisando su base y caractersticas. A travs de los esquemas vamos descubriendo la lnea que traza la secuencia de procesos de: investigacin - investigacin evaluativa, en sus diversos enfoques y modelos tanto internos como externos- juicio de valor sobre calidad - toma de decisiones. Un aporte especialmente valioso de esta obra de Justy es el referido a la calidad, concepto siempre abstracto, multi interpretable y relativo, sobre el que ltimamente se habla mucho, pero se comprende poco. El sentido prctico de los esquemas nos sita no slo en la comprensin del concepto de calidad y su vinculacin con la transformacin y cambio, sino que tambin nos ayuda al manejo prctico de criterios, indicadores e ndices, parmetros y estndares. Termina, como era de esperarse en Justy, mostrndonos el vnculo de evaluacin y acreditacin con todos los sub procesos de la Administracin. No debo continuar el anlisis . . . . . Invito a los lectores a enriquecerse por ellos mismos con esta nueva aportacin de Justy Tezanos Pinto de Corts. Antonio Cabrerizo Ros.

A modo de introduccin
El presente trabajo es producto de muchas sesiones de discusin en equipo con mis colegas y amigos Ramn Daza Rivero y Antonio Cabrerizo Ros. La idea primaria surgi en una charla y reflexiones sobre una conferencia que preparaba Don Antonio (Cabrerizo) en torno a la experiencia de la Universidad Mayor de San Simn de Cochabamba - Bolivia en el plano de la evaluacin de la educacin superior. Luego, con aportes terico - metodolgicos construidos sobre estudios anteriores del equipo de profesionales de la Direccin Universitaria de Evaluacin y Acreditacin (DUEA) de la Universidad arriba mencionada y la contrastacin de stos con trabajos de estudiosos en el campo de la evaluacin y su vnculo con el apasionante y resbaloso tema de la calidad en la educacin superior, como Ruiz Cano y Ramrez, se gesta la idea de sistematizar este conjunto de esquemas, que podran tener un valor, sobre todo, didctico para los que se planteen el desafo de profundizar lo tratado. El trabajo de ESQUEMAS PARA COMPRENDER UNA LNEA CONCEPTUAL Y METODOLGICA SOBRE LA EVALUACIN Y ACREDITACIN DE LA CALIDAD DE LA EDUCACIN SUPERIOR no se hubiera concretado sin el espacio para la experiencia que nos brinda, a todos los miembros de la Direccin Universitaria de Evaluacin y Acreditacin, la propia Universidad Mayor de San Simn y la confianza de su Rector, Ing. Alberto Rodrguez Mndez. Tampoco se hubiera concretado sin el valioso aporte - al esquematizar - de mi colega y amigo Csar Mercado Castro, miembro de nuestro equipo. Justy Tezanos Pinto. Cochabamba, Bolivia. Septiembre de 1998

Para entrar en tema

Al pensar en evaluacin de la educacin superior es necesario primero concebir a la educacin en general. As -recuperando una postura freiriana - se puede considerar a la educacin como un proceso social de formacin que implica una determinada teora del conocimiento puesta en prctica. Entonces, la evaluacin parte de una realidad concreta; la reflexiona, para volver a esa realidad en la que se concretan los procesos educativos. De esta manera, la universidad, con justa razn, podra convertirse en conciencia de la sociedad. Asumamos el desafo!

Motivaciones
Cambio de direccionalidad de sistemas de educacin superior
Instituciones Educativas

. Vigencia . Legitimidad

Ante sociedad

DESAFO Enfrentar problemas

Mejorar calidad de servicios

Deficiencias en calidad de la educacin ACREDITACIN FOCO DE ATENCIN MUNDIAL

IMPORTANCIA

LA EVALUACIN EN LA UNIVERSIDAD BOLIVIANA

Por mandato constitucional Universidad Facultada
Elaborar sus propios planes

Con capacidad de evaluarlos

Universidad Boliviana con capacidad y competencia de realizar evaluacin: En los trminos planteados en sus Planes de Desarrollo y de acuerdo a las necesidades y requerimientos de su entorno socio - cultural.

..no puede ser juez y parte.

Ignora sentido de la evaluacin.
Proceso de recopilacin de informacin analizada e interpretada a la luz de un marco referencial; posibilita: emisin de juicios de valor Calidad RRHH
Calidad Procesos

permite: toma de decisiones institucionales .

Mejorar Calidad
4

Evaluacin
Proceso de anlisis e interpretacin de informacin que a la luz de un marco referencial proporciona juicios de valor que PERMITEN TOMAR DECISIONES

Medicin
Comparacin de lo que se observa con un parmetro o unidad.  Se mide solamente los rasgos o caractersticas de
las personas, animales, cosas, etc.  La medicin de los atributos de los objetos es, por lo general, directa.  La medicin de las actitudes, atributos de la personalidad y manifestaciones sociales, es indirecta.
6

Evaluacin Medicin
Expresa juicio de valor relativo. Es proceso dinmico. Subsume a la medicin, siendo ms extensa. Implica, entre otros procedimientos, a la medicin. Es la valoracin misma. Compara los datos con los resultados previstos. Expresa juicio de valor absoluto. Momento estanco, no procesual. Subsumida en la evaluacin. No implica evaluacin. Un medio para valorar. Es, simplemente, un medio para obtener datos

ACREDITACIN
Proceso mediante el cual una institucin educativa certifica la capacidad y competencia de sus productos. Puede basarse en:  Los resultados de una evaluacin
o  Los resultados de la medicin
8

ACREDITACIN
Certificacin que se hace de una institucin educativa ante la sociedad de la CALIDAD de: Recursos humanos formados Procesos desarrollados * en la institucin * en uno de sus programas
9

Desde los momentos de evaluacin: Desde los sujetos que evalan: Desde los objetos de evaluacin: Desde la finalidad ltima de la evaluacin:
) Meta evaluacin.
10

Tipos de Evaluacin
Ms funcin didctica

)Diagnstica. )Formativa. )Sumativa.

)Autoevaluacin (interna). )Heteroevaluacin (externa).

)Evaluacin institucional (global). )Evaluacin por programas (parcial).

Autoevaluacin
Aplicacin de procedimientos de investigacin evaluativa para la valoracin de la calidad de cada una de las unidades de gestin universitaria. Investigacin evaluativa realizada por los propios agentes universitarios. Investigacin que reporta un informe autoevaluativo.
 Informe autoevaluativo:
Documento esencial para: Desarrollo de la Institucin Acadmicos Evaluacin hecha por Pares
11

Heteroevaluacin - Evaluacin externa

Aplicacin de procedimientos de investigacin evaluativa en cada una de las unidades de gestin universitaria, realizada por agentes externos (pares Acadmicos)a la universidad, sobre la base y Criterios reportados en el informe autoevaluativo.
 Pares Acadmicos:
Profesionales de reconocido prestigio, expertos en investigacin evaluativa y educacin superior. Profesionales sin prejuicios, que puedan emitir juicios de valor en forma objetiva
12

META EVALUACIN
Evaluacin de la evaluacin. Sistematizacin
 contrastacin de:
* procesos * procedimientos * resultados Evaluacin interna Informe Evaluacin externa

ACREDITACIN
13

Desde los objetos de la evaluacin

Evaluacin

z Proceso sistemtico.
Diseado Rigurosa Valiosa Vlida Fiable Calidad Logros
Intencional Tcnicamente

Institucional-programas

De recoleccin de informacin.

Orientado a valorar.

Institucin-programa Con finalidad de: TOMAR DECISIONES 14

Investigacin Cientfica
Proceso de construccin de conocimientos cientficos Aplicacin de mtodos cientficos en el proceso de construccin de conocimientos

15

Investigacin Evaluativa
Obtencin, procesamiento, anlisis e interpretacin de informacin sobre una situacin o un programa. Conduce a la emisin de juicios de valor para la toma de decisiones. Se utiliza cuando se quiere conocer cules han sido los logros, fracasos, aciertos o desaciertos de una situacin o de un programa
16

Investigacin Evaluativa:
Enfoques epistemolgicos

Cualitativo - Fenomenolgico  Base disciplinar

Sociologa Antropologa

 Objetivos
Descripcin general
s Institucin - programas

Desde la perspectiva de los participantes

17

Investigacin Evaluativa:
Enfoque cualitativo

Propone: Evaluacin de instituciones / programas

 En sus contextos  Utilizando recursos metodolgicos

Observacin Descripcin
18

Investigacin Evaluativa:
Enfoque Cuantitativo Racional

Base disciplinar  Psicologa experimental  Pedagoga experimental Objetivos  Bsqueda de relaciones causales entre variables Recursos metodolgicos  Diseos experimentales
Aplicacin de tcnicas estadsticas

Datos de naturaleza cuantitativa

19

Investigacin Evaluativa:
Enfoque Eclctico Combina:  Enfoque cualitativo  Enfoque cuantitativo  Objetivos Aumentar la evidencia  Bsqueda de:
Relaciones causales Estudios de procesos Datos del contexto

TODO TIPO DE RECURSOS METODOLGICOS

20

Modelos de evaluacin Cualitativa

Internos

(Institucional - Por Programas)

Externos

Autoreflexin Colegiada. Evaluacin Participativa. Evaluacin en el Marco de la Autonoma Institucional. Evaluacin por medio del Estudio de Casos. Evaluacin Etnogrfica

Radiografa del Centro. Evaluacin Responsable. Evaluacin Iluminativa.

21

Modelos de evaluacin Cuantitativa

(Institucional - Por Programas)

Externos: Internos:

Evaluacin Sumativa Final. Decisional:

CIPP (engloba contexto). CSE ( Centrado en necesidades).  Se puede trabajar con los mismos, variando los
agentes evaluadores.
22

IMPORTANTE
EN UNA INVESTIGACIN, LOS DIFERENTES TIPOS DE INVESTIGACIN NO SON

EXCLUYENTES, SE COMPLEMENTAN A LO LARGO DEL PROCESO

23

Acreditacin Institucional
Se basa en:  Autoevaluacin metaevaluacin  Evaluacin externa Considera:  Caractersticas globales de la institucin como
un todo global.  Especializada por programas (reas profesionales, ocupacionales o disciplinas)
24

ACREDITACIN Y EVALUACIN DE LA CALIDAD UNIVERSITARIA

NTIMAMENTE RELACIONADAS

Propsitos

Procedimientos Contexto Procesos

Aspectos propios de:

 Realidad  Naturaleza
MARCAN DIFERENCIAS

25

CALIDAD.?.
Cada uno opina sobre la calidad de algo. Cada uno sabe de qu se trata, pero.. si intentamos una definicin.. .nos encontramos con las

manos vacas!
26

CALIDAD, algunas definiciones:

la medida con la cual se alcanzan los objetivos (De Grost, 1983). la medida con la que se satisface las exigencias que se han establecido para un producto (desde la bibliografa empresarial).
27

CALIDAD, algunas definiciones:

el valor aadido, esto quiere decir, la diferencia entre el estudiante que se grada y el bachiller entrante (Mc Line y otros, 1989. EEUU).

28

CALIDAD, una descripcin muy utilizada: Algo tiene calidad si satisface las expectativas del usuario o cliente EN EDUCACIN.. quines son usuarios? quines son los clientes?...
29

Calidad de la educacin (slo hasta cierto punto)

Calidad del producto final

estudiante graduado

30

Calidad del producto final:

Satisface las exigencias del consumidor?

*sociedad? *sector privado? *el estudiante?

31

Calidad de la educacin:
Satisface las exigencias de las propias Universidades? del gobierno? gobierno Tiene que ser ....sus particulares ante todo cientfica. exigencias..? No siempre van paralelas. A veces son contradictorias.
32

CALIDAD
Un concepto: *abstracto *multi interpretable su definicin depende del que busca ? *relativo en comparacin con
33

BSQUEDA DE CALIDAD
A veces tratamientos muy simples: ...busque un conjunto de indicadores de desempeo y luego mida la calidad.:
 existe una relacin directa entre indicadores
de desempeo y la calidad?  ser posible expresar la calidad por medio de datos numricos? Opiniones divididas
34

CALIDAD, interpretacin de...

Se originan problemas cuando se intenta medir directamente la calidad por medio de variables cuantitativas. .?
Ej: * Calidad de la investigacin Cantidad de publicaciones * Calificaciones altas: medida justa? indicacin de calidad?

No se puede ligar, sin ms, a los indicadores cuantitativos ninguna conclusin!!!

35

CALIDAD, interpretacin de...

LAS OPINIONES, EXPRESADAS COMO INFORMACIN CUALITATIVA, TAMPOCO SON SUFICIENTES PARA DEFINIR LA CALIDAD.

36

CALIDAD EDUCATIVA

CONCEPTO MULTIDIMENSIONAL. PUEDE SER OPERATIVIZADO EN FUNCIN DE VARIABLES MUY DIVERSAS.

37

1.- CALIDAD COMO EXCEPCIN: COMO ALGO ESPECIAL. VISIN CLSICA:

8 DISTINCIN: CLASE ALTA, EXCLUSIVIDAD

VISIN ACTUAL: EXCELENCIA

8 ESTNDARES 8 CONTROL CIENTFICO DE PRODUCTOS

38

2.- CALIDAD COMO PERFECCIN O MRITO LAS COSAS ESTN BIEN HECHAS:
RESPONDEN A REQUISITOS EXIGIDOS.

PROMUEVE LA CULTURA DE LA CALIDAD

RESULTADOS QUE SEAN CADA VEZ MEJOR EVALUADOS

CRITERIOS DE CONTROL DE CALIDAD.

39

3.- CALIDAD COMO ADECUACIN A PROPSITOS LO QUE ES BUENO O ADECUADO PARA ALGO O ALGUIEN.
ADECUACIN ENTRE RESULTADOS Y FINES. PROGRAMAS RESPONDEN A NECESIDADES.

SE CUMPLEN SATISFACTORIAMENTE LOS OBJETIVOS ESTABLECIDOS EN EL MARCO LEGAL.

40

4.- CALIDAD COMO PRODUCTO ECONMICO DESDE LA PERSPECTIVA DEL PRECIO QUE SUPONE SU OBTENCIN:
 EFICIENCIA  ORIENTACIN
COSTOS VS.RESULTADOS RENDICIN DE CUENTAS

41

5.- CALIDAD COMO TRANSFORMACIN Y CAMBIO CENTRADA EN LA EVALUACIN Y EL MEJORAMIENTO INSTITUCIONAL  MEJORAR EL RENDIMIENTO.  ORIENTACIN
DESARROLLO CUALITATIVO DE LA ORGANIZACIN.
42

CONCEPTO DE CALIDAD
CLARAMENTE DINMICO y TRANSFORMACIONAL. 2 PERSPECTIVAS: EN EDUCACIN
 AXIOLGICA.  DEL MUNDO DE VIDA.
43

CALIDAD: PERSPECTIVA AXIOLGICA

REFERIDA AL POTENCIAL HUMANO.
SENTIDO DE EXCELENCIA.

TENDENCIA A LA EXCELENCIA FUNDAMENTADA EN EL POTENCIAL DE LA EXPERIENCIA Y SABER DE LAS PERSONAS.

44

CALIDAD: PERSPECTIVA DEL MUNDO DE LA VIDA

CAPACIDAD DE TRANSFORMAR LA INFORMACIN EN ACCIN. CAPACIDAD DE UNA PERSONA U ORGANIZACIN
 transformar  ideas y recursos

realidades beneficiosas
45

CALIDAD: PERSPECTIVA DEL MUNDO DE LA VIDA

HABILIDAD INGENIOSA QUE

 SABE INCIDIR EN UNA REALIDAD

DADA TRANSFORMNDOLA

GUA DE LA EXPERIENCIA Y CONOCIMIENTO

46

CONCEPTO DE CALIDAD: CARACTERSTICAS

RELATIVIDAD, SUBJETIVIDAD, COMPLEJIDAD. VARIABILIDAD. DIVERSIDAD. TEMPORALIDAD.

47

CALIDAD EN EDUCACIN
MODO DE SER DE LA EDUCACIN.
 Rene caractersticas de:
Integridad. Coherencia. Eficacia.

48

CALIDAD EN EDUCACIN:

Caractersticas

INTEGRIDAD = Inclusin de todos los factores necesarios para el desenvolvimiento de la persona. COHERENCIA= Cada uno de los elementos del proceso educativo corresponde a su papel en la vida. EFICACIA = Todos los elementos del proceso cumplen su funcin.
49

CRITERIO DE CALIDAD:
aspectos cualitativos o cuantitativos insuficientes emitir juicio de valor sobre calidad NECESARIO: DEFINIR CRITERIO DE CALIDAD
50

Datos

CRITERIO DE CALIDAD
PRINCIPIO VALORATIVO QUE REGULA LAS MANIFESTACIONES DEL OBJETO DE LA EVALUACIN.
 LOS CRITERIOS DE CALIDAD SE PUEDEN
AGRUPAR EN DIFERENTES DIMENSIONES: EFICIENCIA. EFICACIA. RELEVANCIA. EFECTIVIDAD.
51

EFICIENCIA
Uso ptimo de los recursos con el fin de conseguir que los procesos conduzcan al logro de los objetivos.
 Administrativa:
Recursos Humanos Recursos Financieros

 Pedaggica
Medios Operativos para el desarrollo curricular

52

EFICACIA
Correspondencia entre los medios empleados y los fines logrados. Correspondencia de los objetivos logrados con las necesidades, expectativas y demandas sociales.
 Adecuacin  Costo - efectividad  Costo - Beneficio

53

RELEVANCIA
Se refleja en los fines educativos de la institucin. Se refiere al para qu se educa.
 Pertinencia  Impacto  Oportunidad

54

EFECTIVIDAD
Congruencia que existe entre lo planificado y los logros obtenidos:  Metas Explcitas  Cumplimiento de metas  Logro de los aprendizajes

55

INDICADOR
Manifestacin o traduccin de una cualidad o propiedad del objeto de evaluacin  Cualitativos:
Existencia o no de reglamentos.

 Cuantitativos:
Nmero de estudiantes de primer ingreso.

NDICES
56

INDICE
Expresin que representa una relacin de dos caractersticas de una poblacin

Ej: ndice de reprobacin=

Tot. Est. Reprob. Tot. Est. Apr.

x 100

57

PARMETRO
Unidad de medida de los atributos del objeto de evaluacin.

INSTRUMENTO
 Medio de recoleccin de informacin
58

ESTNDAR
Parmetro mnimo exigido para considerar satisfactorio el logro alcanzado por el objeto de la evaluacin

59

CALIDAD EN EDUCACIN:

Caractersticas

EL FACTOR LTIMO QUE DETERMINA LA CALIDAD EDUCATIVA NO SON LOS INDICADORES DE CALIDAD AISLADAMENTE CONSIDERADOS

 LA ESTABILIDAD Y EQUILIBRIO
ENTRE ELLOS.
60

Indicadores de Calidad en Educacin

En Planificacin Educativa,  Cuando formulamos un conjunto de
indicadores estamos describiendo cul sera la situacin ideal en la que desearamos que se encontrara una institucin educativa.  Los indicadores deberan coincidir con los objetivos que la institucin pretende alcanzar.
61

Indicadores de Calidad en Educacin

El crear un sistema de indicadores de un centro educativo que permita, por lado, integrar datos de su micromundo y relacionarlos con indicadores de su contexto y del sistema educativo, en general (macromundo), posibilita establecer un modelo integrador y dinmico de la calidad educativa. (Mestres: 1990)
62

Indicadores de Calidad en Educacin Doble finalidad:

Aumentar la comprensin de los principales problemas educativos.

Enriquecer el debate pblico en torno a ellos.

63

Para determinar la CALIDAD

Necesario: Analizar e interpretar los datos a la luz de un marco referencial. *Anlisis objeto de reflexin, discusin y dilogo.

EVALUACIN
64

Evaluacin
Recoleccin informacin Marco referencial Anlisis y juicio de valor Toma decisiones

65

Recoleccin informacin

Marco referencial

Anlisis y juicio de valor

Toma decisiones

Plan de recoleccin de informacin

QU?
Objetivos del proyecto Marco TericoReferencial Justificacin Definicin de objetos de estudio Institucin Programas

PARA QU? POR QU?

Nivel de complejidad: Tipo de estudio, universo, unidades de anlisis, muestra, dimensiones de los criterios de calidad

CMO Y CON QU?

Tcnicas e instrumentos de recoleccin informacin

Operacionalizacin de dimensiones de calidad. Seleccin de tcnicas e instrumentos:

Encuesta (entrevista - cuestionario) Observacin (listas de cotejo - escalas) Anlisis documental (crtica externa - anlisis de contenido)

CUANDO?

Cronograma del proyecto

Etapas de trabajo

66

Recoleccin informacin

Marco referencial

Anlisis y juicio de valor

Toma decisiones

Elementos tericos que sustenten el proyecto. Documentos y legislacin universitaria. Documentos especficos de cada unidad, objeto de estudio (Planes y Programas).

67

Recoleccin informacin

Marco referencial

Anlisis y juicio de valor

Toma decisiones

Procesamiento de datos (depuracin, organizacin, programacin-computadora). Sistematizacin de informacin, anlisis cualitativo y/o estadstico (descripcin diagnstica). Juicio valorativo. Gua para mejorar situaciones detectadas.

68

Procesos de la Gestin Universitaria

Planificacin Organizacin Ejecucin Evaluacin Planes Estructura Resultados Diagnsticos Pronsticos
69

EVALUACIN DE LA CALIDAD EN EDUCACIN SUPERIOR

Permite: Clarificar relaciones Descubrir procesos crticos subyacentes Identificar:

   logros

fracasos aciertos desaciertos

instituciones - programas.

 Tomar decisiones
TRANSFORMAR el estudio de una instancia en accin
70

Bibliografa
Cabrerizo, A., Daza, R., y Tezanos Pinto, J., La evaluacin en la experiencia de la Universidad Mayor de San Simn de Cochabamba - Bolivia, Ed. Cueto: Cochabamba, Bolivia, 1996. Cabrerizo, A., Daza, R., y Tezanos Pinto, J., UMSS - autoevaluacin un camino para mejorar la calidad de la educacin superior, Ed. CEUB: La Paz, Bolivia, 1997. Cabrerizo, A., Daza, R., y Tezanos Pinto, J., Una propuesta de evaluacin externa y acreditacin de instituciones y programas de formacin profesional, Copicentro: Cochabamba, 1997. Cano, E., Evaluacin de la calidad educativa. Ed. Muralla S.A.: Madrid, Espaa, 1998. Daza, R., y Tezanos Pinto, J., Sistema de evaluacin y acreditacin de la Universidad Boliviana, Ed. CEUB: La Paz, Bolivia, 1995. Ramrez G., S., Calidad acadmica en educacin superior, Ed. CINDA: Santiago, Chile, 1992. Ruiz, J.M., Cmo hacer una evaluacin de centros educativos, Ed. Narcea: Madrid, Espaa, 1996.

71

Distribucin gratuita Prohibida su reproduccin total o parcial por cualquier medio manual o electrnico sin la autorizacin expresa de la autora

Tiraje de 100 ejemplares

Publicaciones DUEA - UMSS. Cochabamba, Bolivia, 1998