43
COMTON\IONAL DE INVESTIGACION (rENTIFICA Y TECNOLOGICA ยก)IRECCION DE ESTUDIOS
! '
1.
e,
ORIENTACION Y MANEJO DEL FONDO NACIONAL : OPINION DE LOS EVALUADORES
JORGE SALINERO B. COLABORADORES: CYNTIIIA LATRILLE T. GABRIEL SEISDEDOS A.
Santiago de Chile CONICYT Junio, 1987
INDICE
Pág i n a
2. III.
Iv
)DUCCION
1
:Tos METODOLOGICOS
2
Recolección de la Información
2
Limitaciones
2
PRESENTACION DE RESULTADOS
3
1.
Orientaciones del Fondo Nacional
3
2.
Evaluación de proyectos
5
3.
Apreciaciones y comentarios
7
3.1. Fondo Nacional
7
3.2. Política científica
8
CONCLUSIONES
9
-1--
1. INTRODUCCION
Este breve documento expone las opiniones dadas por los evaluadores del Fondo Nacional 1987 a las consultas que, en mate ria de orientación y manejo del Fondo, les plantearan los Consejos Superiores de Ciencia y Desarrollo Tecnológico. La consulta, hecha efectiva a través de un cuestionario, fue realizada durante Abril y Mayo pasados. Este trabajo ericausa de dos formas la información recogida. Por una parte, comprende un procesamiento estadístico simple, frecuencias relativas, sobre los interrogantes que generan información estructurada. Por otra, se describen los comentarios más recurrentes que los evaluadores estimaron necesario formular sobre los temas tratados. En un segundo trabajo, en elaboración, se presentará un perfil más completo sobre las opiniones predominantes.
- -------------------.- ------------,+------. ----.-----
--- --- ,- - .,_--4---
-4-
-2-
II.
1.
ASPECTOS METODOLOGICOS
Recolección de la información
Los evaluadores devolvieron 1.026 cuestionarios, los que se desglosan del modo siguiente a)
Cuestionarios clasificados por disciplina o especialidad del evaluador remitente : 988
b)
Sin clasificar
c)
Detección directa de más de un cuestionario remitido por 14 evaluador :
24
En consecuencia, la información procesada se asienta en las respuestas de 1.012 cuestionarios (a y b). 2.
Limitaciones
La duplicación de respuestas aparece como una restricción necesaria de considerar. Tiene origen en la carencia de la nómina cornpleta y definitiva de los evaluadores en el momento de enviarles los cuestionarios, los que se hicieron llegar junto a la documentación de cada proyecto requerido para evaluar, en el concurso 1987. De esta manera, hubo evaluadores que inadvertidamente respondieron más de una vez el cuestionario. Para calcular el. valor estimado del sesgo aludido, se examinó una muestra compuesta por los cuestionarios de una disci 115). Se encontró que la duplicación, apar pli.na (Química n te de los 14 cuestionarios detectados en forma directa, alcanzaría al 4,3 % de las respuestas. Otra limitación, del mismo origen, e indeterminada por el momento aunque se estima de escasa importancia, consiste en la duplicación de respuestas de evaluadores que se desempeñaron como tal en distintas disciplinas.
-3-
III. PRESENTACION DE RESULTADOS
Los resultados contemplan la opinión de los evaluadores respecto a 1. Orientaciones del Fondo Nacional; 2. Proceso de evaluación de los proyectos y 3. Apreciaciones y comentarios, sin una indicación predeterminada, de interés para los evaluadores. En general, las respuestas a los temas incluidos en las partes 1 y 2 antes indicadas, expresan las preferencias de los evaluadores enfrentados a opciones dicotómicas, las que pueden coincidir o no con sus opiniones, de orden absoluto, sobre los temas en cuestión.
1.
Orientaciones del Fondo Nacional CUADRO
NQ
1
OPINIONES SOBRE ORIENTACIONES DEL FONDO NACIONAL
-
OPINIONES
NOMBRE DE ¡A ALTERNATIVA PREDOMINANTE
SIN RESPUESTA OTRA ALTERNATIVA PREDOMINANTE ALTERNATIVA EN% EN%
1
56
43
0
47
3
Concurso con cus tin tas mocalidac]es
71
25
4
Mayor apoyo a proyectos reqi onaes
59
30
2
61
215
1 1
Critarios adcionaies al de excelencia Exciun i(n da ñreas prioritarias
ibn idj
05
para
OCCiOflCS
CS)OC
i E icas
-4
1.1.
-
Aprobación de los proyectos
Para la aprobación de los proyectos del Fondo, la mayoria de los consultados optó a que se cqnsideraran, además del criterio de excelencia, otros criterios adicionales (56 %). Se debe mirar con precaución este resultado, tanto por la alta proporción de quienes optaron sólo por la exclusividad del criterio de excelencia en la aprobación de proyectos (43 %) como porque en las cifras está contenida un conjunto de respuestas duplicadas y para las cuales es desconocida su distribución. Debe agre garse que los evaluadores del área de Ciencias Exactas y Naturales fueron favorables al criterio de excelencia (54 %).
1.2.
Arcas prioritarias
La mitad de las respuestas recibidas escogió la opción relativa a que el Fondo Nacional contemple áreas prioritarias (50 %). Mayor fuerza cobran en este caso, las razones invocadas en el párrafo anterior respecto a observar con prudencia los resultados. Cabe expresar que los evaluadores de las áreas de Tec nología y Ciencias de la Ingeniería, Ciencias Jurídicas, Económi En cas y Administrativas adhieren a este elemento de política. el área de Ciencias Sociales, las opiniones se distribuyeron equi tativamente y lo mismo ocurrió con Física, en el área de Ciencias Exactas y Naturales. En el resto de la áreas y disciplinas pri má la orientación contraria. Los evaluadores que excluyeron el establecimiento de áreas prioritarias fueron enfáticos en señalar, mediante observa ciones y comentarios, el peligro que representa para la .investigación científica y tecnológica del país, y en especial para la priniera, la aplicación de ese elemento de política.
1.3.
Modalidades de concurso
Los evaluadores escogieron claramente la opciÓn de disponer de un concurso con distintas modalidades que canalice altr nativamente las solicitudes (71 %) frente a la posibilidael de un sólo concurso sin modalidades. De igual modo aconteció al interior de todas las áreas científicas y tecnológicas.
1.4.
Proyectos regionales
La opción de prestar más apoyo a los proyectos regionales concreta el 59 % de las preferencias de los evaluadores. Res
-5
pecto al contenido de este apoyo, pre definido en el cuestionario, en orden decreciente se tiene Apoyar con prioridad proyectos concertados interinstitucionalmente, asegurar un financia miento mínimo a las regiones y destinar una cantidad de recursos para proyectos regionales. Es oportuno señalar que partidarios de la opción mencionada indican que excluirían de este mayor apo yo a la y y VIII Regiones.
1.5.
Financiamiento para acciones específicas
La mayoría de los evaluadores seleccionó la alternativa que explicita como conveniente que el Fondo Nacional distribuya subsidios concursables para acciones especificas de proyectos de ejecución (61 %). La cantidad de interrogados que no responde (11 %) podría indicar dificultades en apreciar la pregunta del cuestionario en este tema.
Evaluación de los proyectos
2.
CUADRO NQ 2 OPINIONES SOBRE EL PROCESO DE EVALUACION
OP INI ON ES NOMFIT1E
oi:
FA ALTERNATIVA PREDOMINANTE
FI i 1 i zac i ón do evíiiuiiclorcs extranjeros No Yfl1.1 1 i zar 101)
de pun Ui j es
Acrono, por los
2.1..
Corni.t_és,
al
¿1rI)ttC1)C
SIN RESPUESTA ALTERNATIVAFOTRA ¼ PREDOMINANrETERNATIVA 7. ¼
91
0
1
65
30
5
44
40
16
Evaluadores extranleros
Casi la totalidad de los consultados, estima adecuado que el Fondo Nacional utilice evaluadores extranjeros (91 %).
-6-
Dicha opción fue pre definida además, a través de tres contenidos no excluyentes, ninguno de los cuales obtuvo una preferencia menor al 40 % del total recibido por la alternativa. El contenido que muestra una mayor cantidad de adherentes es aquel que define la utilización de evaluadores extranjeros con el propósito de arbitrar evaluaciones contradictorias (el 52,6 % del total de la alternativa).
2.2.
Obletividad de la evaluación
El cuestionario predefinió conceptualmente, tres contenidos no excluyentes para registrar opiniones sobre factores que, eventualmente pudieran afectar la objetividad de la evaluación y estableció la posibilidad de identificar otros factores que el evaluador considerara apropiados. El número limitado de evaluadores calificados, como fue agregado y subrayado por los propios consultados, y el pequeño tamaño de la comunidad cientifica nacional, que le permite conocer a sus miembros lo que acontece en sus respectivas especialidados en nuestro medio, y por tanto formarse juicios previos, u doran las opiniones asignadas a los factores nombrados y que evcnt:ualmente afectan la objetividad de la evaluación (557 y 527 preferencias). En la tercera posición se ubica el libre acceso al concurso a quienes se desempeñan como evaluadores (265 preferencias La acción de otros factores en este ámbito, definido por los evaluadores, dan cuenta de 152 opiniones. Se mencionan al respecto : Competencia por recursos escasos, breves plazos concedidos para evaluar, información insuficiente de los proyectos, el prestigio del autor del proyecto, elementos de orden político, y ausencia de criterios uniformes entre los evaluadores.
2.3.
Calificación de los proyectos
La opción relativa a que los proyectos entren en competencia mediante la normalización de puntajes, al interior de ca(la disciplina, resulta seleccionada por la mayor parte de los evaluadores (65 %). Una proporción de cierta consideración se rtclina sin embargo, por el estricto apego a los puntajes absolu I:os ( 30 ).
1
--
-7-.
2.4.
Conocimiento del arbitraje
Las opiniones se encuentran compartidas respecto a si los miembros del comité seleccionador de evaluadores deberían tener acceso al arbitraje de los proyectos. hay un ligero predo minio de las opiniones que aceptarían tal acceso (44 % VS. 40 %). No obstante, este resultado no permite una inferencia definitiva considerando la proporción de evaluadores que no emiten opinión (16 %). Al parecer, se desconoce parcialmente entre los evaluadores, la existencia de tales comités. Los que favorecen el acceso de los comités al arbitraje, fundamentan su elección en la necesidad de obtener información del desempeño de los evaluadores y descartar, posteriormente, aquellos de una relativa menor eficacia. Asimismo, quienes aprueban dicho acceso, manifiestan que esta opinión no es extensible a los casos relativos a proyectos en los cuales cabe una participación como postulantes a los miem bros de los comités.
3.
ADreciaciones y comentarios
Los evaluadores formularon, conforme a lo que se les so licitara en el cuestionario, una gran cantidad de apreciaciones y comentarios sobre los temas tratados, y otros que desbordan el ámbito del Fondo Nacional referidos a materias de política científica. A continuación, y bajo los títulos correspondientes, se enuncian los comentarios de mayor reiteración. 3.1.
Fondo Nacional a)
b)
Convocatoria -
Regularizar fechas de llamados y de resolución de concursos.
-
Aumentar los plazos para postular.
Evaluación -
Establecer exigencias de idoneidad a la membrecía de los comités de evaluación.
-8-
-
Difundir los nombres de los miembros de los comités de evaluación.
-
Creación de un tribunal de apelación que falle las solicitudes de revisión de proyccLos rechazados (reclamos).
-
Evaluar los proyectos sin el conocimi.ento del nombre de sus autores.
-
Informar, a los postulantes, de sus evaluaciones.
c) Orientaciones sugeridas
3.2.
-
Considerar el financiamiento de proyeclos por más de un año.
-
Favorecer proyectos interinstitucionales para mejorar infraestructura.
-
Continuar con el financiamiento a proyectos de modalidad sin límite.
-
Estudiar la conveniencia y reglamentar el pago de honorarios a investigadores.
Política científica -
Establecer una carrera para el investigador.
-
Financiamiento de programas educacionales de post grado.
-
Financiar el Fondo Nacional con prescindencia de los recursos de las Universidades.
-
Apoyo a la investigación universitaria independientemente del Fondo Nacional.
-
Distribución de los recursos conforme a una politica de caracter nacional.
-
Creación de un Fondo que financie proyectos en las regiones.
-9-
IV.
CONCLUSIONES
Los antecedentes recogidos y descritos anteriormente permiten poner de relieve tres aspectos de importancia. Uno, permite concluir la existencia de temas relativos al Fondo sujetos a fuerte disparidad de opiniones en el medio científico nacional. Estos, dicen relación con los criterios que se deberían considerar para la aprobación de los proyectos, ci establecimiento de áreas prioritarias y el acceso, aún en forma limitada, a los resultados del arbitraje por entidades distintas a los Consejos Superiores. Cabría conjeturar la influencia que, en la base de esas disparidades, ejerce el carácter, básico o aplicado, y grado de desarrollo en el país, de las disciplinas a las que se adscriben los investigadores. Por otro lado, se identifica un cierto consenso sobre otras materias. Entre ellas, celebrar un concurso con diferentes modalidades, que coincide con el procedimiento actual, la conveniencia de utilizar evaluadores extranjeros,y normalizar los puntajes de evaluación de los proyectos pertenecientes a una misma disciplina. Un segundo aspecto, se refiere a que las opiniones y pre Ferencias de los evaluadores subrayan,directa e indirectamente, que un incremento en la eficacia de la acción del Fondo requeriría, en forma concomitante, de mayor cobertura en su operación. Lo que es avalado por las preferencias respecto a cubrir necesidades específicas de proyectos en ejecución no financiados por el Fondo, y por las apreciaciones formuladas en torno a las orienta ciones sugeridas para el Fondo. Finalmente, se concluye el hecho de que lds evaluadores estiman necesario un mayor grado de elaboración de la política científica, entendiéndose por esto, un respaldo más profundo y diversificado para promover el desarrollo de la investigación científica y tecnológica del país.
Dactilografia : EDITII MISKIN S.