Las prácticas de evaluación del trabajo científico tienen una historia reciente que responde no sólo a necesidades propias del mundo académico, sino a cambios conceptuales de carácter político, económico y social. Dos desarrollos en las prácticas de evaluación del trabajo académico, tanto en el orden individual como en el institucional y aun en el orden nacional, son de particular importancia en este contexto: la evaluación por pares y la creciente exigencia social por la rendición de cuentas. En esta nota repasamos el contexto de la ciencia internacional y su evaluación, y consideramos las políticas públicas en México asociadas fundamentalmente con el CONACyT.
En Estados Unidos, antes de la Segunda Guerra Mundial, la investigación científica se llevaba a cabo de manera aislada por profesores universitarios en su tiempo libre, o bien, en empresas privadas. En 1933, Herbert Hoover estimaba que, entre todas sus fuentes, Estados Unidos estaba gastando anualmente 200 millones de dólares en aplicaciones de la ciencia y sólo 10 millones en investigación básica. En Europa, la ciencia básica podía obtener recursos de patrocinio comercial o principesco o a través de las universidades sostenidas por el Estado. En Estados Unidos, el Congreso no había encontrado razones para sostener la educación pública, la industria estaba lejos de reconocer la utilidad de la ciencia y el gobierno estaba interesado en resultados concretos, no en la generación de conocimiento básico. Baste este dato como indicador: hasta 1939, los científicos de Estados Unidos habían recibido sólo 15 de los 128 premios Nobel en medicina, física y química, comparados con los 34 de 67 que recibieron entre 1943 y 1956.
En noviembre de 1939, meses después de la carta de Albert Einstein advirtiendo a Franklin Roosevelt del peligro que representaba para el mundo la creación de la bomba atómica por la Alemania nazi, un comité especial reportaba a Roosevelt que "la energía atómica era sólo una posibilidad" y se concedían 6 mil dólares para investigar esta línea. En ese momento, Vannevar Bush, un ingeniero eléctrico y pionero del diseño de computadoras que dirigía la National Advisory Committee for Aeronautics (NACA), precursora de la NASA, obtuvo 20 mil dólares para la investigación en materia de defensa asociada con la fisión atómica e iniciaba su trabajo político para convencer al gobierno de la importancia de estas investigaciones. De esta manera, se establecían las bases para la fundación, en junio de 1940, de la Office of Scientific Research and Development, dirigida por Bush, con la aprobación de Roosevelt. Esta oficina podía contratar trabajo de investigadores de universidades. El meollo de este contrato era reconciliar la necesidad del científico de unaindependencia absoluta con la seguridad del financiamiento de parte del gobierno. El científico contratado sólo se comprometía a realizar investigaciones acerca de un tema y presentar un reporte de resultados en cierta fecha. Ningún intento se hacía en dictar el método de tratar el problema. Al año siguiente se establecían más de 50 contratos con universidades e industrias por más de un millón de dólares cada uno.
El programa para la ciencia articulado y defendido por los grandes filósofos y científicos de la Ilustración (desde Bacon y Descartes a Voltaire y Jefferson) y, en tiempos modernos, por Vannevar Bush, ha tenido un éxito rotundo. Este programa ponía de manifiesto el vínculo entre el conocimiento científico de los fenómenos de la naturaleza y el control tecnológico de la naturaleza en beneficio de la sociedad. Desde hace algunas décadas, pero cada día de manera más notable, los asuntos humanos están mediados en todos los niveles y a cualquier escala por tecnología de base científica y por la actividad económica que ésta genera.
Desde el final de la Segunda Guerra Mundial hasta el lanzamiento del Sputnik por la Unión Soviética hace 50 años, el 80% de toda la investigación financiada por el gobierno de Estados Unidos se justificaba en términos de la seguridad nacional. La creación de la universidad norteamericana de investigación y la explosión industrial de alta tecnología fue impulsada por el financiamiento del Departamento de Defensa. El lanzamiento del Sputnik produjo una imperiosa necesidad de revisar el nivel de la educación pública y el papel de la investigación de carácter civil. Sin embargo, la mayor parte de los recursos invertidos durante la década siguiente fue para el programa espacial tripulado que, en gran medida, era un apéndice de los esfuerzos de defensa derivados de la Guerra Fría.
Mientras la geopolítica justificaba un enfoque "arriba-abajo" para el establecimiento de prioridades en investigación y desarrollo, la ideología de la investigación básica exigía que estas prioridades se establecieran de abajo hacia arriba, determinando los propios científicos cuáles serían las líneas de investigación más fructíferas con base en el principio de la evaluación entre pares en función de la calidad de las propuestas. Así han funcionado siempre agencias como la National Science Foundation y los National Health Institutes. En gran medida, la idea romántica del científico explorando las fronteras del conocimiento se ve fuertemente limitada por la burocracia y las decisiones políticas acerca de las prioridades científicas tanto en el ámbito del gobierno, como en el de las universidades. Dentro de estas limitaciones, no se puede poner en duda la validez del esquema del desarrollo de la ciencia básica basado en la noción de que los científicos sean autónomos y financiados por el Estado.
Es de gran importancia entender dos de las técnicas administrativas desarrolladas para entender la relación ciencia-gobierno a partir de la Segunda Guerra Mundial. Estas técnicas son la revisión de pares y el sistema de proyectos. Representan para la ciencia básica lo que la empresa libre representa para el capitalismo: son útiles, apreciados, convenientes en caso de polémicas y, en muchas ocasiones, irrelevantes.
El sistema de revisión por pares fue desarrollado por fundaciones filantrópicas antes de la Segunda Guerra Mundial. Está basado en la idea de que los científicos son los más calificados para evaluar proyectos de otros científicos. Este sistema ha sido criticado por favorecer la ortodoxia y desfavorecer a los científicos jóvenes, pero sus principios no han sido puestos en duda. Lo mismo puede decirse del sistema complementario: el sistema de proyectos; el cual se basa en la ficción de que el gobierno apoya al científico que presenta el proyecto, no a la institución a la que éste pertenece. Este sistema de proyectos es todavía considerado por muchos como fundamental para el progreso de la ciencia pero cada vez es más cuestionado por algunos. Así, en los años sesenta, el entonces presidente de la National Academy of Sciences, Frederick Seitz, decía que "los más graves problemas del sistema de proyectos se centran, en primer lugar, en el apoyo selectivo que se da a los proyectos con base en los prejuicios prevalecientes en la comunidad científica; en segundo lugar, a que se ignora el papel de la administración académica de las universidades y, finalmente, en que ha propiciado que los investigadores ignoren completamente su papel como maestros de licenciatura".
Durante el siglo XX se ha producido, al menos en los países desarrollados, una vinculación cada vez mayor de la ciencia con la formulación de las políticas públicas. Esta nueva función del conocimiento científico ha conducido a la aparición de una nueva actividad científica con características particulares, en particular, la llamada ciencia reguladora (o dirigida), en contraste con la clásica ciencia académica.
La práctica de la ciencia académica se produce en ambientes de consenso, con estándares de control metodológico por pares y con base en la calidad de los proyectos. En la ciencia reguladora, por el contrario, las normas de evaluación son más difusas, controvertidas y sujetas a consideraciones políticas. En este último caso, las controversias entre expertos es común y se dan en ocasiones debates de carácter público.
El poder político y económico, junto con el asesoramiento especializado, define a los agentes sociales tradicionalmente participantes en el ámbito científico: la administración pública en sus diferentes niveles: nacional, local y también supranacional, la banca y la industria, y los expertos al servicio de intereses públicos o privados. Pero el mundo de las décadas recientes es diferente al de la mayor parte del siglo XX. La democratización está alcanzando prácticamente todos los ámbitos de la administración pública, incluidas la ciencia y la tecnología. En este contexto, tenemos que tener en cuenta hoy a otros agentes sociales relevantes: los ciudadanos y los grupos sociales interesados.
Desde el punto de vista de la opinión pública — al menos en los países desarrollados — en los años sesenta del siglo XX, parecía ser aceptado mayoritariamente el valor social, cultural y económico de la ciencia. Al mismo tiempo, la cultura popular comenzaba a aceptar que la empresa científica debía ser puesta bajo escrutinio público de manera sistemática y desinteresada.
En julio de 1999, se realizaron en Budapest el Congreso Mundial sobre la Ciencia patrocinado por la UNESCO y el International Council for Science (ICSU) con la participación de delegados de 140 países y representantes de numerosas organizaciones vinculadas con la ciencia. El Congreso se clausuró con la aprobación por el plenario de una Declaración sobre la Ciencia y el Uso del Conocimiento Científico en el cual se pretendía articular el nuevo contrato social para la ciencia.
¿De qué modo puede abrirse la ciencia al escrutinio social? Ésta es la pregunta clave a considerar en el diseño del nuevo contrato social para la ciencia.
El nuevo contrato social para la ciencia pretende incorporar la participación de todos los agentes sociales, debe basarse en el acercamiento entre ciencia y sociedad, en estimular la ciencia como herramienta indispensable en el mundo moderno pero abriendo ésta a la comprensión y los valores de los ciudadanos. El desafío es construir los instrumentos y mecanismos institucionales que hagan posible un diálogo efectivo entre los diversos actores involucrados en los procesos de investigación científica y toma de decisiones políticas. A pesar de la magnitud del reto y, por utilizar una metáfora de Federico Mayor, director general de la UNESCO durante el Congreso de Budapest: "se trata de un baile del que nadie puede quedar excluido".
Sin embargo, este proceso de democratización y transparencia tiene efectos diversos en el ámbito de la ciencia. La propia comunidad científica informa de una crisis moral y de confianza en el ámbito académico, debido a la pérdida de su autonomía motivada por la creciente demanda de responsabilidad por parte del público y la disolución de la comunidad debido a la competencia por obtener reconocimiento y financiamiento.
Hay una tensión inherente a la relación entre los científicos y el Estado democrático. Tensión que resulta del entrelazamiento de dos sentimientos que, a su manera, son igualmente persuasivos y políticamente correctos. De un lado, tenemos la convicción de que la investigación científica puede obtener sus mejores frutos a favor de la sociedad si son los propios científicos los que determinan que se ha de estudiar basándose en criterios de calidad y en la propia experiencia científica. En palabras de Michael Polanyi, a principios del siglo XX: "La búsqueda del conocimiento científico sólo puede ser organizada dando completa independencia a todos los científicos maduros. La función de las autoridades públicas no es planear la investigación, sino crear las oportunidades para su búsqueda: todo lo que tienen que hacer es dar facilidades a todo buen científico para que siga sus propios intereses en la ciencia". O bien, en palabras de Alan Watermann, ex director de la Nacional Science Foundation: "La investigación básica es una actividad extremadamente especializada; no es un campo donde el juicio del hombre común tenga validez. Consecuentemente, su planeación y evaluación debe quedar en manos de científicos expertos y competentes". Por otro lado, las sociedades democráticas tienen razones legítimas para preocuparse por ese estado de cosas y sentirse ofendidas por la falta de rendición de cuentas de parte de estos grupos de expertos.
Aunque estamos lejos aún (en el mundo y, por supuesto, más lejos en México que en los países más desarrollados) de la utópica sociedad del conocimiento, el impacto de la ciencia comienza a ser claro en algunos temas y lugares. Este impacto se debe de clarificar en los años por venir. El primer ejemplo cuantificado del impacto de la ciencia es probablemente el impresionante estudio publicado en 2012 sobre las matemáticas en el Reino Unido:
The report by consulting firm Deloitte, is the first study of its kind to quantify the economic value of mathematics research in terms of the employment it supports and gross added value of mathematics to the UK economy. The report notes the excellence of the UK mathematics research base and estimates the contribution of maths to the UK economy in 2010 to be 2.8 million in employment terms (around 10 per cent of all jobs in the UK) and £208 billion in terms of GVA (around 16 per cent of total UK GVA). It also illustrates the contribution that mathematics makes to the development of a skilled workforce, the production of high-end, high-value products and the development of quality processes. The generation and application of maths is seen to help drive economic growth and develop greater prosperity with impact across sectors such as banking and finance, computer services, pharmaceutical, construction and public administration.
La ciencia en México, como práctica profesional moderna, es muy joven. Apenas hace 60 años se abrían los primeros espacios en las facultades de la UNAM, se establecían los primeros centros de investigación y se creaban las primeras sociedades científicas. Actualmente, el sistema científico se ha extendido en el país, pero todavía bajo la cobija protectora de las universidades públicas.
En diciembre de 1970, se crea el Consejo Nacional de Ciencia y Tecnología. Su primer director, el Ing. Eugenio Méndez Docurro contó para los preparativos de su fundación con la cercana colaboración de la Academia de la Investigación Científica y del Instituto Nacional de la Investigación Científica (predecesor institucional de CONACyT).
El primer programa nacional de CONACyT, históricamente y por su relevancia, fue el programa de becas que, a la fecha, ha beneficiado a más de 100 mil estudiantes de posgrado y ha crecido hasta su máximo histórico actual por encima de los 30 mil becarios. En CONACyT se gesta el primer programa de apoyo a los proyectos de investigación, programa que actualmente financia miles de proyectos. Como parte de la Secretaría de Educación y de la desaparecida Secretaría de Programación y Presupuesto, CONACyT crea un sistema de centros de investigación multidisciplinario bien distribuido en el territorio nacional. Este sistema de centros CONACyT es la segunda fuerza de investigación científica del país, luego de la UNAM, y la primera en innovación tecnológica.
Momento de gran expansión educativa y científica, los años setenta se verían seguidos por las crisis de los ochenta. Crisis que se aprovecha para proponer y diseñar el Sistema Nacional de Investigadores. El Sistema Nacional de Investigadores — el famoso SNI — fue creado por un acuerdo presidencial publicado en el Diario Oficial de la Federación el 26 de julio de 1984 para reconocer la labor de las personas dedicadas a producir el conocimiento científico y tecnológico. El SNI fue planteado como una respuesta urgente a la crisis económica por la que entonces atravesaba el país y que amenazaba, a causa de la fuga de cerebros al extranjero o su ocupación en otros asuntos en territorio mexicano, la existencia misma de la investigación. Así nace el SNI para ser, al mismo tiempo que un apoyo económico, un reconocimiento académico para los investigadores. Hoy, a 30 años de su fundación, el SNI se ha convertido en pieza fundamental del sistema de educación superior y científica del país, de la evaluación de los investigadores, de la acreditación de los posgrados, del nivel de las universidades.
Cuando el SNI inicia sus labores son sólo 1,200 los investigadores que reciben el nombramiento, actualmente hay más de 18,000 investigadores nacionales. De hecho, la producción de artículos científicos firmados por autores mexicanos ha tenido un crecimiento aun mayor que el de los miembros del SNI. Así, por el incremento anual del volumen de producción científica, México ocupa la séptima posición mundial, arriba de todos los países de Latinoamérica, Estados Unidos y Europa, salvo Portugal. Por otro lado, en 1984, el 80% de los investigadores nacionales laboraban en el área metropolitana de la Ciudad de México mientras que, en la actualidad, sólo el 45% lo hace. Esto no es casual pues, desde sus orígenes, el SNI premia financieramente a los investigadores residentes fuera de la Ciudad de México.
Desde un principio, el SNI estableció la evaluación por pares como el método básico de evaluación. Así, las comisiones dictaminadoras, como grupo experto, determina el nivel de cada investigador de acuerdo con el análisis colegiado de sus productos de investigación, de su curriculum y, también, de su reputación, intentando acercarse a la mayor objetividad y justicia posibles. Pero, ¿cómo lograr objetividad? ¿cómo evitar caer en cuestionables dictámenes subjetivos?
Ante este dilema, muchas comisiones dictaminadoras optan por cuantificar el desempeño de los científicos dando mayor jerarquía a aquellos que publican más artículos y son más citados. Equivocadamente, esta decisión interna de algunas comisiones dictaminadoras se interpreta como decisión (cuando no como imposición) por parte de las autoridades de CONACyT. Así, por ejemplo, los investigadores señalaron en Interciencia 34 (nov. 2009) que "en México, una institución federal centralizada usa tales estadísticas bibliométricas para evaluar el desempeño de todos los científicos del país". Contrariamente a esta afirmación, al menos en los últimos años, CONACyT no promueve el uso de indicadores bibliométricos. De hecho, en numerosos foros y artículos, el autor ha señalado el peligro de usar los parámetros bibliométricos como método preferente en la evaluación de individuos.
Otra crítica, frecuentemente expresada (pero de difícil solución) es la señalada por Juliana González en su discurso al ser nombrada investigadora nacional emérita:
Refiero ahora otro de los riesgos del SNI que lo es, sin embargo, de signo diferente, y es el riesgo de que el reconocimiento y estímulo sean otorgados a la investigación y a la generación de nuevos conocimientos y nuevas tecnologías, y no sea así en las actividades más específicas de enseñanza superior. Este riesgo puede propiciar un cierto desequilibrio entre las dos vertientes de la vida académica, cuando se desdeñen y desatiendan las tareas educativas, particularmente las de los estudios de licenciatura, centrales en la Educación Superior, y básicos a su vez, para la generación de futuros investigadores.
Muchas, tal vez demasiadas, expectativas se cargan sobre los hombros del SNI: coadyuvar en el desarrollo del sistema tecnológico del país, ayudar a la solución de los grandes y urgentes problemas nacionales, apoyar el desarrollo de las instituciones y las regiones del país menos favorecidas, definir el rumbo del quehacer científico en México, facilitar esquemas de retiro en instituciones de educación superior, promover una mayor trascendencia social de la actividad científica y tecnológica.
Desgraciadamente, en los últimos años, prevalece la impresión de que los fines del SNI se han vuelto difusos, ya que es más importante para los investigadores publicar para alcanzar mejores niveles en el sistema que hacerlo con el fin de entender un fenómeno y contribuir a la solución de problemas importantes. Esta situación fue repetidamente identificada durante el Congreso de miembros del SNI que organizamos hace poco más de un año, al igual que el problema de una evaluación que privilegia la cantidad sobre la calidad del trabajo. Pero advierto, éste no es un problema sencillo de solucionar cuando todo el sistema universitario está construido con las mismas bases de evaluación cuantitativa.
Otro esquema importante de apoyo a la ciencia presenta síntomas de desgaste: el sistema de apoyo a los proyectos científicos. A través de diversos programas (fondos sectoriales de CONACyT, fondos mixtos en acuerdo con los gobiernos estatales, fondos de algunas secretarías de estado, programas universitarios, entre otros), el sistema público canaliza recursos a proyectos específicos presentados por científicos o grupos de ellos para su evaluación por comités de pares. Estos recursos son la fuente principal de financiamiento de proyectos originales, proyectos no establecidos como compromisos institucionales por parte de las universidades públicas. Aunque los montos de los programas no parecen ser muy altos, estos apoyos han logrado consolidar algunos proyectos de investigación y desarrollo en centros públicos. Probablemente más de lo que la comunidad científica está dispuesta a reconocer. Así, leemos en un editorial de Nature Medicine 11, 907 (2005):
Thus, the amount of money available per scientist in the two countries (US and Mexico) turns out to be rather similar. In fact, a visit to almost any of the research institutes of the Universidad Nacional Autónoma de México, the largest university in the country and one of the largest in the world, illustrates this conclusion: the quality of their equipment rivals what one finds in US universities and is often better than what can be found in Europe.
Laboratorios de alto nivel en México los hay, sí, pero en unas cuantas universidades. Grupos de investigación competitivos internacionalmente, los hay, sí, pero se cuentan con los dedos de las manos. Nuestra situación es todavía la descrita por Patricio Garrahan para el caso argentino a la llegada del milenio: "mi país tiene científicos, pero no tiene ciencia". Ciencia entendida como el aparato que produce y usa el conocimiento para beneficio social y económico de la nación. México, la décima u onceava economía del planeta, no ha encontrado la manera de invertir debidamente en ciencia y desarrollo para crear este aparato. Sobre este rezago, leemos en octubre de 2013 en Scientific American:
In almost every measurable way, Mexico's once dominant science institutions have stood still as those in other countries pass them by. Argentina and Chile are nipping at its heels. Brazil spends three times as much on science and technology, and its universities are now ranked higher than Mexico's. South Korea sends 10 times as many students per capita to U.S. universities, and Turkey publishes almost twice as much.
Puesto que las agencias de financiamiento y promoción de la ciencia y la técnica premian con mejores becas y fondos a los científicos que publican en las revistas científicas de mayor impacto, CONACyT ha buscado promover el proceso de indización en el SCI de las revistas científicas mexicanas de calidad, y en general, apoyar los esfuerzos de dar mayor calidad a las publicaciones locales.
Así, CONACyT inició la integración del Índice de revistas mexicanas de investigación científica y tecnológica. La primera convocatoria de 1993 incluyó 86 revistas científicas mexicanas; la de 1995 incluyó 68 revistas y la versión de 1997 del Índice registró 61 revistas. El Índice fue actualizado a lo largo de los años y, en 2007, se inició el otorgamiento de recursos para apoyar algunos de los procesos de edición de las correspondientes revistas. A partir de 2009, todas las revistas del Índice tienen acceso abierto (open access) de su acervo completo y se puede tener acceso a través de la página principal de CONACyT. Actualmente, el Índice consta de 99 revistas.
Por supuesto, CONACyT no está interesado en competir con el SCI, sino en promover que el grupo de las mejores revistas mexicanas de investigación científica y tecnológica logre mayor visibilidad nacional e internacional y que, en un futuro cercano, sean incorporadas a los mejores índices internacionales. Además, el Índice provee a los investigadores de una referencia cualitativa y objetiva para seleccionar las revistas en dónde publicar su trabajo; para las instituciones mexicanas constituye un patrón externo y objetivo del que pueden auxiliarse para evaluar a sus académicos, con la garantía de que los artículos publicados pasaron por un proceso de arbitraje riguroso y es una referencia general en las evaluaciones realizadas por las comisiones dictaminadoras internas de las instituciones, y los comités que otorgan apoyos, incluyendo a los del CONACyT.
Los criterios de evaluación utilizados por el comité de revistas científicas del CONACyT para integrar el Índice contempla dos grandes rubros: la calidad del contenido y varios aspectos asociados con el formato de publicación. Sobre el primer punto, el criterio más importante para incorporar una revista al Índice es que su contenido incluya esencialmente artículos que sean el producto de la investigación con resultados originales. La calidad del contenido de la revista debe estar respaldado por un consejo editorial integrado por investigadores de prestigio reconocido que, de preferencia, tenga representación multiinstitucional e internacional. La revista debe contar con un proceso de evaluación del material publicado mediante el sistema de arbitraje, que debe ser riguroso, especializado y documentado, con la participación de investigadores ajenos al consejo editorial, tanto de la comunidad nacional como de la internacional.
En otro orden de ideas, CONACyT ha logrado la conformación de un Consorcio para el Acceso a Publicaciones Periódicas que permita realizar la compra de revistas electrónicas de forma asociada. Esto permitirá optimizar el uso de los recursos financieros que los centros invierten individualmente en la adquisición de derechos y servicios de acceso a la información en formato electrónico y expandir los servicios bibliotecarios con dichos recursos a regiones con grandes limitaciones de acceso a la información científica y tecnológica. Adicionalmente, se busca simplificar los trámites administrativos involucrados en la negociación con los proveedores y la contratación de los servicios.
