Herramientas para la evaluación de la actividad investigadora
Indicios de calidad de revistas
-
Índices de impacto: El índice más antiguo y de mayor influencia es el JCR, pero existen otros que pueden incluirse en las solicitudes de Acreditación y Sexenios, como el SJR que tiene mayor cobertura en Ciencias Sociales y recoge un mayor número de revistas que el primero. Para evaluar el impacto de las revistas españolas se crearon hace algunos años índices de impacto, como IN-RECS o RESH, que no han tenido la continuidad deseable, y que están siendo sustituidos por otros nuevos como Dialnet Métricas.
-
Calidad Editorial e inclusión en Bases de Datos: Para aquellas revistas científicas que no tengan índice de impacto existen otros recursos que ofrecen información sobre el cumplimiento de criterios de calidad editorial o su presencia en bases de datos internacionales o nacionales. Pueden consultarse DICE o REHS para revistas nacionales, MIAR o ULRICHSWEB para revistas nacionales e internacionales, y LATINDEX, para revistas españolas, portuguesas y latinoamericanas. En ocasiones estos recursos proporcionan también una clasificación de las revistas de acuerdo con determinados criterios: calidad editorial, presencia en bases de datos, índices de impacto, etc., como es el caso de CIRC o CARHUS + o MIAR. Otras asignan sellos de calidad como la FECYT o ERIH PLUS y por lo tanto recogen únicamente las revistas que cumplen con unos criterios de calidad preestablecidos. En el apéndice de la convocatorias de 2019 (p. 130024) se indican los criterios que debe reunir un medio de difusión de la investigación (revista, libro, actas de congreso) para que las aportaciones que en él se incluyan puedan ser consideradas «de impacto». Las propias revistas en muchos casos, dan información sobre los indicios de calidad: el factor de impacto que tienen y, en su caso, las bases de datos, plataformas y repertorios en los que están indexadas.
-
Para empezar recomendamos consultar:
Ofrece mucha información en una única consulta. Elaborado por la Universidad de Barcelona, incluye revistas de todas las áreas, nacionales e internacionales e indica tanto su presencia en los distintos índices de impacto (JCR, SJR) como su difusión en las principales bases de datos. También señala si la revista esta evaluada en CARHUS Plus+, ERIHPlus, LATINDEX (Catálogo) y Sello de calidad FECYT.
Índices de impacto
Los índices de impacto miden la repercusión que tiene una revista en un campo científico a partir del análisis de las citas de los artículos publicados en ella durante un periodo de tiempo determinado. Los más importantes son el JCR (Journal Citation Reports) que toma sus datos de la Web of Science y el SJR (SCImago Journal & Country Rank) que toma sus datos de Scopus, ambos prescritos por la CNEAI. Exiten también indices nacionales e índices temáticos, como RePEc en el ámbito de la economía. A continuación ofrecemos un listado de los índices más importantes:
JCR - Journal Citation Reports (Thomson Reuters)
Base de Datos multidisciplinar producida por el ISI (Institute for Scientific Information) que ofrece un amplio espectro de aplicaciones bibliométricas y permite evaluar y comparar revistas académicas en ciencias y ciencias sociales.
SJR - SCImago Journal & Country Rank
Portal de evaluación de revistas y países basado en la información contenida en la Base de Datos Scopus (Elsevier) y desarrollado por el grupo de investigación Scimago. Tanto el ranking de revistas como el índice de impacto que ofrece esta plataforma se utilizan cada vez más para evaluar y analizar las publicaciones científicas de cara a las acreditaciones y evaluación de la actividad investigadora.
Nuevos índices de impacto:
Ranking REDIB - Red Iberoamericana de Innovación y Conocimiento Científico
Otras métricas: Índice H
Google Académico ofrece una métrica alternativa, el índice H, creando un ránkin de revistas tanto en inglés -por área de conocimiento- como en español.
Google Scholar Metrics. 100 mejores revistas en Español
Herramienta que establece el índice h de las revistas científicas a partir de las citas recogidas en Google Scholar. Analiza las revistas que han publicado al menos 100 artículos en los últimos 5 años y cuentan con alguna cita. Ordena las publicaciones de distintas áreas por idioma, en función del índice h obtenido en los últimos 5 años. Las de lengua inglesa también aparecen divididas por materias.
Índice H de las revistas científicas españolas según Google Scholar Metrics
El grupo de investigación EC3 de Granada publica anualmente el Índice H de las revistas científicas españolas incluidas en Google Scholar Metrics. En la cuarta edición (2010-2014) se han identificado 1069 revistas, de las que 560 son de Ciencias Sociales. Dentro de cada área, existen listados de revistas acotados por submaterias y ordenados por el índice H.
2007-2011 | 2008-2012 | 2009-2013 | 2010-2014 | 2011-2015 | 2012-2016 | 2013-2017 | 2014-2018
.png "Logo")
Journal Scholar Metrics proporciona rankings específicos de las áreas de Ciencias Sociales y Humanidades, utilizando las citas de Google Scholar Metrics entre 2010 y 2014. Ha sido elaborado por el grupo EC3 de Granada con el fin de solventar la limitación de Google Scholar Metrics, que no permite buscar por materia. Se actualiza una vez al año. Hay 13 categorías dentro de las Ciencias Sociales y permite filtrar por país. Indica también las métricas tras excluir las autocitas.
Calidad Editorial e inclusión en Bases de Datos
Además de valorar la presencia en Scopus o la Web of Science, en los criterios específicos para el subcampo 7.1 de la última convocatoria, en el apartado 3c) se señala que: “Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del comité asesor, un claro indicio de calidad (por ejemplo, el ranking de revistas científicas con sellos de calidad FECYT). En todo caso, la mera indización o indexación de una publicación en una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad)”. Como fuentes se citan también en los campos 10 (Historia, Geografía y Artes) y 11 (Filosofía, Filología y Lingüística) los recursos: Emerging Sources citation Index, CIRC, Ulrichsweb, ERIH Plus, MIAR, CAHRUS y CAPES.
Evaluación de la calidad editorial:
Los siguientes recursos ofrecen listados de revistas que cumplen con un determinado umbral de criterios de calidad editorial establecidos por las instituciones que las mantienen:
Cobertura nacional:
Listado revistas acreditadas FECYT
(La FECYT, con objeto de potenciar la presencia de las publicaciones científicas españolas en las bases de datos internacionales, ha realizado cuatro convocatorias desde el año 2007 para evaluar la calidad editorial y científica de las revistas, otorgándoles un sello de calidad que deben renovar pasados tres años.)
Cobertura internacional:
ERIH Plus - European Reference Index for the Humanities
(European Reference Index for the Humanities (ERIH) es un índice de referencia para las revistas científicas europeas que cumplen criterios de calidad. La versión de 2014 (ERIHPlus) elimina las categorías anteriores y sólo indica si la revista está admitida o no. En la convocatoria de 2019 ha sido incluida como fuente en el campo 11 (Filosofía, Filología y Lingüística))
(Directorio regional de revistas (Latinnoamerica, Caribe, España y Portugal aunque incluye también revistas especializadas en asuntos iberoamericanos editadas en otros países) compuesto por revistas que cumplen una serie de criterios de calidad formales y de calidad (33 para revistas impresas y 36 para revistas electrónicas). Hay que distinguirlo del Directorio Latindex compuesto por revistas científicas pero que no evalúa la calidad de las revistas ni establece criterios para su inclusión.
ESCI (Emerging Sources Citation Index)
(Revistas de calidad con posibilidades de entrar en la Web of Science. En la convocatoria de 2019 se ha incluido como referente de calidad las revistas incluidas en esta base de datos en los campos 10 (Historia, Geografía y Artes) y 11 (Filosofía, Filología y Lingüística) lo que beneficia a muchas revistas españolas que han ingresado en esta base de datos).
Inclusión en bases de datos:
Los siguientes recursos ofrecen información sobre las bases de datos en las que se indiza una determinada revista:
Cobertura internacional:
(Elaborado por la Universidad de Barcelona. Incluye revistas de todas las áreas, nacionales e internacionales. Analiza la presencia de la revista en distintas bases de datos y, en función a su presencia en fuentes secundarias, la antigüedad y la pervivencia de la revista calcula el Índice Compuesto de Difusión Secundaria (ICDS). También señala si la revista esta evaluada en CARHUS Plus+, ERIHPlus, LATINDEX (Catálogo), Sello de calidad FECYT y SJR (SCImago Journal & Country Rank). Es un índice de visibilidad, no de calidad. Está actualizada. En la convocatoria de 2019 ha sido incluida como fuente en el campo 11 (Filosofía, Filología y Lingüística))
(Herramienta muy útil para localizar las bases de datos en los que se indiza una revista, ya que está actualizado y tiene una gran cobertura de títulos.En la convocatoria de 2019 ha sido incluida como fuente en el campo 11 (Filosofía, Filología y Lingüística))
Aplicación de múltiples criterios:
Los siguientes recursos proporcionan también una clasificación de las revistas de acuerdo con diferentes criterios: calidad editorial, presencia en bases de datos, índices de impacto, etc.
(Elaborado por la Universidad de Barcelona. Incluye revistas de todas las áreas, nacionales e internacionales. Analiza la presencia de la revista en distintas bases de datos y, en función a su presencia en fuentes secundarias, la antigüedad y la pervivencia de la revista calcula el Índice Compuesto de Difusión Secundaria (ICDS). También señala si la revista esta evaluada en CARHUS Plus+ 2014, ERIHPlus, LATINDEX (Catálogo), Sello de calidad FECYT y SJR (SCImago Journal & Country Rank). Es un índice de visibilidad, no de calidad. Está actualizada. En la convocatoria de 2019 ha sido incluida como fuente en el campo 11 (Filosofía, Filología y Lingüística))
(Elaborado por la Agència de Gestió d'Ajuts Universitaris i de Recerca, es un sistema de evaluación de revistas de Ciencias Sociales y Humanidades que se publican a nivel local, nacional e internacional . En 2014 se ha publicado una nueva versión, que incorpora el indicador SNIP de Scopus para ordenar las revistas dentro de las cuatro categorías establecidas: A, B, C y D. En la convocatoria de 2019 ha sido incluida como fuente en el campo 11 (Filosofía, Filología y Lingüística))
CIRC -Clasificación Integrada de Revistas Científicas
(Ofrece una clasificación de revistas científicas de Ciencias Sociales y Humanas en función de su calidad integrando los productos de evaluación existentes considerados positivamente por las diferentes agencias de evaluación nacionales como CNEAI o ANECA. Divide a las revistas en 5 categorías (A+, A, B, C, D). Última actualización: 2019. En la convocatoria de 2019 ha sido incluida como fuente en el campo 10 (Historia Geografía y Artes)
Prestigio de la editorial
Existen varias herramientas que nos ofrecen indicios de calidad de editoriales, también son útiles los listados que ofrecen algunas bases de datos, como la Web of Science (Listado Editoriales (Thomson Reuters)
Recursos recomendados Convocatoria 2019
En el Apéndice de la Convocatoria de 2019 se indica, en el caso de libros y capítulos de libros, que se valoraran los publicados en “aquellas editoriales que ocupen posiciones destacadas, en su correspondiente especialidad, en el Scholarly Publishers Indicators (SPI)". Este año también se mantiene la valoración, “a juicio de la comisión, de publicaciones en colecciones de editoriales universitarias que cuenten con el Sello de Calidad en Edición Académica (CEA)". En el Campo 11 (Filosofía, Filología y Lingüistica) también semenciona el IE-CSIC (Índice de Editoriales y Editores CSIC)
SPI Scholarly Publishers Indicators
(Proyecto financiado por el CSIC que ofrece indicadores de calidad para editoriales de Humanidades y Ciencias Sociales, basado en la opinión de expertos españoles. Establece un ranking general de editoriales y rankings por disciplinas. En la convocatoria de 2018 en los campos 7 y 8 solo se valorarán positivamente los libros publicados en editoriales “que se sitúen en su primer cuartil para las editoriales españolas o en el primero y el segundo para las extranjeras” en este directorio).
%20CEA.jpg "Logo")
Sello de Calidad en Edición Académica (CEA).
Este es un sello de calidad auspiciado por FECYT, UNE y ANECA y que en su primera convocatoria de 2017 ha otorgado su distinción a un total de 29 colecciones (no editoriales). Puede consultar la lista de las colecciones reconocidas en esta noticia de la página de la UNE (Unión de Editoriales Universitarias Españolas).
ie-CSIC (Índice de Editoriales y Editores CSIC)
En 2016 el CSIC impulsó la creación de una lista de editoriales categorizadas conforme a su calidad para evaluar la producción científica de sus investigadores. Su primera versión se publicó en 2017 y la segunda en noviembre de 2018. A cada una de 6.681 editoriales se le asigna un valor (alto, medio, bajo) siguiendo criterios homogéneos y utilizando datos obtenidos de Book Citation Index (Clarivate), Scholarly Publishers Indicators (SPI), Scopus Book Titles (Elsevier), Norwegian Register for Scientific Journals, Series and Publishers (NSD) y Publication Forum (FFLS).
Reseñas críticas
Además de las citas, las reseñas se consideran también como un indicador que acredita la calidad de un libro. En algunas bases de datos también se recogen las reseñas que se publican en las revistas científicas especializadas que indizan. Entre otras bases de datos, las reseñas pueden localizarse en los siguientes recursos: Dialnet, Scopus (Elsevier) o Web of Science
Google Scholar(Buscador especializado en documentos académicos como artículos de revistas, libros, tesis, etc. y otros recursos gratuitos en Internet. También ofrece las citas que reciben esos trabajos académicos.)
Presencia en bibliografías y catálogos de bibliotecas universitarias
También se considera un indicio de calidad la presencia en repertorios bibliográficos especializados y catálogos de bibliotecas universitarias:
(Mide la difusión y visibilidad de las editoriales en el ámbito de las Humanidades y Ciencias Sociales a partir del catálogo colectivo de bibliotecas universitarias españolas REBIUN.)
Catálogos de otras bibliotecas
(Enlaces a catálogos de otras bibliotecas tanto nacionales, públicas como universitarias. Ofrece una lista muy completa de de catálogos colectivos de bibliotecas universitarias de todo el mundo en los que consultar la presencia de ejemplares de un libro.)
Indicios de calidad de trabajos y autores
Además de la calidad del medio de publicación, la evaluación de la producción científica también se basa en la repercusión de cada trabajo de investigación. Para ello se utilizan los índices de citas, herramientas que recopilan información sobre las citas bibliográficas recibidas por un trabajo a partir de su publicación. A diferencia de los índices de impacto, únicos para cada revista y año de publicación, las citas recibidas por un trabajo normalmente son acumulativas. En la Convocatoria de 2018 para el Subcampo 7.1 se señala, por primera vez, que "se valorará especialmente el que sean significativamente relevantes las citas que las aportaciones hayan podido recibir"
Citas recibidas por un trabajo
Las citas recibidas por un artículo se pueden localizar en lla Web of Science, Scopus, Google Scholar y en algunas bases de datos especializadas que también ofrecen este dato. Además existen programas informáticos gratuitos como Publish or Perish que analizan las citaciones de los documentos indizados por Google Scholar, además de ofrecer el índice h y otros indicadores.
Web of Science(Portal bibliográfico. Recoge las referencias de las principales publicaciones científicas de cualquier disciplina e incluye las citas de los trabajos.)
Scopus(Portal bibliográfico. Similar a la anterior, además de recoger miles de referencias bibliograficas, permite consultar las citas que reciben los trabajos académicos.)
(Buscador especializado en documentos académicos como artículos de revistas, libros, tesis, etc. y otros recursos gratuitos en Internet. También ofrece las citas que reciben esos trabajos académicos.)
Citas recibidas por un autor
También existe la posibilidad de localizar el conjunto de citas acumuladas por los distintos trabajos firmados por un autor, durante toda su carrera investigadora o un período de tiempo determinado. Se localizan en los índices de citas de la Web of Science, Scopus o Google Scholar, además de en algunos índices nacionales para las áreas de ciencias sociales como IN-RECS (no actualizado). También se pueden encontrar en algunas bases de datos especializadas.
En Web of Science o Scopus es posible obtener además informes de citas detallados de un autor, excluir las autocitas, ver los resultados en forma de mapa de citas o establecer alertas para estar al día de cuando se reciben nuevas citaciones de nuestros trabajos. También permiten vía formulario subsanar posibles errores en la atribución de autoría de los documentos en ellas incluidos.
Índice h
Un sistema muy utilizado de medición de la calidad profesional de los científicos basado en la relevancia de su producción científica es el índice h, que tiene en cuenta el conjunto de los trabajos más citados de un investigador y el número de citas de cada uno de estos trabajos. Según este índice, un investigador tiene un índice h de X cuando X de sus artículos han recibido al menos X citas cada uno. Por ejemplo un índice h=5 significa que un autor tiene 5 artículos que al menos han recibido 5 citas cada uno. El índice h de un investigador puede variar según la fuente consultada: Web of Science (WoS), Scopus o Google Scholar.
Requisitos específicos para el subcampo 7.1: Ciencias Sociales, Políticas, del Comportamiento y Estudios de Género
Se valorarán preferentemente:
-
Los artículos publicados en revistas de reconocida valía, aceptándose como tales las incluidas en los listados por ámbitos científicos del «Journal Citation Reports, JCR (Social Sciences Edition y Science Edition)» .
-
Asimismo (sin que necesariamente se valoren por igual), los artículos publicados en revistas situadas en posiciones relevantes de los listados de Scimago Journal Rank (SJR).
-
Se podrán valorar también, pero nunca del mismo modo, revistas cuya inclusión en bases de datos especializadas constituya, a juicio del Comité asesor, un claro indicio de calidad (por ejemplo, el ranking de revistas científicas con sellos de caslidad FECYT). En todo caso, la mera indización o indexación de una publicación en una base de datos sin que incluya índices de gradación no es en sí misma un indicio de calidad.
-
Los libros y capítulos de libro, especialmente los publicados en editoriales de reconocido prestigio y con un procedimiento selectivo para la aceptación de originales (según sistemas recogidos en el Scholarly Publishers Indicators), y que se sitúen en su primer cuartil para las editoriales españolas o en el primero y el segundo para las extranjeras. Se tendrán en cuenta también el número y carácter de las citas recibidas, las reseñas y críticas en revistas especializadas, la colección y la traducción a otras lenguas. Será imprescindible que el contenido de las aportaciones publicadas en este formato corresponda claramente a resultados de investigación.
- En cualquier caso, el Comité valorará la calidad científica, metodológica y teórica de las aportaciones, su impacto en el área, y su capacidad para innovar en el conocimiento y para generar un genuino progreso científico.
Los requisitos mínimos para poder alcanzar una evaluación positiva en las áreas de:
- Antropología Social, Ciencia Política y de la Administración, Sociología e Historia del Pensamiento y de los Movimientos Sociales, se considera que "con carácter orientador y no excluyente" al menos dos de las cinco aportaciones serán artículos publicados en revistas incluidas en los listados del «Journal Citation Reports (Social Sciences Edition y Science Edition)», así como en revistas situadas en posiciones relevantes de los listados de Scimago Journal Rank (SJR) o que, en los casos concretos que el comité pueda estimar, cuenten con una calidad científica similar a las incluidas en los apartados mencionados y satisfagan los criterios que se especifican en el Apéndice de la Resolución.
- Estudios de Género (y en todas las áreas no mecionadas que pertenezcan al Campo 7) se considera que "con carácter orientador y no excluyente" al menos cuatro de las cinco aportaciones serán artículos publicados en revistas que cumplan los criterios del apartado 3.a), y tres de esas cuatro deberán estar publicadas en una revista de impacto situada en el primer y segundo cuartil de su categoría.
Condiciones
Número de autores: deberá estar justificado por el tema, su complejidad y extensión. Un número desproporcionado de autores podrá reducir la calificación asignada a una aportación. El solicitante debe justificar su contribución a cada una de las aportaciones en coautoría.
La valoración final dependerá del conjunto de las aportaciones presentadas. Se valorará especialmente que sean significativamente relevantes las citas que éstas hayan podido recibir.
Se valora desfavorablemente:
-
Reiterada publicación de trabajos en revistas o editoriales pertenecientes o asociadas al mismo organismo donde el solicitante realiza su investigación.
-
Cuando las distintas aportaciones se dupliquen o resulten iterativas sin efectiva innovación.
-
Cuando más de una contribución forme parte de un mismo libro o número de revista.
No se consideran:
-
Los libros de texto o manuales.
-
Las obras de divulgación.
-
Las enciclopedias (entradas o edición).
-
Las actas de congresos, ya sean publicadas en libro o en revistas como proceedings.
-
Las reseñas y recensiones.
-
Las notas editoriales, las simples traducciones, presentaciones o prólogos que no sean estudio crítico de una obra, así como las ediciones de textos clásicos que no tengan clara relevancia e incluyan estudios preliminares y notas fruto de una investigación personal y supongan una aportación apreciable a su campo temático.
Indicios de calidad en artículos
Para verificar la calidad de los artículos presentados como aportaciones, se tendrán en cuenta, entre otros, los siguientes indicadores:
-
Número de citas recibidas
-
Índices de Impacto
-
Inclusión en Bases de Datos nacionales e internacionales
Indicios de calidad en libros y capítulos de libros
Para poder considerar como aportaciones libros y capítulos de libros, éstos deben constituir una referencia en su área por su calidad científica. Para verificar su calidad se tendrán en cuenta los siguientes indicadores:
-
Publicados en editoriales de reconocido prestigio y con un procedimiento selectivo para la aceptación de originales (según sistemas recogidos en el Scholarly Publishers Indicators), y que se sitúen en su primer cuartil para las editoriales españolas o en el primero y el segundo para las extranjeras.
- Publicados en colecciones de editoriales universitarias que cuenten con el sello de Calidad en Edicicón Académica (CEA) (Apendice, apartado C)
Se tendrán en cuenta también:
-
Número de citas recibidas
-
Calidad de la colección en la que se publica
-
Reseñas y críticas recibidas en revistas especializadas
-
Traducciones a otras lenguas
No puede estar publicado por la misma institución en la que trabaja el investigador, salvo que ésta satisfaga los criterios especificados en el Apéndice 1 de la CNEAI.
Dudas y aclaraciones
Cómo introducir el índice de impacto en las convocatorias de Sexenios
En el formulario de las convocatorias de Sexenios y Acreditación, se debe indicar el índice de impacto de la revista, cuartil o tercil donde está la revista, y la posición que ocupa en su categoría en relación con el número total de revistas incluidas. No obstante se pueden encontrar estos casos:
-
La revista no tiene factor de impacto en el año de publicación del artículo. Elegir el módulo Revistas sin ICR.
-
La revista no tiene factor de impacto en el año de publicación del artículo, pero en años posteriores sí lo ha conseguido.Elegir el módulo Revistas sin ICR, y en el apartado Otros indicios, incluir el factor de impacto más cercano al año de publicación de nuestro artículo.
-
La revista tiene factor de impacto en el año de publicación del artículo. Elegir el módulo Revistas con ICR y reseñar el factor de impacto de ese año. Journal Citation Report empezó a editarse online a partir de 1997, pero existe impreso desde el año 1975.
En Acreditaciones y Sexenios, se puede indicar como evidencia de calidad que nuestra revista aparece en la Web of Science, consultando:
-
Master Journal List: listados de revistas indexadas en la Web of Science.
-
ESCI (Emerging Sources Citation Index): Revistas de calidad con grandes posibilidades de entrar en la Web of Science.
Número de citas recibidas
En Acreditaciones y Sexenios piden el número de citas totales. Cuando se rastrean las citas en diferentes fuentes (WOS, Scopus, Google Scholar, bases de datos especializadas...) hay que comprobar que las citas que se suman son diferentes.
Guías temáticas de recursos
Ciencias Políticas y Relaciones Internacionales
Gestión y Administración Pública
Guías de apoyo a la investigación
Herramientas para la evaluación de la actividad investigadora
Herramientas para la difusión y visibilidad de la investigación