OBSERVARE
Universidade Autónoma de Lisboa
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O FATOR DE IMPACTO COMO LEGITIMADOR DO CONHECIMENTO CIENTÍFICO
PRODUZIDO. UMA REVISÃO DA LITERATURA
Tiago Lima Quintanilha
Tiago.lima@obercom.pt
Doutorando em Ciências da Comunicação no ISCTE-IUL (Portugal) e bolseiro de doutoramento
FCT. Actua nas áreas das Ciências Sociais, com ênfase em ciências da comunicação, ciência
aberta e estudos de Jornalismo. Foi gestor de uma revista científica internacional, de 2009 a
2016. Frequenta o terceiro ano do curso de doutoramento em Ciências da Comunicação, no
ISCTE-IUL. Recebeu dois prémios de mérito académico. É autor e coautor de três livros, 12
capítulos de livros, dez artigos em revistas académicas internacionais e nacionais, e mais de 60
relatórios de pesquisa nas áreas dos media e comunicação. Colaborou com o Observatório da
Comunicação, com o SOCIUS, Centro de Investigação em Sociologia Económica e das
Organizações no ISEG-UL, com a Entidade Reguladora para a Comunicação Social e com o
Reuters Institute for the Study of Journalism no projecto Digital News Report Portugal (2015 &
2016).
Gustavo Cardoso
Gustavo.cardoso@iscte-iul.pt
Professor catedrático no ISCTE-Instituto Universitário de Lisboa (Portugal). Investigador
integrado no CIES-IUL, investigador associado no Le collège d´etudes mondiales.
Editor da revista OBS*Observatorio.
Resumo
O fator de impacto (IF) é hoje valorizado pelos investigadores e cientistas nos seus processos
e estratégias de publicação, para fazer face às lógicas de recompensa académica definidoras
das progressões de carreiras e alocação de fundos para investigação. Através da revisão de
literatura, pretendemos neste texto explorar os diferentes limites ou alcances definidos pela
comunidade académica para o fator de impacto, percebendo de igual forma em que sentido
se processa a discussão e as características definidoras de um estado da arte que aponta
critérios ambíguos inerentes ao fator de impacto instituído como o atual legitimador do
conhecimento científico produzido.
Palavras chave
Fator de impacto; legitimação; produção de conhecimento científico; métricas de citação
Como citar este artigo
Quintanilha, Tiago Lima, Cardoso, Gustavo (2018). "O fator de impacto como legitimador do
conhecimento científico produzido. Uma revisão da literatura". JANUS.NET e-journal of
International Relations, Vol. 9, N.º 2, Novembro 2018-Abril 2019. Consultado [online] em
data da última consulta, https://doi.org/10.26619/1647-7251.9.2.3
Artigo recebido em 2 de Fevereiro de 2018 e aceite para publicação em 13 de Outubro
de 2018
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
35
O FATOR DE IMPACTO COMO LEGITIMADOR DO CONHECIMENTO CIENTÍFICO
PRODUZIDO. UMA REVISÃO DA LITERATURA
Tiago Lima Quintanilha
Gustavo Cardoso
The quest to quantify everything undermines higher education
(Muller, 2018)
Introdução
Numa altura em que se discutem os principais desafios colocados ao modelo de Ciência
Aberta (Priem, 2012; Bare, 2014; Quintanilha, 2015; Berghmans, 2015), ou a derivação
de um fenómeno de Res Pública Científica (Cardoso et al, 2009) para lógicas de
enviesamento do movimento de acesso aberto (Open Access) a partir da sua apropriação
pela indústria paralela e parasitária (Quintanilha, 2015), interessa refletir sobre um dos
pontos cruciais que são parte integrante desta derivação.
Num quadro de “certificação independente ao meio de registo” (Borges, 2006: 72), onde
a pertença aos principais indexadores (Thomson Reuters, Scopus) encerra os critérios
mais importantes de acreditação dos periódicos científicos, o fator de impacto IF
(Garfield, 1955; Borges, 2006; Johnstone, 2007; Saarela, 2016; Seglen, 1997;
Greenwood, 2007), pertinentemente designado por fator de influência por Sygocki e
Korzeniewska (2018), assume-se como o grande critério definidor da paisagem da
publicação científica mundial. Outros autores, como Muller (2018), chamam-lhe a tirania
das métricas, ao passo que Garfield (2006), cinco décadas depois de ter criado o
conceito, utiliza os neologismos Cienciometria e Jornalologia para definir o momento.
Este fator de impacto, funcionando como uma espécie de filtro que separa quase
discricionariamente o conhecimento produzido relevante do restante conhecimento
produzido, constitui-se assim como o grande e atual legitimador do conhecimento
científico produzido, ao mesmo tempo que, directa ou indirectamente, contribui para o
aprisionamento do modelo de ciência aberta. A Thomson Reuters/Web of
Science/Clarivate Analytics, através do seu Journal Citation Reports e a Scopus Elsevier,
através do seu SJR (SCImago Journal Rank) e SNIP (Source Normalized per Paper),
controlam as grandes métricas associadas à publicação de conhecimento científico. Estas
métricas, que, pela forma como foram instituídas, acabam por contribuir para fatores de
impacto e influência superiores em periódicos científicos maioritariamente de origem
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
36
anglófona, controlados pelas grandes editoras (Sage, Wiley, Taylor & Francis, Routledge,
etc), que por sua vez impõem dinâmicas de pagamento por consulta, ajudam a perverter
e a comprometer fortemente a ideia de democratização de um modelo de ciência aberta
mais inclusivo, impondo uma aceitação quase tácita de estruturas de legitimação de um
grande número de periódicos extremamente requisitados que, pelo seu modelo de
funcionamento e acesso fechado, antagonizam o modelo de Ciência Aberta. Num artigo
da revista Science
1
é referido que estas quantias exorbitantes aplicadas pelas grandes
editoras que detêm os periódicos científicos com maior fator de impacto, surgem como
uma espécie de corpo disruptivo à continuidade do modelo de acesso aberto, no sentido
em que criam uma pressão tremenda ao futuro da publicação académica.
O fator de impacto, dependendo em larga medida, no seu cálculo, do número de citações
que um artigo ou publicação geram, é determinado a montante pela posição hegemónica
da anglofonia e pelos detentores de maior capital simbólico na academia, adaptando o
conceito de Bourdieu (1994). Por outras palavras, um artigo publicado em inglês terá por
exemplo maior possibilidade de ser citado, num contexto de construção científica
cumulativa (Quintanilha, 2015), em ligação de textos com outros textos, blocos de
significação e unidades de leitura ou Lexia (Barthes, 1972).
No mesmo sentido, Saarela (2016: 699) refere que os top journals ou core journals
daquilo a que designa por “large disciplines” têm tipicamente níveis de citação superiores,
consubstanciados em fatores de impacto maiores, por comparação com os top journals
das designadas “smaller disciplines” (Saarela, 2016). Howard (2009) chama-lhes a A-list
da publicação académica, ao passo que Adler, Ewing e Taylor (2009) nos recordam que,
em alguns campos científicos, como as ciências biomédicas, a maioria dos artigos são
mais frequentemente citados pouco tempo depois da sua publicação, ao passo que
noutras disciplinas, como a matemática, a maioria das citações começam a surgir dois
anos após a publicação dos artigos. Isto leva a que a algumas instituições, como a
Universidade da Austrália Ocidental
2
, alertem para o facto de que as métricas poderão
ser benéficas para validação de conhecimento produzido por periódicos nas áreas das
ciências naturais, medicina e ciências sociais, e totalmente irrelevantes nas áreas das
artes e humanidades.
Por outro lado, e como referido, a entrada neste sistema de leitura dos fatores de impacto
só é possível, em última análise, pela agregação das revistas aos principais indexadores
mundiais, alguns dos quais controlados pelas maiores editoras mundiais (como é o caso
da Scopus pela Elsevier). Dito de outra forma, o processo definidor do fator de impacto
de uma publicação depende, em primeira instância, da entrada e associação dessa
publicação aos dois principais indexadores mundiais (Thomson Reuters Web of Science e
Scopus Elsevier). O sinal mais evidente deste enviesamento associado às organizações
que detêm os principais fatores de impacto (i.e. Reuters/Web of Science/Clarivate
Analytics – Journal Citation Reports) é dado aquando da candidatura dos próprios
periódicos aos principais indexadores. Com a Web of Science, por exemplo, um dos
grandes critérios usados para a aceitação dos periódicos é a publicação de artigos
exclusivamente em inglês, em detrimento da qualidade que possa estar associada aos
artigos publicados pelo periódico proponente. A razão parece óbvia: artigos
1
http://www.sciencemag.org/news/2017/08/bold-open-access-push-germany-could-change-future-
academic-publishing
2
https://guides.library.uwa.edu.au/c.php?g=325233&p=2177836
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
37
exclusivamente publicados em inglês têm um alcance e um potencial de citação superior
a um artigo publicado por exemplo em português e restrito aos falantes desta língua.
Este processo, controverso e regulador da paisagem de publicação científica mundial,
inaugura uma certa forma institucionalizada de olhar para um periódico científico a partir
da sua legitimação ou deslegitimação em função do fator de impacto que lhe esteja
atribuído. Importa por isso refletir sobre a própria construção do conceito, percebendo
critérios de evolução e redefinição das dimensões que têm estado na base da construção
deste conceito tão atual nos sistemas de recompensa académica, e que contribuem,
numa parcela relevante, para o acesso aos concursos de entrada e progressão nas
carreiras docentes e de investigação, assim como se constituem num critério eletivo
decisivo para a concessão de bolsas pós-doc e, em certa medida, das próprias bolsas de
doutoramento, bem como no financiamento de projetos de investigação baseados no
mérito dos candidatos/as e dos respetivos centros de investigação aos quais estão
associados. Atualmente, os fatores de impacto têm um papel crucial na alocação de
recursos para fins de investigação científica (Saarela, 2016) em cada vez mais países e
constituem o critério primordial de prestígio e sobrevivência dos profissionais da
academia (Pirmez, Brandão & Momen, 2016: 543).
Enquadramento do conceito
Maria Manuela Borges (2006) realiza uma introdução às raízes históricas do termo “fator
de impacto”, utilizado pela primeira vez por Eugene Garfield (1955). Este conceito, de
cariz quantitativo, “procura exprimir a influência intelectual ou o contributo de um
determinado trabalho numa dada área de conhecimento”, sendo que, “a estas funções,
outras se podem adicionar, como seja a de aumentar o grau de comunicação entre os
autores, ou a de, para os próprios autores, trazer à colação todas as menções relativas
ao seu trabalho (Borges, 2006: 55).
Outros autores, como Seglen (1997), utilizam o termo taxa de citação (citation rate)
como complementar ao termo fator de impacto, para definir a média de citações contidas
num determinado periódico, num certo período de tempo. O fator de impacto é
usualmente definido pelo cálculo do número de citações num determinado ano em
relação ao número de itens publicados nesse ano (Seglen, 1997). Na mesma linha de
raciocínio, Greenwood (2007) refere que “o fator de impacto de um periódico é calculado
pelo número de citações que esse periódico recebeu no último ano completo para os
artigos publicados nos dois anos anteriores, dividindo pelo número total de artigos
publicados pelo mesmo periódico nesses dois anos. Segundo o autor, este cálculo
expressa o número médio de citações de artigos publicados, sem discriminar
positivamente ou negativamente os periódicos maiores ou mais frequentemente
publicados (Greenwood, 2007: 1).
Tradicionalmente, o fator de impacto era usado para determinar as fontes mais
importantes de conhecimento a ser adquirido pelas universidades (Saarela, 2016). Hoje,
os fatores de impacto são cuidadosamente consultados por investigadores de todo o
mundo, que definem desta forma os periódicos científicos aos quais submetem os seus
artigos (Greenwood, 2007). Johnstone (2007) defende que o fator de impacto passou a
ser utilizado como uma medida absoluta definidora da qualidade dos periódicos
científicos. A autora remata, referindo que o fator de impacto também é crescentemente
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
38
utilizado como ferramenta para medir o desempenho académico de investigadores e para
adjuvar a análise da viabilidade dos departamentos e universidades (Johnstone, 2007).
Para Garfield (1955), o cálculo do fator de impacto era feito através das contagens de
citações recebidas pelas revistas científicas num período de dois anos. “Se se pretender,
por exemplo, calcular o fator de impacto de uma revista para 2005, usar-se-ão os dados
relativos a 2003 e 2004, isto é, o número total de citações em 2005 para os artigos
publicados em 2003 e 2004 a dividir pelo número total de itens citáveis em 2003 e 2004”
(Borges, 2006: 56).
Figura 1: cálculo IF fator de impacto, exemplo 1
Fonte: Maria Manuela Borges (2016). A Esfera. Tese de doutoramento: 56.
Figura 2: cálculo IF fator de impacto, exemplo 2
Fonte: The University of Illinois at Chicago University Library Website.
https://researchguides.uic.edu/if/impact
De salientar que, paralelamente ao critério dos dois anos, existe também o fator de
impacto a cinco anos, em tudo idêntico ao fator de impacto a dois anos, mas com um
intervalo de tempo naturalmente maior e que permite apresentar variações muito mais
suaves das contagens de citações.
A construção cumulativa do termo
A enorme plasticidade de significados atribuídos ao universo dos conceitos envolvidos no
fenómeno da Ciência Aberta, faz com que algumas definições paralelas acabem por
determinar igualmente variações dentro da própria interpretação de fator de impacto,
conferindo-lhe sub-dimensões que, juntas, nos permitem olhar para o conceito de uma
forma mais maximalista e estruturada, como se de camadas se tratasse.
A título de exemplo, os autores Bauer e Bakkalbasi (2005) introduzem os conceitos de
análises de cocitação e acopolamento bibliográfico, sendo o primeiro o número de vezes
em que dois documentos são citados simultaneamente em publicações posteriores e o
segundo uma previsão de que dois artigos que citam um trabalho anterior possam ter
algo em comum (Borges, 2005: 55).
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
39
Outros indicadores secundários, como o h-index, por exemplo, já quantificam a
produtividade científica e o impacto científico aparente de um cientista ou investigador,
através do número de citações que os seus artigos citados atingem. “O h-index mede o
total de artigos publicados por um cientista e o número de citações que esses artigos
receberam. Por exemplo, se durante o tempo de uma carreira de investigação, um
investigador assina 50 artigos que foram citados 50 vezes, então o h-index é igual a 50”
(Kupiec-Weglinski, 2015: 482). Desta forma, o h-index consegue aferir mais
criteriosamente o lado micro associado à produção científica individual.
O fator-g quantifica, por outro lado, a produtividade científica de um investigador e é
calculado com base na distribuição das citações recebidas nas publicações desse
investigador. Este fator-g foi desenvolvido em primeira instância para dar resposta à
subrepresentatividade dos periódicos científicos europeus nas bases bibliográficas da
Thomson-ISI. Já o fator-y resulta de uma combinação simples entre o fator de impacto
disponível nas bases ISI e o peso em PageRank, por forma a ponderar e ajustar o fator
de impacto em função da maior ou menor popularidade dos periódicos científicos
(Satyanarayama, 2008).
A Thomson publica ainda o índice de influência do artigo e o índice de imediatismo
(immediacy índex), que surge como uma medição do tempo (velocidade) que decorre
entre o momento em que um determinado conteúdo produzido é adquirido e o momento
da sua referência/citação.
O próprio Eugene Garfield (2006) reconhece que a criação do fator de impacto em 1955
tinha por base a necessidade que se sentia em selecionar revistas e fontes de pesquisa
adicionais. Garfield, com a legitimidade que lhe é conferida enquanto criador do termo
fator de impacto, argumenta que “o termo evoluiu gradualmente de forma a descrever
não só o impacto do periódico científico como também o impacto de cada autor” (Garfield,
2006: 1) e que o fator de impacto dos periódicos científicos envolve geralmente grandes
quantidades de artigos e citações e os autores individuais produzem habitualmente
quantidades inferiores de artigos, embora alguns tenham publicado um número
admirável de artigos. Garfield dá o exemplo de um cirurgião de transplantes, de seu
nome Tom Starzl, autor de mais de 2000 artigos científicos, e de Carl Djerassi, inventor
dos contracetivos orais, que publicou mais de 1300 artigos.
A ineficácia do indicador e sua repercussão no enviesamento da
avaliação do conhecimento científico produzido
Um dos problemas associados ao fator de impacto tem que ver com uma espécie de
apropriação do indicador pelas grandes indexadoras como a Scopus
3
ou a ISI Web of
Science, o que resulta num evidenciar das revistas mais proeminentes nelas indexadas,
em detrimento de outras, ou mesmo de documentos de outro tipo, como as monografias
e dissertações (Borges, 2006). Esta evidência leva-nos a um efeito bola de neve com
repercussão nas motivações e estratégias dos investigadores e cientistas, cuja avaliação
anual e progressão de carreiras depende em larga medida do volume de publicação e do
respetivo fator de impacto.
3
A Scopus utiliza duas métricas: o SJR (SCImago Journal Rank) e o SNIP (Source Normalized per Paper).
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
40
Os novos investigadores precisam de publicar nos periódicos científicos com maior
prestígio, ao passo que investigadores sénior e associados precisam de o fazer também
para manter as suas bolsas e/ou financiamento de projetos de investigação ou para poder
progredir nas carreiras docentes. “Os investigadores submetem os manuscritos a revistas
de prestígio” (Borges, 2006: 275), que entram nas bases de dados das grandes
indexadoras mundiais que institucionalizam o cálculo do fator de impacto. “No caso do
artigo científico, o reconhecimento da sua qualidade está ligado à revista onde é
publicado” (Borges, 2006: 36), que antes dependia do quadro de editores e hoje depende
dos fatores de impacto dos core journals.
Contudo, “desde a sua descoberta, nos anos 60, o fator de impacto continua a ser notícia,
frequentemente pelas piores razões” (Satyanarayama e Sharma, 2008: 4). Alguns
autores referem que existem perigos e limitações significativos associados ao cálculo dos
fatores de impacto, como a falta de qualidade das citações e a existência dos journals
self-citations (Archambault e Larivière, 2009; Falagas et al, 2008; Vanclay, 2012),
periódicos científicos que tendem a valorizar propostas de publicação de artigos que
fazem referência a artigos aí publicados, assim como as combinações informais dos
investigadores que assumem o modus operandi de citar-se uns aos outros, empolando o
fator de impacto dos seus artigos.
Para Seglen (1997), avaliar a qualidade científica é tarefa extremamente complicada sem
uma solução universal. O autor argumenta que, idealmente, todos os processos de
validação do conhecimento científico produzido deveriam ser definidos por certificação
académica que tenha por base o escrutínio e verificação de verdadeiros especialistas
numa determinada área. Na prática, em todo o caso, aquilo que acontece é que o
designado processo do peer-review normalmente desempenhado por comités com
competências demasiado generalistas, condiciona tudo o resto, desde a verificação
simplista do conhecimento produzido, aos processos que conduzem à legitimação das
revistas (Selgen, 1997). Este autor, crítico do modelo de legitimação do conhecimento
científico produzido com base nos fatores de impacto, defende que este fator de impacto,
ou taxa de citação, não é representativo da produção científica individual, no sentido em
que não define a sua qualidade.
O autor avança com uma lista de problemas que estão na base do fator de impacto, a
saber:
1) os fatores de impacto dos periódicos científicos são determinados por procedimentos
técnicos que não estão relacionados com a produção do conhecimento científico per
se;
2) o fator de impacto dos periódicos científicos depende da área de investigação.
Maiores fatores de impacto estão normalmente associados a periódicos científicos
que cobrem vastas áreas de pesquisa exploratória, de literatura em rápido
crescimento e curto período de vida que normalmente envolve várias referências por
artigo;
3) o facto de as taxas de citação dos periódicos científicos determinarem o fator de
impacto da publicação, e não o seu contrário;
4) citações de itens não citáveis são geralmente incluídas nas mesmas bases;
5) artigos de revisão ou recensões são fortemente citados e inflacionam os fatores de
impacto de alguns periódicos científicos;
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
41
6) os artigos maiores redundam em níveis de citação superiores, inflacionando
igualmente os fatores de impacto das revistas;
7) as obras em formato impresso (i.e. livros) não são incluídas nas bases como fontes
de citação;
8) as bases bibliográficas são orientadas para a língua inglesa e dominadas por
publicações dos EUA;
9) os fatores de impacto dependem das dinâmicas (expansão ou contração) das
diferentes áreas académicas;
10) pequenas áreas de pesquisa académica tendem a dispor de menos revistas com
maiores fatores de impacto;
11) a relação entre campos de investigação também determina os fatores de impacto
dos periódicos científicos (i.e. campos diferenciados em interligação na área da
saúde, em comparação com campos de investigação mais reduzidos);
12) as limitações das bases de dados ou o exemplo dado pelo Science Citation Index que
cobre um reduzido número de periódicos científicos em todo o mundo (Seglen,
1997).
Em última análise, Seglen (1992) refere que é a grande variabilidade nos processos de
citação que torna pouco exato o critério do fator de impacto, o que significa que este não
deve ser utilizado para fins de avaliação da produção científica.
Num artigo publicado na revista Science, intitulado “Hate journal impact factors? New
study gives you one more reason”
4
, da autoria de John Bohannon (2016), é referido que
os cientistas têm uma relação de amor-ódio com o fator de impacto dos periódicos
científicos. A medida, usada para classificar periódicos científicos pelo seu prestígio, é
vista por muitos como destruidora da comunidade científica.
Sobre a necessidade de repensar todo o critério das métricas e dos fatores de impacto
como legitimadores do conhecimento produzido, autores como Adler, Ewing & Taylor
(2009) não têm dúvidas em sugerir novos critérios múltiplos de validação dessas
métricas, que precisam de ser validadas separadamente para cada disciplina, ao mesmo
tempo que são calibradas e ajustadas de acordo com a especificidade de cada disciplina,
mas também de acordo com as propriedades de cada classificação. Por outras palavras,
as métricas e fatores de impacto deverão ser tão mais diversos e ricos quanto possível.
Adler, Ewing & Taylor (2009), com uma visão fundamentalmente otimista do modelo de
Ciência Aberta, nomeadamente na capacidade que este tem em proporcionar uma maior
variabilidade de métricas que é contrária a estruturas de manipulação e uso indevido
dessas mesmas métricas, eventualmente porque, à data do respetivo artigo, ainda não
contemplavam alguns focos de enviesamento do próprio modelo
5
, elencam algumas
razões, próximas do modelo de Selgen (1997), que os levam a opor-se à paisagem das
métricas como critério de validação científica, a saber:
4
http://www.sciencemag.org/news/2016/07/hate-journal-impact-factors-new-study-gives-you-one-more-
reason.
5
Modelo capturado por interesses comerciais, com uma crise evidente de reprodutibilidade e com focos de
práticas de investigação questionáveis. https://opensciencemooc.eu/.
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
42
1) o significado de uma citação poder ser ainda mais subjetivo do que a própria
avaliação por pares;
2) a confiança única nas métricas de citação fornece, na melhor das hipóteses, uma
compreensão incompleta e superficial da pesquisa;
3) o facto de a validade de estatísticas como o fator de impacto e h-index não ser ainda
bem conhecida ou ter sido ainda bem estudada;
4) o facto de as métricas de citação fornecerem apenas uma visão limitada e incompleta
da qualidade da pesquisa, e as estatísticas resultantes dessas métricas poderem ser
mal compreendidas e mal utilizadas;
5) a possibilidade de a confiança exclusiva em métricas baseadas em citações poder
substituir o critério da revisão subjetiva por pares como o elemento preponderante
na validação da pesquisa;
6) a ideia de que o factor de impacto não pode ser usado para comparar periódicos
científicos entre disciplinas;
7) a certeza de que o fator de impacto não reflete de forma precisa o alcance de citações
em algumas disciplinas, na medida em que nem todos os periódicos científicos estão
indexados; e
8) a possibilidade de o fator de impacto poder ser facilmente influenciado pela
frequência (elevada) com que alguns autores são erradamente identificados.
Borges (2006), citando Moed, aponta outras limitações, como a questão de o IF, “ao
medir o impacto de citação no segundo ou terceiro anos após a publicação, poder ser
tendencioso relativamente às revistas que têm um IF mais rápido de maturação ou
declínio”.
Uma das razões apontadas para a inutilidade dos fatores de impacto passa assim por
perceber que estes não têm qualquer validade enquanto medida preditiva, o que resulta
da forma opaca de calcular o fator de impacto.
Paulus, Cruz e Krach (2018), tentaram ilustrar as falácias inerentes à utilização das
métricas para avaliação dos periódicos e dos trabalhos dos cientistas. Para os autores, o
simples facto de julgarmos a qualidade científica a partir dos fatores de impacto dos
periódicos diz-nos que estamos a ser conduzidos por argumentos fracos/inválidos em
que a incerteza na qualidade de um trabalho é ultrapassada pelo seu fator de impacto,
ao invés da qualidade do próprio trabalho.
Kupiec-Weglinski (2015) defende, por seu turno, que os fatores de impacto não refletem
a qualidade ou reliabilidade da ciência, bem como a habilidade, valências e criatividade
do cientista. O autor continua, referindo que o mais importante é publicar conhecimento
com qualidade e inovador, mantendo um registo contínuo de publicações e de boa
produtividade. “Em última análise, os investigadores precisam de publicar conhecimento
impactante e capaz de garantir um incremento substancial às respetivas áreas de
investigação” (Kupiec-Weglinski, 2015: 482).
Para Satyanarayama (2008), os fatores de impacto podem mesmo enviesar a direção da
investigação científica, no sentido em que os próprios cientistas tendem a direcionar a
sua investigação para áreas mainstream mais facilmente financiáveis. Pelo contrário,
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
43
aqueles investigadores que se debruçam nas áreas menos mainstream, ainda que
relevantes, têm maior dificuldade em dispor de fundos para investigação e
reconhecimento. “É bem sabido que o financiamento segue o que é considerado
significativo na ciência, que geralmente é definido pelo hype das citações e pelas
publicações em periódicos de alto impacto” (Satyanarayama, 2008: 4).
Towpik (2015: 465), por outro lado, fala de uma mania associada ao fator de impacto
que persiste e inflige um efeito pernicioso na ciência e em algumas condutas e práticas
científicas.
Weglinski (2015) vai mais longe, referindo que, muitas vezes, elevados fatores de
impacto são meras comodidades que o dinheiro pode pagar. E depois, quanto maior o
fator de impacto de um periódico científico, maiores os custos de publicação endereçados
aos autores que decidem publicar nesse mesmo periódico científico e/ou às
instituições/investigadores que pretendem adquirir essas publicações. Como
consequência, e ao limite, perverte-se também toda a raiz democratizante do movimento
de ciência aberta, com o próprio fator de impacto a contribuir para este cenário.
Moustafa (2015) considera ainda que o fator de impacto se tornou no pior inimigo da
qualidade científica, incutindo uma grande pressão aos autores, editores, stakeholders e
financiadores. E o pior, num número significativo de países, a alocação de verbas e
fundos governamentais é inteiramente canalizada para os únicos periódicos com o
designado alto fator de impacto, ficando todos os restantes de fora desse bolo.
Já Johnstone (2007), reportando-se ao caso da investigação na área da saúde, mais
concretamente na área da enfermagem, defende que esta obsessão pelos fatores de
impacto põe em perigo a sustentabilidade e viabilidade dos periódicos científicos na área
da enfermagem e dos seus textos académicos. Em enfermagem, expõe a autora, os
investigadores abandonam a sua agenda de publicação para publicar apenas nos
periódicos científicos de elite, alguns deles fora da área da enfermagem. A autora
completa, referindo que outras formas de avaliar a qualidade e impacto dos periódicos
científicos em enfermagem devem ser planeados, além de que os livros e capítulos de
livros deverão igualmente começar a ser incluídos nas métricas.
Ironside (2007) é peremptória em afirmar que os fatores de impacto não têm utilidade
e deviam ser abolidos, sendo certo que estes IF podem sim fornecer informações úteis
para o processo de revisão, se utilizados de forma criteriosa e com a consciência do seu
alcance, ou aquilo que podem ou não avaliar.
Por último, importa referir que os argumentos que traçam uma defesa mais declarada
do fator de impacto se centram sobretudo 1) numa espécie de aceitação tácita das
métricas pelos investigadores e académicos, e 2) na defesa do pensamento reducionista
inicial de Eugene Garfield que concebeu o fator de impacto como forma de avaliar ciência
e periódicos científicos per se. Alguns autores, como Oppenheim (2008), assumindo uma
posição profundamente celebratória relativamente à importância das métricas,
consideram que o fator de impacto está profundamente correlacionado com outros
critérios de qualidade científica, como a revisão por pares. Oppenheim (2008) não
consegue prever, por exemplo, que o fator de impacto poderá facilmente substituir o
critério da revisão por pares nas estruturas de validação do conhecimento produzido,
essencialmente porque o segundo é acima de tudo um critério fechado e silencioso,
restrito à relação autor-mediador-revisor e não disponível para consulta, o que o torna
vulnerável à fácil acessibilidade e enorme alcance do fator de impacto como critério de
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
44
validação do conhecimento produzido considerado por grande parte da estrutura
académica. Para os autores que celebram a existência das métricas e fatores de impacto
como legitimadores do conhecimento produzido há assim a intuição de que os artigos de
comprovada qualidade são necessariamente os mais citados, uma vez que as citações e
outras métricas se correlacionam fortemente com o lado mais subjetivo da avaliação por
pares.
Kampourakis (2018) assinala, por outro lado, que o lado mais benéfico do fator de
impacto, embora de forma indireta, está relacionado com a própria ideia de disseminação
e divulgação do conhecimento produzido, na medida em que não só os investigadores e
cientistas perceberam que quanto maior for a divulgação dos seus trabalhos (i.e.
ResearchGate), por exemplo entre as suas redes de contactos, maior a probabilidade de
poderem vir a ser citados (além de gerarem um escrutínio e verificação maiores
relativamente ao conhecimento produzido), mas também porque os próprios periódicos
que vão atingindo fatores de impacto superiores acabam por dispor de um
reconhecimento que, no curto-médio prazos, os permite beneficiar de um maior número
de artigos para publicação, gerindo as suas necessidades a partir desse fluxo maior de
chegada de artigos.
As próprias publicações tendem hoje frequentemente a celebrar (com notificações aos
seus subscritores) e a congratular-se
67
com a entrada nos maiores indexadores e
consequente acesso aos fatores de impacto (i.e. Scopus – Scimago Journal & Country
Rankings), porque percebem que fazer parte deste sistema é, em primeira instância, um
critério crucial na sua validação e acreditação na comunidade académica, de uma forma
bastante mais determinante do que o grau de qualidade que possa estar associado ao
material publicado. Isto porque, em última análise, o fator de impacto é hoje entendido
como o primeiro critério definidor do valor de um periódico científico e dos artigos
publicados.
Considerações finais
Em traços gerais, a discussão na comunidade científica sobre se os fatores de impacto
são ou não medidas confiáveis de mensuração do conhecimento produzido redundam
num tema que tem sido associado à própria mutabilidade e evolução do movimento de
Ciência Aberta.
Apesar de o debate académico se centrar menos no aspeto tácito da análise e leitura dos
valores dos fatores de impacto, e mais nas contrariedades e problemas associados ao
fenómeno, com repercussão no designado enviesamento dos processos de legitimação
do conhecimento produzido, continua a haver espaço para o aproveitamento e discussão
das principais ideias elencadas neste artigo.
Um exemplo da importância de uma reflexão alargada aos limites do conceito IF pode
ser definido pela tentativa de o tornar cada vez mais eficiente pela introdução de novas
sub-dimensões que lhe conferem um alcance maior.
São exemplos os fatores g e y, assim como o próprio h-index, que visam tornar os
critérios de definição menos dependentes das características descritas pela academia
6
https://onlinelibrary.wiley.com/doi/full/10.1002/admt.201800285.
7
https://www.advancedsciencenews.com/celebrating-first-impact-factor-advanced-science/.
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
45
como sendo prejudiciais, e pouco reconhecedoras, do trabalho dos investigadores e da
atividade dos periódicos científicos que não fazem parte da designada A-list da publicação
científica (Howard, 2009). Johnstone designa estas sub-dimensões por IF (Impact Factor)
related trends.
O próprio Eugene Garfield (2006) sugere que a precisão dos fatores de impacto é
questionável e que os próprios estudos sobre citações deviam ser ajustados de forma a
contemplar variáveis como peculiaridade do conhecimento produzido, densidade de
citação (número médio de referências citadas por artigo de origem), bem como o critério
da meia-vida (half-life, também da Thomson Reuters) ou o número de anos necessários
para encontrar 50% das referências citadas.
Assim, no futuro, interessará perceber se o cálculo dos fatores de impacto evolui para
um modelo mais inclusivo, paritário, que valoriza questões como a produtividade
científica do investigador e dos periódicos científicos, a partir de critérios de definição da
qualidade científica produzida, ou se a legitimação do conhecimento produzido continuará
a ser uma extensão da tirania das métricas e dos pressupostos que lhe são intrínsecos.
O que importa discutir, e que constitui a razão deste artigo, é se a abertura científica
pode, ou não, prosperar num mundo de relações de publicação onde os fatores de
impacto tendem a perpetuar monopólios de divulgação científica, produto da replicação
infinita do status herdado pela publicação prévia de outros e perpetuado pela repetição
das práticas que legitimaram uma dada posição no ranking de fatores de impacto. Ou
seja, a ciência deve produzir cientistas e conhecimento de cariz aristocrático, assente na
herança dos que já criaram status antes, publicando num dado periódico, ou deve ser
republicana e assente no mérito e virtude, independentemente de onde se publica, e na
validação por pares do conhecimento científico produzido? A ciência desenvolve-se tanto
em sociedades democráticas como autocráticas, mas tem também um contributo a dar
para o fortalecer da democracia. Cabe-nos a nós, cientistas e investigadores, decidir que
contributo estamos prontos a dar, para além do conhecimento produzido, à sociedade
que nos dá contexto e condições para investigar e publicar.
Referências Bibliográficas
Adler, R., Ewing, J. & Taylor, P. (2009). Citation statistics: a report from the International
Mathematical Union (IMU) in Cooperation with the International Council of Industrial and
Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS).
Statistical Science, 24(1), 1-14. Retirado de
https://www.jstor.org/stable/20697661?seq=1#page_scan_tab_contents
Archambault, E. & Larivière, V. (2009). History of the jornal impact factor: Contingencies
and consequences. Scientometrics, 79 (3), 635–649. http://dx.doi.org/10.1007/s11192-
007-2036-x
Bare, C. (2014). The guide to Open Science. [Post em blogue]. Retirado de
http://digitheadslabnotebook.blogspot.com/2014/01/guide-to-open-science.html
Barthes, R. (1972). S/Z. Rio de Janeiro: Nova Fronteira.
Bauer, K. & Bakkalbasi, N. (2005). An Examination of Citation Counts in a New Scholarly
Communication Environment. D-Lib Magazine, 11(9). Retirado de
http://www.dlib.org/dlib/september05/bauer/09bauer.html
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
46
Berghmans, S. & Kisjes, I. (2015). The evolution of Open Science – how digitization is
transforming research. Elsevier Connect. Retirado de
https://www.elsevier.com/connect/the-evolution-of-open-science-how-digitization-is-
transforming-research
Bohannon, J. (2016). Hate journal impact factors? New study gives you one more reason.
Science. Edição online, 6 de Julho de 2016. Retirado de
http://www.sciencemag.org/news/2016/07/hate-journal-impact-factors-new-study-
gives-you-one-more-reason
Borges, M. M. (2006). A Esfera. Dissertação de Doutoramento em Letras, área de
Ciências Documentais, Especialidade de Tecnologias da Informação. Faculdade de Letras
da Universidade de Coimbra. Retirado de
https://estudogeral.sib.uc.pt/jspui/handle/10316/8557
Bourdieu, P. (1994). O Poder Simbólico. Algés: Difel.
Cardoso, G., et al (2009). As políticas de Open Access. Res publica científica ou auto-
gestão? Sociologia, Problemas e Práticas, 60, 53-67. Retirado de
http://www.scielo.mec.pt/pdf/spp/n60/n60a04.pdf
Falagas M. et al (2008). Comparison of SCImago jornal rank indicator with jornal impact
factor. FASEB journal, 22 (8), 2623–2628. https://www.fasebj.org/doi/10.1096/fj.08-
107938
Garfield, E. (1955). Citation Indexes for Science: A New Dimension in Documentation
through Association of Ideas. Science, 122 (3159), 108-111. DOI:
10.1126/science.122.3159.108
Garfield, E. (2006). The History and Meaning of the Journal Impact Factor. JAMA, 295
(1), 90-93. DOI.1001/jama.295.1.90.
Greenwood, D. C. (2007). Reliability of jornal impact factor rankings. BMC Medical
Research Methodology, 7(48). https://doi.org/10.1186/1471-2288-7-48.
Howard, J. (2009). Humanities Journals Confront Identity Crisis. The Chronicle of Higher
Education, 55(29), 1. Retirado de https://eric.ed.gov/?id=EJ838618
Ironside, P. M. (2007). Advancing the Science of Nursing Education: Rethinking the
Meaning and Significance of Impact Factors. The Journal of Continuing Education in
Nursing, 38 (3), 99-100. DOI10.3928/00220124-20070501-09
Johnstone, M.J. (2007). Journal impact factors: implications for the nursing profession.
International Nursing Review, 54 (1), 35-40. DOI: 10.1111/j.1466-7657.2007.00527.x
Kampourakis, K. (2018). What is the impact of the impact factor? Science & Education,
27(5-6), 405-406.
Kupiec-Weglinski, J.W. (2015). Journal Impact Factor (JIF): The good, the bad, and the
ugly. Nowotwory. Journal of Oncology, 65(6), 481-482. DOI: 10.5603/NJO.2015.0094
Moustafa, K. (2015). The Disaster of the Impact Factor. Science and Engineering Ethics,
21(1), 139-142
Muller, J. Z. (2018). The Tiranny of Metrics. The Chronicle of Higher Education. Edição
online de 21 de Janeiro de 2018. Retirado de https://www.chronicle.com/article/The-
Tyranny-of-Metrics/242269?cid=wsinglestory_hp_1
JANUS.NET, e-journal of International Relations
e-ISSN: 1647-7251
Vol. 9, Nº. 2 (Novembro 2018-Abril 2019), pp. 34-47
O fator de impacto como legitimador do conhecimento científico produzido.
Uma revisão da literatura
Tiago Lima Quintanilha, Gustavo Cardoso
47
Oppenheim, C. (2008). American Scientist Open Access Forum. [Post em blogue].
Retirado de http://openaccess.cmb.med.rug.nl/?p=146
Paulus, F.M., Cruz, N. & Krach, S. (2018). The Impact Factor Fallacy. Frontiers in
Psychology, 9(1487), 1-7.
Pirmez, C., Brandão, A.A., Momen, H. (2016). Scientific journal publishing is too complex
to be measured by a single metric: Time to review the role of the impact factor! Memórias
do Instituto Oswaldo Cruz, 111(9), 543-544.
Priem, J. & Hemminger, B. (2012). Decoupling the scholarly journal. Frontiers
Computational Neuroscience, 6(19), 1-13. https://doi.org/10.3389/fncom.2012.00019
Quintanilha, T. L. (2015). Considerações sobre os desafios múltiplos da Ciência Aberta.
Estudos em Comunicação, 21, 13-34. DOI: 10.20287/ec.n21.a02.
Saarela, M. et al (2016). Expert-based versus citation-based ranking of scholarly and
scientific publication channels. Journal of Infometrics, 10, 693-718.
https://doi.org/10.1016/j.joi.2016.03.004
Satyanarayama, K. & Sharma, A. (2008). Impact Factor. Time to move on. Indian Journal
of Medical Research, Editorial, 127(1), 4-6. Retirado de
http://www.ijmr.org.in/article.asp?issn=0971-
5916;year=2008;volume=127;issue=1;spage=4;epage=6;aulast=Satyanarayana;type
=0
Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating
research. British Medical Journal, 314(7079), 498-502.
Sygocki, W. & Korzeniewska, E. (2018). Impact factor (IF) True or False? Przeglad
Elektrotechniczny, 1(1), 107-110.
Towpik, E. (2015). IF-mania: Journal Impact Factor is not a proper mean to assess the
quality of research, individual researchers, nor scientific institutions. Nowotwory. Journal
of Oncology, 65(6), 465-475. DOI: 10.5603/NJO.2015.0092
Vanclay, J. K., & Bornmann, L. (2012). Metrics to evaluate research performance in
academic institutions: a critique of ERA 2010 as applied in forestry and the indirect
H2index as a possible alternative. Scientometrics, 91 (3), 751–771.
http://dx.doi.org/10.1007/s11192-012-0618-8
