REPRODUTIBILIDADE

O que é a Iniciativa?

A Iniciativa Brasileira de Reprodutibilidade é uma iniciativa multicêntrica para estimar a reprodutibilidade da ciência biomédica brasileira. Financiada pelo Instituto Serrapilheira, nossa meta é reproduzir uma amostra de 60 experimentos de artigos brasileiros, em 3 técnicas diferentes: ensaio de viabilidade celular por MTT, PCR quantitativo - RT-PCR e labirinto elevado em cruz).

 

Por que o foco em artigos brasileiros?

Porque saber o quão reprodutível é a pesquisa que o país tem produzido é fundamental para o aprimoramento de nossa ciência. Como esse tipo de levantamento não costuma ser feito pelas agências de fomento, acreditamos que a própria comunidade científica deve encarar esta tarefa como um desafio coletivo.

​

Que tipos de experimento foram avaliados?

Os experimentos selecionados utilizam modelos e métodos específicos que identificamos serem passíveis de replicação em diversos laboratórios do país. Estes métodos foram selecionados a partir de um levantamento amplo das técnicas mais comumente utilizadas em publicações de autores brasileiros (veja detalhes do levantamento nesse artigo).

​

Como os experimentos para replicação foram selecionados?

Partimos de uma amostra aleatória de artigos utilizando as técnicas a serem estudadas, selecionando experimentos individuais em 60 artigos. Para diminuir possíveis viéses, os artigos de origem dos experimentos só serão revelados ao final dos estudos.

 

Como serão realizadas as replicações?

Cada experimento será reproduzido em 3 laboratórios diferentes, com um protocolo pré-registrado e o mais próximo possível do estudo original. Medidas de controle de viés tais como randomização de amostras, cegamento dos experimentadores e cálculos de poder estatístico serão usados para garantir o rigor das replicações.

 

Como será definido se um experimento foi replicado com sucesso?

Assim como em outras iniciativas desse tipo, usaremos várias medidas diferentes. Uma delas é considerar um experimento replicado com sucesso quando seu tamanho de efeito estiver dentro do intervalo de predição de 95% definido pelos tamanhos de efeito obtidos nas três replicações realizadas. Nosso plano de análise pode ser encontrado aqui.

 

Se um experimento não for replicado, isso significa que o resultado original estava errado?

Não. Inúmeros fatores podem levar a não replicação de resultados, incluindo fatores não controláveis relacionados às condições de cada laboratório. Dito isso, a utilização de replicações em diversos centros nos permitirá estimar a variação entre laboratórios para cada técnica, e avaliar se o efeito original parece estar dentro da variação esperada.

 

O que será feito com os dados?

Além de estimar a reprodutibilidade dos experimentos de áreas específicas da ciência brasileira, utilizaremos o banco de dados gerado para ver se existem variáveis nos estudos originais que podem prever a replicação com sucesso dos experimentos, de forma a avaliar que tipo de fatores podem aumentar a reprodutibilidade de um achado.

 

A meta do estudo é avaliar artigos ou pesquisadores individuais?

Não. Pelo contrário, não incluímos mais de um experimento por artigo e/ou pesquisador, o que é insuficiente para julgar méritos individuais. Nossa meta é estimar a reprodutibilidade da ciência brasileira de maneira mais ampla e propor soluções para melhorá-la.

 

Como posso participar?

As equipes para os experimentos iniciais já foram definidas. Fique de olho aqui no site e nas nossas redes sociais para ficar sabendo de novas oportunidades de participar no esforço de replicação dos experimentos.

 

O que os laboratórios replicadores ganham com isso?

Todos os laboratórios participantes serão incluídos como participantes (i.e. coautores) na Iniciativa Brasileira de Reprodutibilidade, que assinará a produção intelectual derivada do projeto em formato de consórcio. Além disso, os custos dos experimentos de replicação são financiados por um grant que a Iniciativa recebeu do Instituto Serrapilheira.

​

O que a ciência brasileira ganha com isso?

Ao final do estudo, teremos realizado o primeiro estudo sistemático de reprodutibilidade científica a nível nacional de que temos notícia. Independentemente dos resultados, a geração destes dados nos permitirá refletir sobre nossas práticas individuais e coletivas, ajudando a colocar o Brasil na vanguarda do desenvolvimento de uma ciência mais confiável a nível mundial.