[MÚSICA] [MÚSICA] Eu converso agora com o Olavo Boher Amaral, professor do instituto de bioquÃmica médica da UFRJ. Olavo é médico e escritor e coordena a iniciativa brasileira de reprodutibilidade. Um projeto multicêntrico para a replicação sistemática de pesquisas brasileiras na área biomédica. Obrigada pela sua disponibilidade compartilhar a sua experiência conosco, Olavo. De nada, é prazer. Explica pra gente como funciona a iniciativa brasileira de reprodutibilidade. Então, a iniciativa é uma tentativa de replicação sistemática de experimentos publicados da ciência brasileira. E visa responder uma questão, que pra mim, é realmente importante, que é o quanto da ciência publicada de fato é confiável, reprodutÃvel, é uma coisa que aparentemente parece se sustentar quando laboratório independente tenta replicar os meus resultados. Surpreendentemente, a gente tenta acreditar muito literatura cientÃfica, e a gente tem pouquÃssimos dados sobre isso, poucos levantamentos áreas muito restritas: "Vamos tentar pegar coisas aqui e ver até que ponto as coisas se repetem." E os poucos que a gente tem mostra que muita coisa não replica, a gente tem alguma coisa na área de psicologia e biologia básica do câncer, alguma coisa clÃnica, realmente muito pontuais e você tem números da ordem de, dependendo da área, de zero a 70%. Você tem desde, o mais bem feito que a gente tenha uns 100 estudos da área de psicologia, você tem torno de 37 ou 46% replicando, pouco menos da metade. Bem poucos, por que que não replicam outra história, se era mentira? Ou se aconteceu de fato ou foi acaso, ou se tem algum erro no meio, de fato as coisas variam, se você replicar lugar acontece outro lugar. Isso não se repete, você tem espectro grande de causas pra isso. Mas parece que é difÃcil repetir muitos resultados da literatura cientÃfica, o que quer dizer que não sejam exatamente confiáveis. E a gente não tem muitos levantamentos, não conheço nenhum levantamento a nÃvel nacional, acho que o nosso projeto é particular nesse sentido. Vamos tentar reproduzir experimentos da ciência brasileira, acho que ninguém fez isso ainda. A gente pode discutir se é melhor ou pior de forma especÃfica, mas são experimentos publicados nos últimos 20 anos por autores brasileiros utilizando metodologias comuns na área de ciências de biomédicas, biológicas, de laboratório e tal. A gente está começando com três métodos que são experimentos envolvendo medidas feitas pelo ensaio de MTT, que é ensaio de viabilidade celular culturas de células por medidas de mRNA por RT-PCR, que é método bastante comum também, e uma tarefa comportamental que é o labirinto cruz elevado, que é uma tarefa de uma sociedade. Então a gente tem ainda 20 experimentos com cada método, a gente está começando com 60 experimentos. Nosso objetivo é chegar entre 50 e 100, a gente está começando com 60. Se sobrarem recursos depois disso a gente estender pra mais ou duas técnicas. Mas isso no momento não é muito certo, talvez a gente acabe 60 mesmo, porque sei o esforço que é custoso assim. Cada experimento vai ser replicado três laboratórios diferentes, então a gente montou uma rede que hoje dia tem mais de 60 laboratórios ao redor do paÃs, que trabalham com esses métodos, a gente fez o recorte por método, porque a gente tinha que conseguir coisas que gente suficiente conseguisse fazer. A gente está desde o inÃcio do ano passado trabalhando com esses laboratórios pra desenvolver os protocolos de replicação, a partir do que está descrito nos artigos originais. Cada laboratório desenvolveu o seu protocolo particular, a partir do método que está descrito, cada laboratório faz as adaptações que acha necessárias e preenche as lacunas metodológicas que eventualmente tem, e a gente está razoavelmente pronto pra começar a maior parte dos experimentos, alguns têm que fazer ajustes, alguns têm que passar pelo comitê de ética, os que envolvem animais, mas a gente tem os primeiros em célula estão mais ou menos prontos, estamos adquirindo reagentes. Então a expectativa é que os experimentos devam começar ao longo dos próximos dois meses, provavelmente. E cada tem que ser feito três lugares, então você tem total de 180 experimentos 60 laboratórios que têm ritmo diferentes, a gente espera que vai ter os resultados finais só lá pra metade do ano que vem. 2021, né? Olavo, você falou duas coisas que eu achei interessantes, primeiro que psicologia tem muita iniciativa de verificar reprodutibilidade, mas se a gente olhar a literatura biomédica, a literatura da saúde, a psicologia não está no topo, né? Então, à s vezes fico pensando se tem também uma questão de conflito de interesses, ou alguma coisa do tipo que faça, por exemplo, a gente querer investigar pouco mais a psicologia, mas efeitos de tratamentos, de medicamentos e tal, a gente >> realmente relegar para a confiança. O que você acha disso? >> Acho que cada área tem coisas muito peculirares. Em defesa da pesquisa de saúde, acho que pesquisa clÃnica de alto nÃvel tem padrões metodológicos muito melhores do que pesquisas de laboratório, termos de desenho experimental, de randomização, de controle de uma série de coisas. A pesquisa clÃnica está a décadas a frente. Por incrÃvel que pareça, qualquer pessoa sabe que idealmente um ensaio clÃnico deveria ser duplo-cego, e bizarramente é muito difÃcil, a maior parte dos experimentos com animais, por exemplo, não reporta o que a análise do desfecho cega, e à s vezes é difÃcil convencer pessoas que estão trabalhando com métodos obviamente dependentes de
observador em microscopia e que a cegagem é importante, nesse sentido a gente está 50 anos atrasado. Então a gente tem padrões de rigor muito piores. Acho que a psicologia tinha problemas parecidos. A psicologia tem uma multiplicidade de desfechos possÃveis grandes, então tem uma possibilidade de análise grande, e tenta usar tamanho de amostra não tão grande, então eu acho que é campo que tinha problemas, e que por uma conjunção casual de fatores, alguns artigos provocando, a gente tem problema, levando esse debate adiante, acabou que tomou uma dianteira. E claro, se beneficiou também do fato de que muito do que eles fazem é experimento simples e barato, no sentido de que muita coisa você dá questionário online e a pessoa responde >> Mais fácil de testar, né? >> Sim! É muito mais fácil você pegar e replicar 100 experimentos da área de psicologia, quer dizer, são experiências mais fáceis, do que fazer experimentos de laboratório, que tem reagente, que tem amostra, que tem uma série de coisas, é uma área que tem uma movida importante nesse sentido, a gente debate grande e toda uma nova geração que tem conflito de gerações. Tem uma nova geração mais preocupada com isso. E tentando estabelecer uma maneira mais confiável de proceder que os seus predecessores. É campo pouquinho consagrado. Acho que esse tamanho de movimento ainda não chegou na ciência de laboratório, por exemplo. A gente começou a discutir o problema, acho que a conscientização sobre o fato que a gente tem o problema de reprodutibilidade ao longo da última década aumentou muito, a partir de 2012, 2013 especialmente, por conta de alguns resultados pequenos, alguns levantamentos desses, hoje dia tem muito interesse no campo. Acho que a mobilização pra tentar mudar as coisas na área biomédica básica, ainda está demorando pouquinho, a gente está tentando meio empurrar a coisa pra frente, tem pouquÃssimos levantamentos como o nosso no mundo. Talvez a gente seja o maior levantamento, a maior tentativa de replicar conjunto de experimentos de laboratório que o mundo já viu. >> Eu ia pergunta isso. Se você conhecia outra iniciativa semelhante outros paÃses, e uma dúvida lá que eu fiquei com o método da iniciativa brasileira da reprodutibilidade, a escolha dos estudos foi sorteio, como que vocês fizeram pra serem replicados? >> O nosso projeto é bastante influenciado pelos projetos que estão no centro do Web of Science, que fez primeiro essa tentativa de replicar 100 artigos da área da psicologia mais ou menos numa metodologia parecisa, eles recrutaram e abriram, selecionaram experimentos três revistas, abriram pra laboratórios ao redor do mundo, e quem quer nos ajudar e etc. Eles têm segundo levantamento que é na área de biologia básica do câncer, tentando replicar artigos de muito alto impacto nessa área. Que é muito mais complicado, são artigos à s vezes com metodologias complicadÃssimas. Então eles começaram querendo replicar 50 estudos, acabaram com 19, acho que tem 15 publicados. E foi todo terceirizado também, mas terceirizado por serviços comerciais que faziam os métodos, mas foi muito difÃcil, eles acabaram tendo que desistir de muita coisa durante o processo, se tornou muito caro, então acho que a gente aprendeu pouquinho com isso e algumas coisas. Primeiro que a gente tentou fazer uma seleção aleatória. Então, os artigos que a gente tem são focados revistas de alto impacto ou nos artigos mais citados, que é universo válido, são os artigos que mais influenciam. Mas eu não conheço nenhum artigo que seja realmente, vamos tentar fazer uma amostragem sistemática da literatura. Fora que acaba não sendo completamente sistemática. Agora você tem que acabar optando pelo que você consegue fazer. Então assim, a gente selecionou aleatoriamente artigos cientÃficos com mais da metade dos autores no Brasil, inclusive com exponente ao longo dos últimos vinte anos que pudessem ser feitos, que tivessem os nossos métodos mais comuns que a gente achava que a gente podia fazer. que acabaram sendo só três. Tem os experimentos cujos textos sejam medidos por esse método que sejam feitos, passÃvel de fazer com materiais comercialmente disponÃveis que envolvam uma comparação entre os dois grupos e que os nossos laboratórios consigam fazer. >> Sei. Então, todos os critérios vocês sortearam? >> É uma amostragem aleatória que acaba sendo enriquecida experimentos simples e baratos que a gente tem capacidade para fazer. Os caros e difÃceis acabam que vão sendo pra fora. Assim, uma amostra aleatória dentro de certos critérios que acabam limitando a gente essa coisa mais simples, não é? >> É, mas aà ajuda a gente a perceber que os estudos minimamente são representativos, não teve uma conveniência na escolha, teve os critérios, e aà fez o sorteio daqueles que preenchiam o critério, não é? >> É a gente fez uma amostragem, a gente fez assim, sei lá a gente baixou trinta mil PDFs de arquivos brasileiros muito obrigado por Sci-Hub, que nos permitiu fazer, a gente não teria feito, conseguido terminar terminar esse projeto sem Sci-Hub buscamos termos que enfim, que eram significativamente representativos
de artigos com experimentos daqueles métodos mas no final acabou tendo a filtragem do pouquinho que a gente consegue fazer. A gente começou sei lá, a gente começou com dezenas de estudos para conseguir chegar vinte que a gente tivesse três laboratórios que fossem tecnicamente capazes de fazer. >> Entendi. E o que que te motivou a fazer pesquisas reprodutibilidade? >> Eu acho que a gente tem problema grande, não é? Enfim, acho que é o motivo maior para várias pessoas, eu acho que minha carreira cientÃfica meio que teve ponto de inflexão grande quando eu comecei a dar aulas de estatÃstica foi 2011 assim até então eu era enfim alguém da neurociência básica, eu faço pouquinho de neurociência mas cada vez menos, assim e tal. E acho que assim, acho que começar a dar aula de estatÃstica me colocou contato com literatura sobre a reprodutibilidade, John Ioannidis essas pessoas estão batendo no tema a muito tempo, assim e tal, e dois me fez perceber o quanto a ciência é baseada em dados, as pessoas trazem os seus dados, trazem os seu projetos, assim tipo assim poxa, o quanto de furos a gente tem e isso não é uma exclusividade da UFRJ, do Brasil, assim sabe acho que de uma maneira geral a pesquisa básica é muito mal desenhada, as pessoas não as pessoas não têm, enfim, não tem noção de estatÃsticas assim e tal, entendimento de conceitos básicos de estatÃstica é buraco negro na biologia. Não tem uma produção forte da linha experimental, do controle de viés, de pensar nas suas análises antes de sabe assim, coisas que a clÃnica já faz a bastante tempo, a gente tem problemas muito sérios algum momento caiu a ficha para mim que que sabe, talvez tentar concertar essas coisas aà que fosse mais importante ou mais relevante que qualquer outra coisa que eu conseguisse fazer no laboratório, assim e tal. Fora que tem uma coisa legal não na iniciativa si, assim a ideia de metaciência ou de ciência sobre ciência que a boa parte do que a gente fala sobre reprodutibilidade, tem uma coisa de "pô" sabe, tem muita literatura disponÃvel,m muita gente procurando dados assim, e acho que assim faz menos falta mais gente tirando dados mas falta gente que possa olhar para dados criticamente. >> Analisando dados. >> É de revisão sistemática que é uma coisa de novo assim, a gente pouquÃssima cultura fora da área clÃnica, assim então acho que a gente poderia ter mas não é fácil, não é necessariamente fácil você fazer uma meta-análise de trabalhos que tem suas peculiaridades, tem metodologias muito distintas, tem muitos experimentos por artigo, tem mais viés. Então assim não é simples mas assim, é uma coisa que a gente também tem tentado pensar, e "pô" como é que você consegue trazer metodologias que estão bem que estão bem estabelecidas outras áreas, aà e tal aà para uma área mais de ciência mais básica, acho que isso é importante. >> Isso. Mas eu acho que até digamos efeito de quem vai fazer esse tipo de revisão sistemática na pequisa básica é se conscientizar do problema. E aà na, quando você tenta fazer a revisão sistemática de estudos de pesquisa básica ou de estudos pré clÃnicos com animais enfim, você se depara com tudo isso e aà você percebe, nossa então, há espaço para crescer e eu acho que desse mesmo jeito foi que aconteceu também na pesquisa clÃnica não é, quando se percebeu que tinha muita heterogeneidade tinha muita coisa obscura e aà vieram os guias de redação, e tal, e aà já nesse sentido que eu ia te perguntar, que nosso curso aqui então trata de revisão sistemática da literatura que se baseiam justamente pesquisas realizadas, e como que você vê a questão da reprodutibilidade nessa área de metaciência, acho que você já respondeu pouco mas se quiser complementar. >> Eu acho que você tem enfim, os mesmos problemas potencial de quase tudo, assim. Você tem o potencial para viés, pra qualquer de análise, para enfim, seleção de desfecho ou de critérios meio por conveniência, você tem enfim, E você tem que ver o contrário, se é clÃnico, se a pesquisa quem está testando uma intervenção, não sei de quê geralmente está propenso a dizer que poxa, isso aqui vai ser efetivo, geralmente a gente tem ao contrário, a gente quer provar que está tudo errado. Mas, então assim, sei lá o principio de tentar controlar o seu viés vale para qualquer coisa, assim e tal. Do lado positivo, assim eu acho que assim, quem tá nesse campo tem uma percepção muito mais aguda do problema do que outras pessoas. Então eu acho que assim sei lá, no campo de metaciência que ainda é uma coisa muito emergente assim, muito emergente mas assim acho que tem muita gente preocupada com compartilhar dados, com registrar protocolos, assim com uma série de coisas que eu acho que ajudam nesse sentido, mas evidentemente é campo da ciência como qualquer outro assim, então assim está sujeito a vieses dos mais diversos tipos. >> E aà já nesse aspecto a gente sabe que a ciência é baseada confiança, não é? Quando nós começamos então, a pesquisar sobre a área de integridade pesquisa enfim eu percebo que tem uma linha tênue entre esse ceticismo de eu pegar uma pesquisa cientÃfica e verificar se ela é válida, verificar se os métodos dela são livres de vieses, ou pelo menos ela tem controle de vieses, e o outro lado que seria a negação, o negacionismo cientÃfico, não acreditar nada que vem da ciência que aà é prato cheio para o problema que a gente enfrenta já a algum tempo de gerar fake news, então como que você vê esse cenário, não é, de se por lado a gente aumenta a consciência das pessoas que o que está pesquisado e o que está publicado precisa ser olhado com olhar crÃtico mas o outro lado que já pode ser o extremo, que é o que eu chamo de assim de negacionismo cientÃfico, diferente de ceticismo. >> Eu acho que eles são o mesmo problema, eu acho que eles existem dentro e fora da ciência assim, quer dizer, isso tem a ver com conseguir... Acho que a revisão sistemáica tem a ver com conseguir graduar a força de evidência, assim e tal, obviamente que tem coisas que a gente sabe, a gente sabe que a terra é redonda a gente sabe que insulina diminui a glicemia, a gente sabe que a gente tem uma confiança muito grande de que o aquecimento global é provocado por causas antropogênicas enfim algumas coisas a gente sabe menos, assim e tal, quer dizer acho que até hoje a gente não sabe direito se é melhor comer carboidratos ou comer gordura aà e tal, a gente tem consensos 50 anos mas assim na prática eu acho que a gente não sabe, assim e tal, então assim o que diferencia as coisas, e isso é complicado assim, do que a gente sabe para mim é uma problemática filosófica importante assim e tal, e que acho que não está bem resolvida assim e tal, quer dizer a gente tem enfim, a gente tem a ideia que 'pô' se a coisa está enfim, idealmente a ideia não, poxa essa cois foi publicada artigo cientÃfico revisado por vários 'não sei de que', sei que deveria ser verdade não é o caso assim e tal, certamente revisão como existe hoje não é nem de longe assim o filtro para eu conseguir separar o joio do trigo, assim e tal, agora, uma coisa que foi mostrada repetidamente por milhares de grupo, é mas assim, não tem uma linha clara, assim e tal. E eu acho que a gente tem que conseguir construir essas linhas claras assim e eu acho que isso passa por ter uma ciência mais confiável assim, quer dizer sabe se está escrito, simplesmente está num artigo revisado por pares não é o suficiente para e não é para dizer que isso aqui provavelmente é verdade ou isso aqui, nem se quer provavelmente, não é nem que assim isso aqui é provavelmente verdade.
não é uma informação. >> É sinal né? >> Que isso aqui é provavelmente verdade, então a gente tem que ter higher standards, não é, tipo assim, a gente tem que conseguir confirmar algumas coisas. E a gente está pouco, eu acho que assim, especialmente na pesquisa básica, a gente está pouco equipado para isso, assim. Claro, assim, poxa sai artigo interessante a gente pode pegar, cinco, dez, quinze laboratórios no mundo, vamos todo mundo replicar e a gente chega a uma conclusão e "pô" bate o martelo assim "pô" isso aqui realmente assim está quase além de qualquer dúvida aqui e tal a gente acha que é verdade. Mas a gente não tem esse passo hoje, a gente não tem o hábito de ciência confirmatória a gente tem uma obsessão com novidade, a gente tem essa coisa que a primeira pessoa que descobriu alguma coisa é quem importa, e cara não é quer dizer, sabe a segunda pessoa que que comprovou isso aqui é tão importante quando o primeiro assim talvez assim e tal >> Sim, porque mostra que é verdade. >> Melhor e direito, com tamanho de amostra maiores provavelmente mais relevante que os primeiros estudos assim e tal, e é claro o que importa é a gente tem que ter uma pespectiva meta-analÃtica digamos assim do conhecimento, de agregar conhecimento e infelizmente assim o nosso sistema de publicação é muito ruim nisso quer dizer você, e isso é uma coisa, vocês estão em um curso de revisão sistemática fazer uma revisão sistemática, isso dá trabalho tremendo que não deveria dar assim quer dizer sabe e idealmente deveriam ter sistemas que agregassem automaticamente as coisas, você tem dez estudos sobre droga X em diabetes aqui e tal, "pô" a gente deveria ter metadados bons o suficiente para alguem está fazendo isso aqui, fazendo meta-análise automático, isso aqui é a nossa última estimativa de o efeito da droga X, ou seja, a gente não tem isso, assim e tal, processo extremamente custoso e extremante dispendioso, e assim e tal poder, sabe como organizar melhor os conhecimentos seria mais fácil não é, então assim, acho que a gente tem muito que melhorar e acho que melhorar é importante para defender a ciência quer dizer, sabe, 'Ah' porque a gente vai combater sabe, as pessoas pegam uma área tipo nutrição que ninguém sabe nada assim e tal e a gente vai combater com o quê? nem os nossos experts não deixando questionar a ciência. >> É. A gente tem que conseguir agregar. Se a gente tem a certeza de que vacina funciona, de não sei o que, tem corpo de coisa que a gente sabe. Quem sabe conseguir ir juntando as coisas que a gente vai tendo certeza. Cara, isso aqui está comprovado além de qualquer dúvida razoável. Eu acho que é importante, mas a gente não tem essa graduação de evidência, a gente não tem esse certificado e acho que isso passa pelas escolhas que a gente fez termos de como a gente certifica a ciência. Ou por sistema que me parece de revisão por pares que no fundo é opinião, é muito pouco sistemático, a gente não sabe muito bem o que entra na revisão por pares. Quer dizer, é processo anônimo feito por portas fechadas, você tem pouquÃssima orientação. Tipo assim, a gente está checando isso, isso, isso e isso. Quer dizer, a pessoa vai olhar aqui com o olhar que eu tiver. As vezes vai ser bom, à s vezes não vai. As vezes ela vai ter tempo, as vezes ela não vai. As vezes vai ter condições, as vezes não vai e no fundo a gente não sabe quem está checando, não sabe quem está olhando, não sabe o que as pessoas estão checando. E é completamente diferente de campos do empreendimento humano que as pessoas têm controle de qualidade de verdade. Se você entra no avião, você sabe, eu não sei, mas se você quiser você vai saber exatamente o que as pessoas checaram, quem é fez não sei o que, quem é que assinou, qual é a empresa, qual é a metodologia. Tudo ultratransparente termos de controle de qualidade. Eu acho que a gente tem que seguir por esse ponto. De novo, até para poder dizer "cara, isso aqui não é fake news. Tem fake news que também vão aparecer forma de artigo cientÃfico. >> Sim. >> Você tem artigos que são fakes, são fraudes. Tem revistas inteiras que são publicidade da indústria, ou são, sei lá, publicidade criacionista. Então a gente tem que conseguir criar. O pessoal da divulgação cientÃfica costuma dizer que, "não, o cientista tem que descer da torre de marfim". Cara, eu acho que a gente tem que construir a torre de marfim. A gente não tem uma torre de marfim, a gente tem castelo de cartas e nesse sentido, >> E meio que todo mundo combinou de não mexer na base do castelo de cartas. >> Fica difÃcil defender a ciência nesse mundo. Tem aquela pesquisa, poxa, X% dos brasileiros desconfiam da ciência. Eu desconfio. Não consigo discordar deles. >> [RISOS] >> O único jeito de combater o troço é combatendo o nosso telhado de vidro e sendo transparente. Não vai conseguir esconder isso, " não vamos falar do problema". Não funciona. >> Exato. Eu acho que é trazer o diagnóstico, que é o primeiro passo, e eu acho que isso que é o legal da iniciativa e depois construir bases sólidas. Então nesse sentido, que ferramentas, eu acho que você já falou algumas coisas, mas que ferramentas que você acha que podem melhorar a confiança e reprodutibilidade na ciência? >> Eu acho que a gente tem que ter, acho que passa por vários aspectos. A primeira coisa que a gente precisa ter é a gente precisa ter incentivo para as coisas serem verdade. Quer dizer, a gente tem muito incentivo para publicar, muito incentivo para dizer coisas, para postular ideias, a gente tem recompensa praticamente completamente baseado na publicação. Na verdade, sem saber se aquilo de fato se sustenta ou não. Faz pouquÃssima diferença para sua carreira cientÃfica no fim das contas. A gente tem sistema muito compromissado com a publicação. Não que as pessoas queiram mentir, ou queiram publicar uma coisa que está errada, mas o jeito que a gente estruturou a economia da ciência faz com que naturalmente você tenha muito pouco estÃmulo para questionar os seus dados. Você tem o resultado, você pode checar ele duas, três vezes para ver se é verdade mesmo, mas se não for você vai perder todo o esforço que você pôs você não vai publicar, você vai perder sua tese. Então vamos confiar. >> Não vamos nem olhar direito. >> Não acho que fraude seja grande problema. Quer dizer, existe, mas acho que não é problema de proporções grandes o suficiente para distorcer tanto a ciência assim, mas acho que o estÃmulo para, na dúvida, não pergunte, não cheque, publique isso aqui sem fazer muitos testes, infelizmente é muito comum. E a recompensa também. Quer dizer, você vai publicar, você vai achar que você teve muito bem, saiu na Nature, saiu não sei o que, pode ser tudo mentira e nesse caso você não está indo bem. Se a gente acha que ciência melhora o mundo, salva vidas, ciência errada mata gente e piora o mundo. >> Consome recursos. >> Mas você tem a impressão de que está tudo muito bem. Campos inteiros da ciência as vezes tem a impressão de que está muito bem porque a gente está dando os estÃmulos errados. Acho que a primeira coisa é recompensar verdade, rigor, antes de impacto e publicação, etc. >> Números. >> Pode até ser números, mas tem que ser números que digam respeito ao quanto. Se dez pessoas conseguiram reproduzir seu achado esse é o número que vale. A gente pula para impacto direto. Quanta gente citou, quanta gente achou, quem é que leu. Antes de tudo tem que ser verdade. Acho que a gente tem pulado esse passo repetidamente na avaliação cientÃfica. O segundo grande grupo é gerar processo de controle de qualidade que funcione. Você tem que ter estÃmulo a rigor cientÃfico, mas a gente tem que ter metodologias mais estandardizadas de controle de qualidade vários aspectos. Primeiro a gente tem que ter a revisão por pares de uma maneira mais aberta, mais transparente, que a gente saiba que está sendo checado. Nossa revista aqui checa código, pede isso, pede aquilo. Uma certificação que você não sabe se foi feita é mesma coisa que nada. Eu acho que a gente tem que migrar a revisão por pares e o controle de qualidade do produto final para mais cedo, para revisar os métodos, a ideia dos registry reports. Depois que você fez tudo está mal desenhado não adianta. No máximo você vai dizer que está ruim, mas você não vai consertar nada e nem chamar o médico depois que o paciente morreu. Então acho que a gente tem que migrar métodos para antes, a gente tem que ter sistemas mais atualizados de revisar protocolos, de certificar que estudo está bem desenhado antes dele começar. Acho que isso pode ser feito várias instâncias, não é muito claro quem é que tem que fazer. A gente deveria mandar métodos para as revistas, ou se a gente deveria fazer isso nÃvel institucional. Acho que as comissões de ética fazem isso até certo ponto. >> Sim. >> Pesquisas, mas nem todas. Então tem também que padronizar isso. Acho que métodos mais cedo funcionam. Acho que pré registrar protocolos para mitigar a flexibilidade de análise funciona e acho que tem todo lado educacional. Acho que a gente tem que terminar informações estatÃstica, experimentar uma ajuda cientÃfica, a gente pula. Cientistas da área básica tendem a olhar isto como muito simples e não é muito simples. A maior parte das pessoas na área base não sabe desenhar o experimento com medidas mÃnimas de controle de viés porque não parece importante. Porque na verdade isto daà acaba dando mais trabalho, consumindo mais recurso, diminuindo a chance de você achar resultados positivo. Parece que tudo que você faz de melhor conta contra você, isso volta lá para a primeira coisa que é o incentivo. Então acho que mudar os incentivos, melhorar o controle de qualidade, melhorar o sistema de publicação no sentido de a gente poder agregar a evidência melhor. Então é ridÃculo que a gente tenha que fazer uma revisão sistemática manualmente, deveria poder ser feito automaticamente com metadados e etc. Conseguir traquear a reprodutibilidade. Poxa, tenho achado aqui mais dez artigos da literatura, replicaram isso aqui? Não tem como saber isso dia. E educação e conscientização. A gente trabalha muito pelo lado do ativismo também. E claro, tudo isso maior transparência também. É uma coisa que a gente pode recomeçar, que a gente tem métricas e pode olhar. E o quão transparente você é termos de disponibilizar os seus protocolos, seus dados, etc. Isso é uma coisa medÃvel, tem números cima disso e dá para usar isso. Acho que a gente é muito pouco recompensado. Se você quiser botar todos os seus dados disponÃveis tem gente que vai achar que isso conta contra você, porque alguém vai usar os meus dados e vai conseguir achar uma coisa, implicar. Isso é bom. Se alguém conseguir usar os seus dados e descobrir uma coisa antes de você, mais rápido, a ciência avançou. Então a gente tem que conseguir providenciar recompensa para isso, você tem que ter estÃmulo para divulgar os seus dados e não estÃmulo para ter medo disso. É bizarro. >> É, exatamente. E uma última pergunta, Olavo. Que sugestões que você daria para os nossos alunos que querem se aprofundar pouco na área de reprodutibilidade, enfim. Que sugestões que você daria para eles? >> Entre no Twitter. >> [RISOS] >> Não, é verdade. Eu acho que tem uma discussão muito rica e muito prolÃfica e muito, na verdade, puxada por gente jovem nesse campo. O jovem é mais comum algumas áreas do que outras. Acho que essa psicologia é bom exemplo, de que muita gente entrou no barco mas tem muita literatura sobre o campo. Se você pegar algumas revistas como eLife, PlosBiology tem seções de metociência hoje dia. Tem autores clássicos, Joannidis, que são pessoas interessantes de lerem. Vocês podem acompanhar a iniciativa. A gente tem site da ativa, a gente tem rede sociais. A gente tem Twitter, Facebook. A gente tem o Instagram que não funciona muito, mas talvez venha a funcionar algum momento. A gente tem periodical que é meio que journal particular, uma brincadeira de editoração. Cada semana a gente seleciona alguns artigos, coloca lá artigos sobre a comunidade que a gente acha importantes. Depende de como você abordar o campo. Acho que tem muita coisa para ser lida e muita coisa para investigar. Acho que é uma área super rica termos de trabalho acadêmico e de oportunidades. Acho que nesse momento os problemas já estão colocados, acho que claramente o jeito que a gente faz, avalia e considera a ciência vai mudar bastante nos próximos dez ou vinte anos e acho que nesse momento ser earlier doctor de práticas reprodutÃveis e abertas ciência é uma coisa que conta muitos pontos a favor de você no setor acadêmico e tem muita ciência para ser feita sobre isso. E ciência que não custa nada. A gente tem outro projeto que se chama No-Budget Science, que se alguém quiser olhar tem Facebook mais ou menos ativo, mas basicamente tudo que é trabalho cima da literatura que está disponÃvel e para melhorar a literatura, boa parte disso não custa. A gente tem noção dos problemas que a gente está imerso no campo cientÃfico, a gente mais do que ninguém tá bem posto para conseguir identificar a área dos estudos que são importantes, sua área de intervenção. Tem muita coisa a ser feita, tem muita coisa para ser estudada, tem muita coisa que gente não sabe e dá para fazer muito disso independentemente, ou grupo de pessoas. A gente tem alguns trabalhos que a gente fez com crowdsourcing, então a gente está abrindo para quem quiser avaliar artigo, acabou de sair uma coisa sobre comparando pré prints e artigos realizados por pares, mas a gente achou 15, ou 18 avaliadores ao redor do mundo que estavam afim de fazer isso aqui, todo mundo é autor. Acho que tem uns sentidos legais de colaboração. De novo, redes sociais funcionam para isso. O Twitter particular, eu acho que é campo onde é fácil conseguir ter acesso a pessoas importantes da área, porque todo mundo está lá, a galera da meta-ciência e ciência beta e é muito aberto a pessoas jovens. Então ele é muito feito por pessoas jovens. As pessoas à s vezes me veem como bom samaritano, como alguém que está preocupado como seu eu estivesse afundando minha carreira cientÃfica e tentando fazer as coisas muito rigorosas, e eu vou mandar muito mal. É mentira, pelo contrário, eu só pelo menos até agora eu só tenho colhido os frutos, minha carreira acadêmica só cresceu ao ter me dedicado para esse tema e acho que esse é o caso das pessoas. Eu falei do Joannidis de inÃcio, de alguém que está puxando essa bola há 20 anos. Ele hoje é o médico mais citado de todos os tempos. Então mesmo falando mal do sistema, basicamente. Falar mal do sistema é uma coisa que o próprio sistema nas suas métricas recompensa hoje dia. Eu vejo o campo com grande otimismo. Acho que tem muita coisa para fazer e com uma enorme oportunidade para quem quer se dedicar a alguma coisa e acha isso uma coisa válida e interessante, acho que tem muito espaço. Tem muito espaço mesmo. Legal. Última coisa. A gente deve estar organizando Hack Week São Paulo Julho. Então se alguém estiver afim de aparecer entre No-Budget Science e você vai se abrir mais sobre isso. Mas também é uma ideia de tentar desenvolver esse projeto, sim. Isso. Julho de 2020, né? Só para posicionar os nossos alunos. A gente fez o ano passado e espero que a gente consiga repetir isto. Bacana. Muito legal. Muito obrigada, Olavo pelo seu tempo, pela sua disposição, pelo seu entusiasmo. Eu acho que acrescentou bastante para os nossos alunos aqui deste curso e se você quiser falar mais alguma coisa, fique a vontade. Acho que é isso. Acho que eu falo bastante já, então não preciso falar mais. Está ótimo. Obrigado pelo convite. Qualquer coisa, quem quiser falar comigo, a gente é razoavelmente acessÃvel tanto no reprodutibilidade.br@gmail.com, como o meu e-mail pessoal que é olavo@bioqmed.ufrj.br. Enfim, entrem contato. Perfeito. Obrigadão. Obrigado. Até logo. Tchau. Tchau. [MÚSICA] [MÚSICA]
