Bugie e menzogne nella ricerca scientifica?

19 comments

1. Molto interessante, appena ho tempo mi leggo i vari articoli scientifici che hai postato.

   Intervengo solo per fornire un po’ di retroterra ideologico su uno dei personaggi da te citati, il famigerato Wakefield, medico britannico che è un po’ il boss finale dell’antiscienza e dell’oscurantismo ideologico.

   Fu lui che nel 2010 si scoprì venne pagato per manomettere i risultati di alcune ricerche in combutta con un avvocato suo cliente, il tutto per consentire a quest’ultimo di intentare cause alle ditte produttrici di vaccini.

   Nemmeno a dirlo, Wakefield ha anche dichiarato che l’epidemia Covid in realtà è tutta una bufala, ma dubito che ci creda davvero, semplicemente una volta che ti sei abituato a soldi e lusso è difficile tornare indietro. A parte risultati scientifici deliberatamente manomessi ci sono anche accuse di abuso su bambini disagiati e disabili, quindi diciamo non è proprio una persona di cui ascoltarne anche la minima opinione.

   Sulla rigorosità che richiede la comunicazione in campo scientifico ne stavo parlando proprio poco fa in un altro thread, il rischio altrimenti è quello di creare mostri come i molti che hanno imperversato sulla scena mediatica in concomitanza della recente epidemia di Covid e qualche anni fa sull’ormai famigerato metodo stamina elaborato dall’illustre Vannoni e la sua laurea in scienze della comunicazione.

   Ancora qualche anno indietro, per chi lo ricorda, ci fu il caso Di Bella con tanto di prima serata speciale condotta all’epoca da Mentana, il tutto mentre gli scienziati, in tutti i casi qui citati, cercavano inutilmente di avvertire come in conclusione fossero tutte delle puttanate, ma niente, una volta che l’informazione viene diffusa con un certo taglio diventa peggio di un cancro destinato a contagiare chiunque ne venga a contatto.

2. Penso che anche da delle assunzioni sbagliate si possa trarre qualcosa… Voglio dire, la ricerca scientifica non si ferma solo a quando si trova la cauaa di qualcosa, generalmente in tutti i campi di studio ci sono gli schieramenti che molto spesso arrivano a smascherare le menzogne che sono state dette. Non ricordo bene, ma ci sono state alcune scoperte scientifiche che sono partite da ragionamenti non corretti per poi arrivare a quello corretto.

   Tuttavia… é scorretto e ingiusto pubblicare una ricerca se dietro c’é qualcuno che spinge per questa ricerca(ma i soldi possono tutto).. puó essere che per una ricerca sbagliata si possono causare non pochi danni.
   Poi non so, io la penso così, magari il mio pensiero é sbagliato, metto le mani avanti già da ora.

3. Purtroppo è uno dei maggiori aspetti negativi, assieme alla pressione a pubblicare il più possibile che porta a concentrarsi su piccoli progetti. Molti centri di ricerca devono accettare compromessi, che molte volte non sono menzogne, così da ricevere finanziamenti dall’azienda privata che altrimenti finanzia altri centri. In teoria dopo la pubblicazione sui giornali, altri team possono svolgere altre ricerche o rifare gli stessi esperimenti della pubblicazione e, se le conclusioni non sono corrette, scrivono una pubblicazione di risposta. In pratica vengono fatte tante ricerche al giorno d’oggi. Poi bisogna vedere anche su quali giornali vengono pubblicate le ricerche, ci sono giornali che pubblicano qualsiasi cosa se li paghi (hanno uno score molto basso).

4. C’è tutta una branca di studi dedicata alla verifica degli studi precedenti tramite replica degli esperimenti dichiarati in essi. Da una parte non ottengono gli stessi risultati o anche solo compatibili, questo fenomeno va sotto il nome di “[crisi della replicazione](https://it.wikipedia.org/wiki/Crisi_della_replicazione)” (*replication crisis*), ed è particolarmente incisivo in ambiti come quello psicologico, ma non solo, dall’altra la replica e verifica di studi precedenti è una attività sottovalutata e sottofinanziata, questo perché se lo studio dovesse confermare quello precedente otterrebbe pochissima attenzione (e fondi) per il ricercatore che lo conduce. Le borse vanno a chi scopre qualcosa di nuovo e non a chi verifica l’accuratezza del passato.

5. Interessante e molto vero.
   In quel che ho potuto vedere di prima mano della ricerca scientifica moderna (ma non solo), falsificazioni e leggerezze sono purtroppo all’ordine del giorno.

   Infatti un grande problema di fenomeni come novax,sciechimiche e altri complottismo, sono che per combattere queste fandonie si propone spesso un approccio di circa e religiosa fiducia sulla ricerca scientifica che è altrettanto dannoso.

6. Da ricercatore, la risposta breve per cui una minoranza di scienziati falsifica i dati è quella che….hanno un mutuo da pagare.
   La ricerca funziona in modo spietato. I finanziamenti sono pochissimi, scarsi e con minime possibilità di successo (5-8% in EU). Rischi di chiudere il lab dopo 1-2 anni storti senza fondi (dopo magari 20 anni di studi) e l’unico modo che hai per “salvarti” è pubblicare tanto e pubblicare sulle riviste migliori. Per come è fatta ora, la ricerca scientifica biomedica è un incentivo alla frode e alla perdita di salute mentale.

   Vorrei anche fare un appunto sulla pubblicazione dei dati aperti (open) come panacea. Puoi falsificare QUALSIASI dato tu metta in una banca dati o puoi falsificare le condizioni sperimentali che ti fanno venire i dati grezzi (raw) come tu vuoi. Banalmente, scambi il campione con un altro e lo etichetti diversamente, tratti il campione con un farmaco per far “tornare” i risultati, etc. Nessuno ha le energie e soprattuto il TEMPO per andare a controllare. Potrebbero farlo i revisori, ma non sono pagati e spesso sono docenti abbastanza distanti dai metodi di analisi dei dati, sopratutto se grandi (sequencing). La scienza dovrebbe essere uno sforzo comunitario mondiale mentre invece si è ridotta a una manciata di gruppi che pubblicano veloce e superficialmente storia per affossare la competizione. I piccoli gruppi si barcamenano ma il risultato è imho un ENORME spreco di fondi pubblici perché non ci sono sforzi coordinati. Il,sistema va cambiato dalla testa, ma chi è in testa (singoli scienziati, istituzioni o associazioni) detiene troppi interessi per cambiarlo.

7. Aggiungo qualche link a video di YouTube sull’argomento dei problemi con le pubblicazioni scientifiche.

   C’è un ottimo video di [Veritasium](https://youtu.be/42QuXLucH3Q), di qualche anno fa sulla veridicità degli articoli scientifici.

   E qui invece la [storia di Jan Hendrik Schön](https://youtu.be/nfDoml-Db64), che anche tu hai citato; in 3 parti, molto dettagliata e super interessante.

   Spero possano aggiungere qualcosa di utile alla discussione.

8. Le peer review servono proprio per verificare che la ricerca x non stia dicendo boiate: sicuramente c’è chi falsifica ricerca etc, ma il processo di peer review dovrebbe aiutare a limitare il fenomeno

9. Sbaglio o di questo farmaco ne ha parlato Costa qualche tempo fa su Morning?

10. Sono totalmente d’accordo che la ricerca soffra di un sistema di incentivi “perverso”, che promuove dinamiche fraudolente e disincentiva pratiche sane per la comunità come la pubblicazione di risultati negativi o una reale possibilità di ripetibilità degli esperimenti.

    Per questo un articolo scientifico, soprattutto se arriva a conclusioni importanti, va sempre valutato con prudenza. La prova del tempo e la ripetizione dei risultati da parte di numerosi gruppi indipendenti sono gli unici fattori in grado di mostrare quanto quelle evidenze fossero verosimili.

    Per quanto riguarda l’Alzheimer, gli ultimi 20 anni di dati hanno mostrato in maniera abbastanza chiara che, sebbene la patologia sia fortemente legata all’alterazione di meccanismi di regolazione della sintesi/clearance di alcune forme di b-amiloide, la progressione e la severità dei sintomi correla piuttosto male con l’accumulo delle placche di b-amiloide.
    Inoltre, in vitro le forme patogeniche di b-amiloide (come la più nota 1-42) hanno sostanzialmente una funzione sinaptotossica più che neurotossica.
    Quello che correla veramente bene con la progressione e la gravità dei sintomi è la iper-fosforilazione di Tau, che appare oggi essere il più promettente target per una possibile terapia.

11. La verità in generale è in crisi, sia in ambito popolare che accademico. Non pensare che la linguistica, storia, scienza politica ecc siano messe meglio. E scommetto che anche la matematica stia soffrendo in qualche modo. E non è solo la disinformazione esperto-esperto è anche quella tra esperto-popolo e giornalisti/divulgatore-popolo, ad es più avanza il tempo e più vedo quanto sia marcia e scarsa la Wikipedia

12. *Probabile rant.*

    Il fenomeno è molto più diffuso di quanto si possa pensare, talvolta trascurabile e talvolta completamente senza senso.

    Mi verrebbe da dire che sia pure diffuso in tutti i campi, quello medico è il più famoso per via delle ricadute sulla salute (dove girano più soldi e soprattutto più notizie). Ma esiste anche nel mio campo (ecologia, zoologia, evoluzione) e da quello che mi dice qualche collega pure nei settori più pratici e ingegneristici (brevetti et similia).

    Tipo nel 2020 uscì fuori il caso Pruitt. Uno dei massimi esperti (e prolifici ricercatori) del comportamento dei ragni. Una sua collega aveva dubbi sulla bontà dei dati se non ricordo male, e quando questi dubbi sono stati esposti ad altri colleghi è iniziata la caccia al dato inventato in più di 10 articoli. Arrivando alla conclusione che molti punti-dato fossero completamente inventati. La notizia è quasi attuale perché Pruitt (che ha sempre negato tutto) si è dimesso la scorsa settimana.

    E questo secondo me è uno dei modi più “facili” per alterare la ricerca. Perché di fatto non la alteri (a meno di non inventare tutto). Ed è pure iper-comune soprattutto in articoli “di basso livello”. Quando fai raccogliere dati a 3 studenti della triennale e dai come obiettivo giornaliero di misurare 300 foglie, stai sicuro che almeno 50 misurazioni o sono prese con pressapochismo o sono simili alle misure già fatte: “Vabbè ho misurato 200 foglie e son tutte di 12.3, 12.5, 12.1, 12.2 cm, che male fa se questa è 12.4”. E’ un classico.

    Alcuni dati poi non sono standardizzati (tizio A misura una testa con il calibro più inclinato di tizio B), altri sono presi da operatori differenti (può non essere un problema).

    Idem chi si accorge in fase di analisi che i dati sono pochi, e interpola o tira su una polinomiale di secondo e terzo grado per tappare i buchi. Io poi non sono dell’ambito laboratoriale, ma alcuni mi raccontano di ambienti da incubo sia per “pratiche non proprio chiare di trattamento e protocollo” e di mobbing se si vuole procedere con la propria testa. Non per nulla nelle linee guida delle riviste i dati biomedici hanno un lista che ogni anno è sempre più lunga di comunicazione dei dati, ma alla fine tanto nessuno va a rivedere e replicare la pratica del tuo modello. E’ già tanto se il revisore legge la discussione.

    Anche il fattore riproducibilità non è quasi mai reale. Alcuni ti danno i dati nel formato meno utilizzabile per renderti difficile la vita. E ti ingarbugliano il metodo per non farti sapere il protocollo. Altri ti mettono sono una formuletta finale il più “matematicamente contratta” possibile: “Abbiamo fatto l’analisi in R e il nostro algoritmo implementa queste formule ma ehi, vi diamo solo la formula finale e col cazzo che vi diamo lo script, se volete dovete retro-ingegnerizzarlo o collaborare con un matematico per applicare questa formula ai vostri dati come abbiamo fatto noi”. Altri ancora ti mettono lo script completamente in chiaro ma “ripulito”. Cioè c’è la stringa che ti fa ottenere il grafico o il numeretto che vuoi te, ma non c’è tutta la parte di pre-gestione dei dati. Alcune effettivamente ti mettono tutti i dati e tutti i codici usati e sono da A a Z completamente ricostruibili, ma non sono tanti.

    C’è qualcuno che si prende la briga di rifare le analisi? Pochissimi e solo se alla fine possono produrre un articolo loro stessi o per smerdare un competitor, o per avere un articolo in più se pubblicabile. Perché? Perché non conviene e non paga. In molti casi lavori per nulla e quello che trovi non è pubblicabile, quindi di fatto perdi proprio tempo.

    Le riviste non ti chiedono specifiche stringenti quasi mai, con eccezione del top del top. Solitamente basta mettere in supplementary qualche codice, e magari il csv dei dati. Spesso pure diviso tra portali diversi: “Ti metto le tabelle extra come allegato sulla rivista, le figure coi codici per farle su Figshare, i csv su Dryad, i database originali su Zenodo, i dati elaborati o i metadati su qualche sito oscuro poco navigabile e magari in greyweb”.

    Anche qui, perché? Perché non è fuori dal mondo che chi va a valutare il tuo articolo ti possa rubare ogni dato e pubblicarlo prima di te. Se non i dati (alquanto stupido), il metodo.

    Il numero di articoli aumenta sempre di più. Il numero di revisori – incattiviti da questo circolo vizioso – tende a calare perché la gente si è stufata di lavorare gratis. Alcuni settori fanno passare articoli con solo un reviewer e in alcuni casi pure senza il doppio cieco. In altri casi si può quasi bypassare la revisione tra pari (fai un articolo a 50 o 100 nomi e dentro ci metti tutti i revisori famosi di quel settore) anche se è l’ultimo dei problemi. C’è anche il problema dei revisori di altri settori. Spesso sei esperto di boh, analisi del sangue di serpenti e ti trovi a revisionare un framework di campionamento della dieta di serpenti tramite fototrappole gestite da IA.

    Tutto questo perché i soldi – in alcuni settori – sono sempre meno e la competizione è sempre più alta. In alcuni paesi conta letteralmente il numerino di articoli scritti (non importa se fuffa) e di citazioni (manipolabili a seconda del nome del gruppo di ricerca). Se non ti adegui è probabile trovarsi a 40-45 anni con un CV accademico della madonna ma a spasso, con un CV lavorativo pari a un liceale.

    E con tutti questi problemi la gente riesce a rompere le palle e a concentrarsi sulle autocitazioni e sull’autoplagio (non-problemi) invece di provare a modificare – non so come – il sistema.

    E questo è tipo il 30% di quello che passa per la testa a un ricercatore. Se ci mettiamo dentro la politica universitaria e anche la ricerca di fondi (investi tempo a scrivere documentazione, leggere burocratese e gestire gruppi di minimo 10 persone per 3-6 mesi a richiesta e alla fine va tutto in vacca se non ti finanziano). Poi la gente si stupisce se le slide del corso x sono aggiornate a due anni prima o se il giorno dell’esame si sovrappone a qualcosa e non vuole essere spostato. La parte didattica non è neanche un problema, perché non conta. Quindi non è che viene in coda a tutto il resto, non è proprio in fila nella lista di priorità.

13. Da profano ho avuto l’occasione di buttare l’occhio nella “ricerca scientifica”, non vi dirò in che ambiti, ma più di uno.
    Concordo sul fatto che le dinamiche esterne, soprattutto economiche, inficino quella che potrebbe essere la sana evoluzione di uno studio, ma non dipingerei i ricercatori come vittime, non tutti almeno.
    Questi sistema che “permette qualche aggiustamento” ai dati, se ce ne fosse bisogno, permette anche svariate conferenze alle Hawaii a luglio, a Cortina a gennaio a patto che vengano prodotti sti fantomatici paper.. Esempio diametralmente opposto a quello del laboratorio che fatica a campare fatto prima.

    Adesso che ho fatto il menoso, il mio intento è dire che tutto il sistema mi pare abbastanza ridicolo e che andrebbe riformato, non solo dal punto di vista dei fondi che arrivano al ricercatore, ma dalla base.

14. La notizia era su tutti i giornali all’approvazione FDA, buongiorno

15. Grazie grazie grazie

16. Smart contract per la validazione dei dati su cui sono stati elaborati i papers

    /s

17. Se siete interessati all argomento fate una ricerca sugli studi finanziati dai grandi conglomerati alimentari

18. Da persona coinvolta in/direttamente, quello che ha fatto Lesnè è imperdonabile, ma non credo che rappresenti il ricercatore medio. Piuttosto, il problema sta nelle piccole distorsioni della verità che la maggior parte degli scienziati accettano per poter pubblicare – e dunque per poter fare carriera. Non intendo la falsificazione dei dati, ma semplicemente il fatto che, per esempio, se non hai risultati significativi allora non puoi essere pubblicato, può portare a strutturare l’analisi in una maniera da poter ottenere qualcosa di significativo. L’esempio più ovvio è il fishing: faccio cento analisi, e riporto solo quelle che sono significative, ignorando le altre e soprattutto ignorando la type 1 error inflation.
    Per questa ragione le riviste promuovono le pre-registrations, e naturalmente bisogna avere delle ipotesi chiare di ricerca, ma la questione etica sta molto sulle spalle dei ricercatori singoli ed è quasi impossibile regolarla esternamente.

    Edit
    Addendum. Se pubblico qualcosa e nessuno lo replica, non vuol dire che il mio lavoro era fraudolento – è possibilissimo che i miei risultati erano falsati da noise, un campione non rappresentativo, eccetera. Per questo la riproduzione scientifica è importantissima – per quanto non premiata dalla riviste top.

19. Non sono un esperto ma un paio di cose le voglie postare.

    1. il canale BobbyBroccoli ha pubblicato una serie di video sul caso di Jan Hendrik Schön. Il più grande caso di frode scientifica nella fisica.
    2. è possibile che ci sia una correlazione tra la possibilità di questi casi e quanto sia probabile avere un brevetto?Nel mio settore (geofisica dei rischi naturali, io sono sui maremoti e ho studiato un bel po’ di sismologia), gli unici casi che mi vengono in mente sono legati a metodi farlocchi di previsione dei terremoti, ma non si tratta di falsificazione di dati, ma di procedure e tecniche che non funzionano. Un bell’esempio è il metodo VAN: proposto per prevedere i terremoti, ma una volta che sono stati chiesti dettagli è venuto fuori che o era falso o non sarebbe comunque stato abbastanza accurato.

    ​

    EDIT: per canale, intendo su YouTube.