Un interessante sito dedicato all’uso e alla rappresentazione grafica di indagini statistiche, che porta in exergo la simpatica osservazione “Statistics are used much like a drunk uses a lamppost: for support, not illumination”, propone un affascinante grafo che rappresenta la storia della filosofia occidentale. L’autore ha tratto le informazioni, che stanno alla base della rappresentazione, dalla sezione influenced by, presente in Wikipedia in ogni voce dedicata a un filosofo. Successivamente, utilizzando un apposito software, ha costruito una rete nella quale ogni nodo rappresenta un filosofo e le linee che uniscono i nodi rappresentano appunto le influenze indicate da Wikipedia. La grandezza di ogni nodo è proporzionale al numero dei segmenti che in esso confluiscono, per cui maggiore grandezza significa maggiore importanza, e quanto più il nodo/filosofo è grande tanto più si sposta verso il centro del diagramma.
Il software che costruisce la rete consente anche di individuare gruppi di nodi connessi reciprocamente con maggiore intensità rispetto alle connessioni con gli altri nodi esterni al gruppo; si tratta presumibilmente di quelle che chiamiamo tradizioni filosofiche o scuole (ad esempio la filosofia antica oppure la tradizione cosiddetta continentale e quella analitica). Particolarmente interessante è il fatto che il grafo è tracciato in modo vettoriale, per cui è possibile scaricarlo e poi operare vere e proprie zoomate per osservare nel dettaglio le diverse zone della rete.
A una prima osservazione, la zona della filosofia medievale. debitamente ingrandita, rivela un notevole disordine: non ci sono nodi e direzioni prevalenti in modo apprezzabile. Questo è consolante: il lungo percorso che potrebbe portare alla scoperta che il medioevo è un periodo come un altro e che il pensiero medievale è ricco di sfumature, contrasti, discussioni come il pensiero di ogni altro periodo della nostra storia, deve probabilmente passare attraverso una fase di decostruzione delle grandi narrazioni tradizionali; se la rete e strumenti di grande diffusione, come wikipedia, danno il loro contributo a rimescolare un po’ le carte, è una buona notizia. Si può sperare che anche la storia della storiografia filosofica dedicata al pensiero medievale sia finalmente in condizione di entrare nel suo post-moderno.
Una seconda, ovvia, osservazione che si lega a quanto appena detto: il grafo, bellissimo dal punto di vista estetico, in realtà non insegna nulla a proposito della storia della filosofia, mentre insegna molto a proposito di wikipedia. Immagino quanto potrebbe essere interessante applicare un metodo analogo in altri casi, ad esempio ai manuali di storia della filosofia maggiormente diffusi nelle scuole superiori, e confrontare i diversi grafi che verrebbero generati; oppure studiare gruppi di manuali, caratterizzati dalla diffusione in successivi momenti storici, e poter osservare visivamente come si trasformi negli anni la rappresentazione della storia del pensiero occidentale.
Sia consentita infine un’ultima osservazione, più interna all’ambiente universitario e, in generale, al mondo della ricerca scientifica. Siamo in anni “oscuri” nei quali una quantità senza dubbio esagerata di risorse finanziarie, di impegno lavorativo e di sforzo teorico sono dedicati alla ricerca di metodi di valutazione dei cosiddetti prodotti della ricerca scientifica che consentano di superare quella antica banale tentazione per cui di fronte a un libro o a un articolo di rivista veniva da pensare che il modo più efficace per darne una valutazione fosse quello di leggerlo. Ho un sogno: che le citazioni reciproche, sulla cui base si pretenderebbe di comprendere quali siano i contributi scientifici più importanti, che i rapporti tra autori, riviste ed editori, che i ringraziamenti posti nelle prime pagine delle cosiddette monografie, che tutto questo possa essere rappresentato graficamente da reticoli come quelli di cui abbiamo parlato. Si vedrebbero in colori diversi i sottogruppi più significativi e non dovrebbe essere difficile comprendere quanto si intreccino fra loro quelli che si chiamano normalmente cordate, quelli che possono invece essere considerate scuole, tradizioni, correnti di pensiero, quelli infine che collegano tra loro quanti hanno sviluppato le proprie ricerche accademiche e le proprie fortune – mi auguro – proprio sullo studio dei sistemi di valutazione. E non dovrebbe essere difficile capire che il diagramma ci insegnerebbe assai poco sullo stato della ricerca e molto, invece, su chi e perché ha fatto le scelte alla base del lavoro statistico.
Statistics are used much like a drunk uses a lamppost: for support, not illumination, appunto.
Il mondo è bello perché è vario, come si dice … Massimo ha fatto una gran cosa, ci ha sbattuto in faccia che la varietà può essere pre-determinata, pre-definita, pre-disposta, pre- tutto insomma. D’accordo, lo sapevamo … ma ce lo siamo mai detti? e, allora, vorremmo riuscire a capire chi è che (e dove si) pre-determina, -definisce, -dispone? Naturalmente senza nasconderci anche che la nostra cultura (o industria culturale? lo so, non è lo stesso) è riuscita a rinchiudersi spesso e volentieri in asfittico, autarchico provincialismo – volentieri e spesso sommamente “accademico” … Dunque, sollevando i giovani da responsabilità che non hanno perché non possono avere, per ragioni generazionali e perché non sono stati ammessi ancora alle segrete cose delle segrete stanze, quanti di noi accademici farebbero (faremmo) meglio a consegnare con serenità le nostre teste alla ghigliottina, visti i bei risultati? Detto in soldoni: come sarà che le case editrici legate alle università tedesche ormai da parecchio tempo hanno stretto rapporti con quelle collegate con le università statunitensi, sicché i libri che escono in Germania nel giro di un paio d’anni hanno una traduzione in angloamericano? come sarà che in Italia questo non è ancora successo?
Credo che il discorso sia slittato sul sistema di valutazione, e di lì sia nato il vespaio – che tanto ci diverte e in nome del quale scriviamo. Per questo vorrei tornare all’incipit. Massimo poneva in relazione le mappe concettuali del wiki ontologia e la valutazione della ricerca. Perché? Da come si vedono e vengono descritte le mappe non sono poi così disordinate. Mi appaiono invece come una sorta di galassia costituita da proprietà, reali ma contingenti, configurate in modo tale da garantire affermazioni non solo credibili ma vere. Anzi, come i medievalisti ben sanno, vere perché credibili. ll bel programma che ci ha fatto scoprire Massimo, mira sed perversa delectatio, è la rappresentazione che le aree del sapere sulla rete non sono solo paradisi di anarchica libertà di discorso, ma selezioni (ora abbiamo anche la mappa del tesoro, come in Stevenson) di porzioni predeterminate di conoscenza. Aree credibili, cioè degne di essere reputate seriamente tali, perché pretedeterminate. Vere perché credibili. E di nuovo credibili perché vere. Patet. Ma non va dimenticato ormai il prezzo d’ingresso pagato alla preselezione: in questi bestiari entra ed è visibile solo ciò che, prima, da un’altra parte, si è deciso che debba entrare. Il resto è sottofondo rumoroso. Brusio di chi cerca di entrare, magari per un istante riesce, e poi scompare tra i flutti darwinisti del Mare dell’Oblio, sociale, culturale, scientifico. Un mare le cui coste sono indistinte, ma già segnate e decise in anticipo, come le coste di Clerville: dai contorni incomprensibili e inaccessibili se non ai disegnatori (e a Diabolik ovviamente). Si dirà: è sempre stato così. Appunto. Ammettiamolo. Mi sono scordato di parlare della valutazione?
Massimo, dai non fermarci subito all’inizio della contesa. Non pretenderai di distrarci con i grafi?
Ok, le tecniche di lettura. A quali tecniche ti riferisci? A quelle che si usavano alle superiori per dare l’impressione di aver letto I Promessi Sposi? Non funzionano per la valutazione (per me non funzionavano neppure per passare l’interrogazione sui Promessi Sposi). Cioè, può capitare di leggere delle sciocchezze così plateali che ti risparmiano il compito di leggere il resto. Però non è la norma. E se lo scopo di leggere un paper non è semplicemente quello di confermare i propri pregiudizi teorici, non è chiaro che il criterio di leggere per valutare consenta delle scorciatoie significative.
Quanto all’esistenza di criteri oggettivi di valutazione, di certo non esistono criteri oggettivi che *garantiscano* lo stesso risultato di una lettura attenta. Può accadere che un paper non sia all’altezza della rivista che lo pubblica (o viceversa). Ma questo significa che dobbiamo abbandonare l’uso di criteri oggettivi? Mi pare di no. Quando vai al pronto soccorso, usano dei criteri oggettivi per classificare l’urgenza del tuo caso. Questi criteri non sono a prova di errore, ovviamente non garantiscono lo stesso risultato di una visita attenta. Eppure li usano lo stesso, perché non sarebbe realistico fare altrimenti.
Glauco, chiedere a un valutatore di leggere 500 pubblicazioni è irrealistico, secondo me. Se vuoi controbattere, spiegami come, realisticamente, i valutatori possono fare una cosa del genere. Strillare di azioni penali e attentati al decoro non è una risposta. (Per inciso, in Italia l’università non ha alcun obbligo di pubblicare un profilo quando bandisce un concorso, l’indicazione del settore disciplinare è sufficiente).
Bene, ne desumo che non ti è mai capitato di essere in una commissione di concorso negli ultimi dieci anni; prendo anche atto del fatto che non hai insistito sulla superiore qualità del reclutamento presso le università anglosassoni (non tutte, ovviamente: ma prova a entrare a Oxford senza essere stato, diciamo così, “presentato” …); purtroppo prendo anche atto del fatto che non si ritiene un dovere etico leggere le pubblicazioni di chi si sottopone a valutazione, e questo è – mi spiace ripeterlo – perlomeno disdicevole. Ovvio che esiste un problema di valutazione, e non dire, caro Massimo, che non pensavi di suscitarlo: perché al di là dell’eleganza dei grafi, che possono piacere o no, Wikipedia istituisce una specie di “ufficialità” che ha due soli criteri, ma potentissimi, per affermarsi: essere web ed essere in angloamericoceanico (diciamo così, viste le differenti qualità di quella lingua; oppure diciamo “inglese” come si dice “spagnolo” per quel che parlano in Argentina). Magari stavolta hai trovato sensibilità accentuate dal fatto che tutti siamo reduci dall’aver perso un mucchio di tempo per la questione delle VQR e delle abilitazioni: dopodiché tutti quanti sappiamo che tra i “Quaderni di Capracotta di Sopra” e “Studi Medievali” c’è differenza, e personalmente non condivido neppure il ricorso che verrà presentato contro la valutazione di “Reti Medievali”; ma vorrei che fosse ben chiaro che, ad esempio, il “JMH” è indirizzato ad un pubblico ampio di non-specialisti (se volete vi trascrivo una nota semiufficiale che ho, diciamo così, dall’interno): ottima cosa in sé, figurarsi se non la trovo lodevolissima e anzi santissima!, ma non mi si dica che merita di stare in fascia A solo perché è in inglese (nel senso di cui sopra) …
Scusate se intervengo in qualità di master of the house (lo dico così per far vedere che sono up to date più di Glauco). Non era mia intenzione suscitare un vespaio sulla questione della valutazione, che richiederebbe forse riferimenti più ampi e completi. Anzi ci avevo già provato in altre occasioni e in altri siti e non era successo nulla, oggi invece … si vede che – per restare in tono medievistico – le vie del Signore sono infinite. Nessuno ha guardato invece i bellissimi grafi sulla storia della filosofia?
Hai torto! Supponi di avere 50 candidati che sottopongono 10 pubblicazioni ciascuno per un concorso. Cosa fai? Leggi 500 pubblicazioni? No. Fai una selezione iniziale usando indizi come il luogo di pubblicazione. Se un paper è pubblicato su una rivista seria, sai che ha già superato un controllo di qualità assai rigoroso. È chiaro che poi, per decidere chi vuoi assumere, ti devi leggere i lavori di quelli che bai selezionato. Nelle università anglosassoni funziona così e il loro sistema di reclutamento funziona meglio del nostro. Il modo più efficace per valutare un lavoro è leggerlo, ma richiedere che questo sia il criterio di valutazione da usare sempre è del tutto irrealistico.
Quando dico leggere, intendo riferirmi anche a tutte le strategie di lettura che ognuno di noi mette sempre in opera, anche quando legge I promessi sposi. Credo però non esistano criteri oggettivi per supplire all’utilizzo delle nostre soggettive strategie di valutazione.
mi spiace dover dire che non posso essere d’accordo, ma è così … e quanto alla efficienza del sistema di reclutamento delle università anglosassoni, stendiamo un velo … oppure parliamo delle abbastanza scandalose selezioni in uso a Warwick, dove il “profilo” del ricercatore richiesto dall’Università (che in Italia era obbligatorio da tempo immemorabile) viene reso noto solo a selezione fatta. Sicché ad esempio si viene a sapere che giovani/giovanissimi senza competenze accertabili (per NUMERO di pubblicazioni e anche per SEDE di pubblicazione, gentile collega Sandro …) sono più richiesti perché si possono formare, e dunque: “ci spiace per chi si presenta con libri e competenze, anche se hanno avuto riconoscimenti internazionali … non è quel che cerchiamo noi” … Faccio un caso preciso soltanto per dire che si sa benissimo come funzionano le cose, e suppongo che lo sappia anche il signor Sandro; ma, certo, un qualche criterio di valutazione bisogna adottarlo: allora si potrebbe incominciare dalla valutazione dell’università di provenienza del candidato, magari censita secondo i famosi criteri di Shangai … Non voglio pensare che, trovandosi in qualche commissione di concorso, questo lettore si sia rifiutato di leggere TUTTE le pubblicazioni presentate dai concorrenti, perché la cosa oltre ad essere eticamente e professionalmente scorretta presterebbe il fianco a sacrosante azioni penali! Quanto alle sedi di pubblicazione, anche lì ci sarebbe abbastanza da ridire: a cominciare dalla cosiddetta peer review (scrivo bene? con l’anglosaxonicum incomincio ad essere ai ferri corti), e per finire sui circoli degli amici e conoscenti che sono in grado di farti aggirare la peer review, se il referee ti è sfavorevole, suggerendoti il modo di venire incontro alle richieste del supposto peer e magari lasciandoti intendere (ma certe volte te lo dicono esplicitamente) di chi si tratta. Nessuno di noi è nato ieri, nemmeno chi ammette candidamente e/o cinicamente che è troppo faticoso leggere tutto … Verrebbe fatto di dire: ma allora, chi te l’ha fatto fare a candidarti per entrare in una commissione? Non c’è nulla di personale, ovviamente, e non ci sarebbe neppure se conoscessi identità e ruolo del lettore: è che questo andazzo (troppo simile, se mi si permette, al “bisogna che tutto cambi, se vogliamo che tutto resti come prima”) non solo mi ha stufato ma trovo indecoroso che cerchi perfino di ammantarsi di decenza
Hai detto bene e con competenza logico-informatica quello che io percepivo: una profonda diffidenza verso i criteri di valutazione in auge. Oltre a tutto a mio parere sono dannosi nelle nostre materie (le umanistiche) dove non c’è nessun’altra prova esterna di “utilità”; sembrano una forma di gioco di potere accademico che irrigidisce al già scritto e detto autorevolmente (ma cosa c’é all’inizio?) e non si apre al nuovo … ma noi saèpiamo che ci sono più cose …
hai ragione!