Ti rispondo ora, in maniera più precisa e sistematica, al tuo ultimo messaggio e a quello precedente.
Attento che stai facendo un po' di confusione con alcuni concetti, andiamo con ordine.
1) L'importanza del p-value in un test d'ipotesi non dipende dal numero di osservazioni fatte (mentre il suo valore chiaramente sì). Il fatto che tu ottenga un valore di 0,01 in un test con 10, 100 o 1000 dati non fa differenza, la risposta del test è sempre la stessa, non è che un p-value valga più di un altro. Il punto è che nel momento in cui rifiuti l'ipotesi nulla riesci a dare una stima più precisa dei parametri indagati con un numero maggiore di dati.
Ti faccio un semplice esempio: se prendi una moneta apparentemente non truccata, la lanci 3 volte e fai un test, anche se ottieni 3 volte croce non puoi rifiutare l'ipotesi che questa non sia truccata perché ottieni un p-value di 0,125. La presenza di pochi dati è già, in qualche modo, compresa nel risultato stesso del test. Dopodiché se continui il test totalizzando 400 volte testa e 600 volte croce (uso numeri comodi, è solo un esempio) allora li sì che devi rifiutare l'ipotesi nulla (il valore del p-value in questo caso è diverso dal precedente, tralascio i calcoli). In aggiunta, grazie all'ampio numero di dati puoi anche dare una stima efficace del parametro della distribuzione, ovvero: p=0,4 cosa che prima, con sole 3 croci, era impensabile.
2) L'esempio che fai non è preciso per diversi motivi. Il primo è che nel mio lavoro io non sto mettendo in discussione il fatto che i dati da me raccolti provengano da distribuzioni di Bernoulli (li ho raccolti in modo tale che rappresentino realizzazioni di questa variabile aleatoria, come potrei andare a sostenere il contrario?). Il punto sotto indagine è il valore del parametro p che regola tale distribuzione e la questione si traduce nella domanda: p=1/2 o no? Detto ciò, per rimanere nel tuo esempio, come fai a sostenere che la moneta che hai non abbia un difetto di produzione tanto da avere una probabilità diversa di dare testa o croce? Va bene considerare come ipotesi nulla il valore nominale (ovvero che una moneta dia, con la stessa probabilità, sia testa che croce) ma se arrivi a dare questa per scontata e non ti poni neanche il problema che questa possa essere falsa allora non solo devi cestinare il mio lavoro ma anche tutta la branca di statistica inferenziale che si occupa dei test d'ipotesi e argomenti annessi.
3) Attento che nel mio lavoro io non uso la legge dei grandi numeri (che parla della convergenza della media campionaria al valore atteso della distribuzione)! Quando faccio l'osservazione qualitativa: "i dati sembrano discostarsi in maniera significativa dal valore atteso" (o qualcosa del genere) non sto facendo uso di quella legge, sto semplicemente facendo una descrizione qualitativa a parole. Infatti poi non ci sono calcoli a riguardo. Io nel mio studio uso il teorema centrale del limite (che permette, tramite una opportuna trasformazione di passare da dati qualsiasi a una distribuzione gaussiana di media e varianza note). Le ipotesi dei due teoremi sono diverse.
4) Dove hai letto che per applicare la legge dei grandi numeri ad una distribuzione di Bernoulli ti servano almeno 200 prove? La varianza della media campionaria decresce come 1/n quindi puoi usare i teoremi asintotici con buona precisione ben prima di avere tutti quei dati.
5) Lo so benissimo pure io che i dati in mio possesso non siano molti, non c'è bisogno che tu lo ribadisca in ogni messaggio che scrivi. Comunque ho verificato che le ipotesi del confronto tra popolazioni di Bernoulli fossero soddisfatte prima di mettermi a fare i calcoli. Ho riportato brevemente questo fatto anche nel mio lavoro. Dopodiché se vuoi fare qualcosa di utile potresti prendere i tuoi rapporti di combattimento e vedere, nel caso di attacchi non fake (almeno 300 unità di popolazione perse da almeno una delle due parti) a giocatori con cui non avevi il morale pieno, in quanti di questi avevi la sorte a tuo favore e in quanti no in modo da rendere più precisi i miei risultati.
6) Per quanto riguarda il tuo messaggio che ho citato, se dici quanto hai scritto non ti è chiaro il fulcro del mio lavoro. Il mio studio si basa sul fatto di mettere a confronto la sorte ottenuta combattendo contro top players e quella contro giocatori piccolini. é proprio questo il punto spinoso della meccanica della fortuna nel mondo di Grepolis ed è proprio questo che io vado ad indagare. A me non interessa affatto dividere i dati e ridurne il numero solo per il gusto di farlo.
Spero di essere stato chiaro, se qualcosa ti sfugge chiedi pure.
1) In tal caso non esisterebbe il p-hacking, no? Aspetta, non era uno dei più grandi problemi dell'analisi dei dati?Ti stai trincerato dietro al fatto che il p-value ha una notevole importanza (
messa in dubbio da anni ormai, nda), ma hai rifiutato che il numero di campionamenti incida sulla sua importanza. Il punto è
il numero di campionamenti incide sul valore effettivo e, quindi, è importante per stabilire l'attendibilità del p-value.
2) Infatti la cestinerei, visto l'uso che ne viene fatto, purtroppo. Per entrare un po' più nel dettaglio ti voglio far presente che il problema non è il fatto che la moneta presenti o meno dei difetti, ma che
il numero di lanci è troppo basso per dare come risultato un p-value attendibile
3) Chiariamo un attimo una cosa:
le analisi qualitative e le osservazioni qualitative servono a studiare proprietà e attributi degli oggetti (sì, sono diversi tra loro),
le analisi quantitative sono quelle che hanno il numero di dati sufficiente a formulare ipotesi e prevedere il futuro mediante l'uso della statica inferenziale. Una popolazione di dati di un'analisi qualitativa è, per definizione stessa di analisi qualitativa, incapace di rappresentare una popolazione quindi con che logica effettui un'analisi statistica di tipo quantitativo e ci fai valutazioni qualitative sopra?
4) Io non ho parlato di applicazione del teorema di Bernoulli alla distribuzione di Bernoulli, ma ad una qualsiasi distribuzione di probabilità. La distribuzione di Bernoulli è una distribuzione di probabilità. Le analisi quantitative, anche quelle statistiche, si effettuano con variabili quantitative. Quando lavori con variabili quantitative è richiesto un indice di incertezza sui valori inferiore allo 0,5% e, quindi, dato il metodo di campionamento necessario almeno 200 dati (
1/200*100 = 0,5%, nda) perché per un numero minore non esiste la certezza di definire un nesso causale tra i dati e il dominio della funzione.
Esempi di questa situazione sono le procedure delle normali analisi dei test farmaceutici che prima vedono processati tutti i dati, poi, se viene stabilito che vi è un incertezza relativa al valore medio inferiore al 0,5%, si può passare alla parte statistica (
dove avvengono gli scempi, nda). In questo caso l'analisi dell'incertezza non può essere effettuata, ma la soglia numerica dei dati risulta comunque necessaria onde annullare i possibili errori umani.
5) Hai detto che stavi compiendo uno studio sul tuo account, ora proponi di allargarlo al mio senza sapere quali siano le particolarità del mio account, ma anzi mi hai inserito in automatico tra gli account pieni di gold e che attaccano senza morale alto. Direi che la parzialità con cui ti sei approcciato mette in mostra benissimo quanto sia alto il rischio di dati manomessi.
6) A me la cosa era chiarissima, ma sei tu che non comprendi una cosa:
quello studio non vale un'acca perché non contiene i dati di input. Hai scelto tu quali dati scartare indicando i criteri, ma nessuno può sapere se è vero. I dati, anche quelli scartati, vanno inclusi nel lavoro perché chi li riceve possa vedere se non ci sono manipolazioni.
Hai sottoposto un lavoro nascondendo i dati, creando sottopopolazioni di dati (prendere in esami solo determinati report con requisiti che non sono indicati da nessuna parte) all'interno di quelli indicati dalla distribuzione della wiki e hai usato un numero di dati molto ridotto, tutto questo senza fornire alcun dato per replicare le tue valutazioni, quindi senza poter sapere che quello che hai pubblicato corrisponda a verità.
Ti faccio una domanda molto semplice: se prendendo tutti e 300 i report, questi rispettassero la distribuzione affermata dalla wiki, cosa ci sarebbe di sbagliato? La distribuzione della sorte sarebbe rispettata. Il tuo assunto si basa che per una sottopopolazione (solo alcuni report del totale) quella distribuzione non valga, ma non hai minimamente indicato né dimostrato che non valga per i report in totale.
