Misure ripetute

Un progetto di misure ripetute è quello in cui vengono effettuate misurazioni multiple o ripetute su ciascuna unità sperimentale. L’unità sperimentale potrebbe essere una persona o un animale, e misurazioni ripetute potrebbero essere prese in serie nel tempo, come ad esempio in pressione sistolica settimanale o pesi mensili. Le valutazioni ripetute possono essere misurate in diverse condizioni sperimentali. Misurazioni ripetute sulla stessa unità sperimentale possono anche essere prese in un momento nel tempo., Ad esempio, potrebbe essere interessante misurare il diametro di ciascuna delle diverse lesioni all’interno di ogni persona o animale in uno studio. La dipendenza, o correlazione, tra le risposte misurate nello stesso individuo è la caratteristica distintiva di un progetto di misure ripetute. Questa correlazione richiede un’analisi statistica che tenga adeguatamente conto della dipendenza tra le misurazioni all’interno della stessa unità sperimentale, il che si traduce in un’analisi statistica più precisa e potente.,

L’analisi delle misure ripetute comprende uno spettro di applicazioni, che nel caso più semplice è una generalizzazione del test t accoppiato.1 Un progetto di misure ripetute all’interno dei soggetti può essere pensato come un’estensione del test t accoppiato che coinvolge ≥3 valutazioni nella stessa unità sperimentale. L’analisi delle misure ripetute può anche gestire progetti più complessi e di ordine superiore con componenti all’interno del soggetto e componenti multifattoriali tra soggetti. L’attenzione qui è sui disegni all’interno dei soggetti.,

Problemi di progettazione

Un progetto completamente randomizzato è quello in cui ogni unità sperimentale (ad esempio, persona o animale) viene assegnata in modo casuale a 1 di diversi trattamenti concorrenti. Ad esempio, si propone uno studio per confrontare 4 trattamenti (ad esempio, un controllo e 3 trattamenti attivi distinti o un controllo e 3 diverse dosi dello stesso trattamento), e un campione di 20 animali sono randomizzati ai 4 trattamenti., La randomizzazione potrebbe essere implementata da 1 di una serie di possibili tecniche che vanno da una semplice randomizzazione (in cui viene prodotta una singola sequenza dei numeri da 1 a 4 e gli animali vengono assegnati in base alla sequenza) a una randomizzazione più coinvolta che utilizza stratificazione o blocchi permutati.2 La strategia dei blocchi permutati viene utilizzata per garantire l’equilibrio nel processo di randomizzazione in modo tale che un numero uguale di animali sia assegnato a ciascun trattamento., Questa strategia può essere progettata per garantire l’equilibrio nei punti di iscrizione specificati, ad esempio l’equilibrio tra i 4 trattamenti dopo la randomizzazione di 8 (2 per trattamento) o 12 (3 per trattamento) unità sperimentali. Questa strategia viene generalmente utilizzata quando l’iscrizione a uno studio avviene nel tempo. Con la strategia dei blocchi permutati, 5 animali sarebbero stati assegnati in modo casuale a ciascun trattamento nel presente esempio.

L’obiettivo dell’analisi è quello di confrontare le risposte tra i 4 trattamenti. Se la variabile dipendente o risultato è continua, questo test viene eseguito con ANOVA.,3 Se la variabile di risultato è categorica, questo test viene eseguito con un test χ2.4 Questi test si basano sul presupposto che le misurazioni all’interno e tra i trattamenti siano indipendenti o non correlate. Se le unità sperimentali non sono correlate (cioè, non membri della famiglia o littermates) e 1 misurazione è stata effettuata per unità, allora questa ipotesi è ragionevole.

Al contrario, in un progetto di misure ripetute, vengono prese misurazioni multiple su ciascuna unità sperimentale. Si consideri nuovamente l’applicazione sopra descritta in cui l’obiettivo dell’analisi è quello di confrontare i 4 trattamenti concorrenti., Un disegno a misure ripetute potrebbe coinvolgere 5 animali, ciascuno misurato 4 volte, una volta in ogni condizione sperimentale. Il design delle misure ripetute coinvolge un numero minore di animali, che è sia efficiente che eticamente attraente.

Se vengono misurati 5 animali in ognuna delle 4 diverse condizioni sperimentali, un totale di 20 misurazioni sarà nuovamente disponibile per l’analisi. Le 20 misurazioni, tuttavia, non sono indipendenti ma sono correlate all’interno dei soggetti., Poiché le misurazioni potrebbero essere influenzate da caratteristiche all’interno del soggetto (ad esempio, età o fattori genetici), sono necessari test statistici che tengano adeguatamente conto della correlazione all’interno del soggetto. Se assumiamo che le misurazioni effettuate nello stesso individuo siano correlate, il test per una differenza nei trattamenti comporterà una minore varianza residua o di errore rispetto a quella basata su un disegno completamente randomizzato, aumentando così la precisione nell’analisi.,

Un progetto di blocco randomizzato è quello in cui un insieme di unità sperimentali sono organizzati in gruppi omogenei o blocchi sulla base di una caratteristica assunta per influenzare il risultato. L’obiettivo è quello di avere repliche r di ciascuno dei trattamenti k in ciascuno dei blocchi b, con la dimensione totale del campione n=kbr. Si consideri di nuovo lo studio che confronta 4 trattamenti concorrenti (k=4). Supponiamo che il risultato di interesse sia noto per essere influenzato dall’età. Con n = 20 unità sperimentali indipendenti, queste potrebbero essere organizzate in 5 gruppi di età (ad esempio, quintili di età) con 1 replica per gruppo (k=4, b=5, r=1)., In un progetto di blocco randomizzato, le unità sperimentali all’interno di ciascun blocco sono assegnate in modo casuale ai trattamenti e questa tecnica riduce la variazione a causa delle differenze di età. Il design può essere pensato come repliche di un esperimento completamente randomizzato in cui ci sono tante repliche quante sono i blocchi.

Alcuni disegni a misure ripetute possono essere visti come un caso speciale del disegno a blocchi randomizzato in cui il blocco è la singola unità sperimentale (ad esempio, persona o animale). Il design a blocchi randomizzato viene spesso utilizzato con fratelli o littermates., L’unità familiare è il blocco e le valutazioni vengono ripetute su ciascun membro della famiglia. Le valutazioni all’interno di una famiglia o di una cucciolata sono correlate. La contabilizzazione delle dipendenze all’interno del blocco si traduce in un test più preciso delle differenze di trattamento.

Analisi di misure ripetute

L’analisi di misure ripetute può essere utilizzata per valutare le variazioni nel tempo di un risultato misurato in serie o per testare le differenze in 1 o più trattamenti basati su valutazioni ripetute negli stessi soggetti., L’applicazione più semplice ha 1 fattore all’interno dei soggetti (ad esempio, ciascuno di n soggetti sono misurati sotto k distinti trattamenti sperimentali), e l’obiettivo dell’analisi è quello di testare una differenza nei trattamenti sperimentali. Ciò si ottiene costruendo una statistica di prova come il rapporto tra la varianza dovuta ai trattamenti e la varianza residua o di errore. Nell’analisi delle misure ripetute, la varianza totale può essere suddivisa in varianza tra soggetti e varianza all’interno dei soggetti. La varianza tra i soggetti riflette le differenze individuali dei soggetti., La varianza all’interno dei soggetti consiste di 2 componenti, differenze tra trattamenti e variazione di errore o residua. La statistica di prova per testare l’ipotesi nulla di uguaglianza dei mezzi è il rapporto tra la variazione dovuta ai trattamenti e la variazione residua, dopo che la variazione tra soggetti è stata rimossa. I componenti della varianza e la statistica del test sono illustrati nella Figura 1. I dettagli dei calcoli sono illustrati nell’esempio 1.

Figura 1., Partizionamento della varianza totale in un fattore ripetuto-misura ANOVA.

Esempio 1

Viene eseguito uno studio su animali per valutare l’attivazione del transgene nel cuore. Il risultato primario è l’accorciamento frazionario percentuale, che viene misurato al basale e di nuovo dopo 2, 4 e 6 settimane di trattamento. Una valutazione finale viene effettuata dopo 6 settimane di trattamento e 2 settimane di sospensione del trattamento. Al basale, i topi avevano 12 settimane di età; quindi, alle successive valutazioni, erano 14, 16, 18 e 20 settimane di età., Tre topi hanno completato il protocollo e i dati sull’accorciamento frazionario percentuale misurati in ogni punto temporale sono mostrati nella Tabella 1. L’ipotesi di ricerca è che i punteggi di accorciamento frazionario percentuale media siano diversi nel tempo. I mezzi in ogni punto temporale sono mostrati nella riga inferiore della Tabella 1 e diminuiscono nel tempo. Per testare una differenza significativa nei mezzi nel tempo, viene utilizzata un’ANOVA ripetuta. I risultati delle misure ripetute ANOVA sono contenuti nella Tabella 2. La statistica di prova per l’uguaglianza dei mezzi nel tempo è F=95.,4 (df=4,8), che è altamente statisticamente significativo a P<0,0001. Pertanto, esiste una differenza altamente statisticamente significativa nell’accorciamento frazionario percentuale media nel tempo.

Tabella 1., colspan=”1″ rowspan=”1″>26

13
2 44 46 39 24 14
3 48 48 46 33 20
Media 46.,7 48.3 41.3 27.7 15.7

Table 2.,res ANOVA per la Differenza in Percentuale Accorciamento Frazionale nel Tempo

Fonte di Variazione Gradi di Libertà la Somma dei Quadrati Media Piazze F P
Tra gli argomenti 2 80.,5
all’Interno di soggetti 12 2380.4
Tempo 4 2331.6 582.,0 il 95,4 <0.0001
Errore 8 48.8 6.1
Totale 14 2460.,9

Supponiamo che questi stessi dati sono stati correttamente analizzati come se fossero derivati da un disegno completamente randomizzato. I risultati dell’ANOVA, test per una differenza di mezzi nel tempo, sono contenuti nella tabella 3. Se i dati vengono trattati in modo errato come osservazioni indipendenti 15 e analizzati con ANOVA, la statistica F è F=45.1 (df=4,10), che è ancora altamente statisticamente significativa., Si noti la differenza nell’errore o nella variazione residua tra i metodi. Il denominatore della statistica F per testare le differenze nelle medie nel tempo è l’errore quadrato medio. Nelle misure ripetute ANOVA, l’errore quadrato medio è 6.1 rispetto a 12.9 nell’ANOVA che ha assunto l’indipendenza. In questo particolare esempio, l’analisi errata ha comunque prodotto un risultato significativo. In altre applicazioni, la mancata considerazione delle dipendenze tra le osservazioni potrebbe comportare un risultato non significativo., L’ANOVA ripetuta che tiene conto in modo appropriato delle dipendenze nei dati produce un test più preciso.

Tabella 3., Errata Analisi Mediante ANOVA per il Test di Differenza in Percentuale Accorciamento Frazionale nel Tempo

Fonte di Variazione Gradi di Libertà la Somma dei Quadrati Media Piazze F P
Ora 4 2331.,6 582.9 45.1 <0.0001
Errore 10 129.3 12.9
Totale 14 2460.,9

Se una differenza significativa è trovato, potrebbe essere di interesse per i test per le differenze tra le coppie di trattamenti o, nell’esempio 1, tra i punti temporali specifici. Questi test devono essere gestiti con una procedura di confronto multiplo che gestisce nuovamente in modo appropriato la correlazione nei dati e controlla anche il tasso di errore di tipo I (vedere Larson3 e Cabral5 per i dettagli).,

Analisi delle misure ripetute con misure ripetute su 1 fattore

Un’estensione popolare delle misure ripetute a senso unico ANOVA è l’ANOVA a due fattori con misure ripetute su 1 fattore. In questa applicazione, viene spesso utilizzato un gruppo di trattamento (ad esempio, trattamento medico contro trattamento chirurgico, trattamento contro placebo o sfidato contro incontrastato) e diversi soggetti vengono assegnati a ciascun gruppo di trattamento, ma il risultato viene nuovamente misurato ripetutamente nel tempo. L’obiettivo è quello di confrontare i trattamenti rispetto alle differenze nel risultato., Il fattore di trattamento è un fattore tra soggetti e non ha misure ripetute. Tuttavia, le valutazioni ripetute sono prese su ogni soggetto all’interno di ogni trattamento nel tempo e, quindi, il fattore tempo deve essere gestito in modo appropriato nell’analisi. La procedura suddivide nuovamente la variazione per produrre statistiche F per testare le ipotesi di uguaglianza dei risultati tra i trattamenti e l’uguaglianza dei risultati nel tempo. La varianza è partizionata come mostrato in Figura 2 e vengono eseguiti i seguenti test di ipotesi. Il primo test è un test per l’effetto del trattamento., Questo viene fatto costruendo una statistica F come il rapporto tra la variazione del trattamento e la variazione dell’errore dovuta ai soggetti all’interno dei trattamenti (Figura 2). Il secondo test è per le differenze nei risultati nel tempo, il fattore ripetuto. Questo viene nuovamente eseguito costruendo una statistica F. La statistica F per le differenze nel tempo si basa sul rapporto tra variazione del tempo per errore o variazione residua., Poiché si tratta di un design a due fattori, può anche esistere una possibilità di interazione tra i fattori di trattamento e di tempo (cioè un effetto diverso del trattamento nel tempo), e questo viene testato costruendo una statistica F come il rapporto tra la variazione del trattamento per tempo all’errore o alla variazione residua (Figura 2). Alcuni ricercatori testano prima gli effetti del trattamento e del tempo e quindi eseguono un test per l’interazione, mentre altri testano prima un’interazione e poi testano gli effetti del trattamento e del tempo., Se esiste un’interazione statisticamente significativa, l’effetto del trattamento è diverso nel tempo e, pertanto, i test per un effetto complessivo del trattamento e un effetto complessivo del tempo non spiegano completamente le differenze nell’esito (vedere Kleinbaum et al6 per maggiori dettagli).

Figura 2. Partizionamento della varianza totale in ANOVA a due fattori con misure ripetute su 1 fattore.

Questi dati possono essere analizzati in diversi modi., Un problema importante è la specifica appropriata della natura delle correlazioni tra le misurazioni nella stessa persona, chiamata struttura di covarianza. La maggior parte dei pacchetti di calcolo statistico offrono una varietà di strutture di covarianza per questi tipi di analisi, e le covarianze devono essere modellate correttamente. Tre strutture sono molto popolari e si adattano a molte applicazioni. Il primo è chiamato “simmetria composta” e presuppone che le correlazioni tra tutte le coppie di misure siano le stesse., Questo può essere ragionevole per uno studio di misure ripetute in cui ogni soggetto è misurato in k diverse condizioni sperimentali. Il secondo è chiamato “autoregressivo di ordine 1” o AR(1) e presuppone che le correlazioni tra coppie adiacenti siano maggiori delle correlazioni tra coppie più distanti. Questo può essere ragionevole per i dati misurati in serie nel tempo, per cui le misure più prossimali sono più altamente correlate rispetto alle misure prese più distanti nel tempo. Per questa struttura, i punti temporali dovrebbero essere approssimativamente equidistanti nel tempo., Una terza struttura popolare è chiamata “non strutturata” e, come suggerisce il nome, presuppone che ogni coppia di misurazioni abbia una propria correlazione. Sebbene quest’ultimo possa sembrare attraente, in realtà produce un’analisi meno potente perché i dati devono prima essere utilizzati per valutare la struttura di correlazione e quindi per eseguire le analisi primarie. Alcuni pacchetti di calcolo statistico (ad esempio, SAS, SAS Institute, Cary, NC) offrono metriche per determinare quale struttura si adatta meglio ai dati. Una di queste misure è il criterio di informazione Akaike, con il quale valori più piccoli indicano una migliore vestibilità., Come in tutte le analisi statistiche, è importante pianificare e implementare modelli parsimoniosi che siano biologicamente sensibili. Un esempio di ANOVA a due fattori con misure ripetute su 1 fattore è contenuto nell’esempio 2.

Esempio 2

Viene eseguito uno studio randomizzato controllato con placebo per stimare gli effetti a breve termine di un farmaco antipertensivo sulla pressione arteriosa sistolica. I soggetti sono assegnati in modo casuale a ricevere il trattamento o un placebo., La pressione arteriosa sistolica viene misurata prima della somministrazione della prima dose di trattamento (basale) e di nuovo a 2, 4 e 6 settimane dopo l’inizio del trattamento (o placebo). Lo studio coinvolge 6 partecipanti, 3 dei quali sono assegnati in modo casuale a ciascun braccio di trattamento; i dati sulla pressione arteriosa sistolica misurata in ogni punto temporale sono mostrati nella Tabella 4. L’ipotesi di ricerca è che la pressione arteriosa sistolica media sia diversa tra i trattamenti.

Tabella 4.,>

150 148 144
Subject 2 158 155 147 142
Subject 3 158 155 150 145
Media 156.,7 153.3 148.3 143.,> 141 135 130
Subject 5 160 151 135 120
Subject 6 155 145 140 132
Media 154.,3 145.7 136.7 127.3

La figura 3 riporta la media sistolica pressione sanguigna nel corso del tempo per i partecipanti sottoposti a trattamento e dato un placebo. La pressione arteriosa sistolica media è diminuita nel tempo in entrambi i gruppi, con una diminuzione più netta nel gruppo di trattamento. I risultati dell’ANOVA a due fattori con misure ripetute sono contenuti nella tabella 5. La statistica test per la parità di trattamento significa nel tempo è F = 36.,1 (df=1,4), che è altamente statisticamente significativo a P=0,0039. Pertanto, una differenza altamente statisticamente significativa è presente nella pressione arteriosa sistolica media tra i pazienti trattati con il farmaco antipertensivo e quelli trattati con placebo. Anche il test per una differenza nella pressione arteriosa sistolica media nel tempo è altamente statisticamente significativo . Il test per l’interazione tra trattamento e tempo è marginalmente significativo . Questo test valuta l’omogeneità della differenza nella pressione sanguigna media tra il trattamento e il gruppo placebo nel tempo., La figura 3 mostra che la differenza di mezzi si sta allargando nel tempo, il che sta guidando il test per l’interazione verso la significatività statistica.

Figura 3. Media (SE) della pressione arteriosa sistolica nel tempo nei gruppi trattati con placebo.

Tabella 5., Per Misure ripetute ANOVA per le Differenze nella Pressione Sanguigna nel Corso del Tempo

Fonte di Variazione Gradi di Libertà la Somma dei Quadrati Media Piazze F P
*Il denominatore è l’errore quadratico medio a causa di soggetti all’interno di trattamento.,
†Il denominatore è l’errore quadrato medio.
Tra gli argomenti 5 601.5
Trattamento 1 541.5 541.,5 36.1* 0.0039
Errore di soggetti all’interno di un trattamento 4 60.0 15.0
All’interno di soggetti 18 1707.,0
Tempo 3 1348.5 449.5 27.1† 0.0001
Trattamento×tempo 3 159.2 53.,1 3.2† 0.0626
Errore 12 199.3 16.6
Totale 23 2308.,5

Le analisi riportate in Tabella 5 si assume pari correlazioni tra misure (ie, composto di simmetria). Un’analisi alternativa per questi dati sarebbe una struttura di correlazione autoregressiva in cui le correlazioni tra misure prese più vicine nel tempo sono superiori a quelle misurate più distanti., Se assumiamo una struttura di covarianza AR(1), la statistica del test per l’uguaglianza di trattamento significa nel tempo è F=12.7, che è significativa a P=0.0235. Il test per una differenza nella pressione arteriosa sistolica media nel tempo è altamente statisticamente significativo (F=30,4, P=0,0001) e il test per l’interazione tra trattamento e tempo è significativo (F=3,7, P=0,0423). Il criterio di informazione Akaike è 102.7 per il modello di simmetria composta e 98.0 per il modello AR(1). Poiché valori più piccoli indicano una migliore vestibilità, il modello AR(1) è una scelta migliore per questi dati.,

Le stime dell’effetto del trattamento sono fornite nella Tabella 6 sia per il modello che assume la simmetria composta che per il modello che assume una struttura di covarianza AR(1). Si noti che le stime dell’effetto del trattamento sono le stesse; tuttavia, gli errori standard sono diversi, il che influisce sul significato della differenza.

Tabella 6., Stima dell’Effetto del Trattamento Assumendo Diverse Strutture di Covarianza

Struttura di Covarianza Stima dell’Effetto SE T P
Composto simmetria 9.5 1.6 6.01 0.,0039
AR(1) 9.5 2.7 3.6 0.0235

Approcci Alternativi per l’Analisi di Misure Ripetute di Dati

Quando si ripetono le misure sono state prese su ogni unità sperimentale, diversi approcci per l’analisi statistica sono possibili., Ripensando all’ANOVA a due fattori con misure ripetute sul fattore 1, un approccio semplice per gestire la correlazione tra misure ripetute nella stessa persona comporta il calcolo dei punteggi medi per ogni persona nel tempo. Nell’esempio 2, ciò ridurrebbe le dimensioni del campione a n1 = 3 e n2 = 3 e il test per le differenze di trattamento potrebbe essere eseguito con il test t spaiato. Usando i dati nell’esempio 2, questo produrrebbe t = 6.0, P = 0.0039, che indica che una differenza significativa è presente nella pressione sanguigna sistolica media tra i gruppi., Questo test t si basa solo su 3 osservazioni per gruppo e 1 osservazione per partecipante (la pressione sistolica media nel tempo). Questo approccio è analiticamente corretto ma non sfrutta appieno i dati. Questo approccio è molto meno potente dell’approccio a misure ripetute. Una seconda alternativa è valutare le differenze di trattamento in ogni momento. Nell’esempio 2, questo si traduce nella conduzione di 4 test t spaiati, 1 in ciascun punto di osservazione. Questo approccio è ancora una volta inefficiente, perché non consente alcuna valutazione della tendenza nel tempo., Inoltre, questo approccio aumenta la probabilità di un risultato falso positivo a causa di più test statistici.5,7 L’approccio più efficace consiste nel tenere conto esplicitamente della dipendenza nei dati mediante l’uso di tecniche di misure ripetute, e questo può essere fatto in molti modi diversi.

Ipotesi e dettagli analitici

Un’ipotesi importante nell’analisi delle misure ripetute è la sfericità, o omogeneità delle varianze nel tempo. La maggior parte dei pacchetti di calcolo statistico offrono test per sfericità., Se l’ipotesi viene violata, è possibile utilizzare modelli misti per affrontare esplicitamente le differenze.8

Sono disponibili numerosi pacchetti di calcolo statistico che offrono procedure per misure ripetute ANOVA. All’interno di questi pacchetti, sono disponibili diverse opzioni per condurre i test. SAS, ad esempio, offre diverse procedure in grado di gestire i dati di misure ripetute., Occorre prestare particolare attenzione al layout dei dati, alla specifica dei fattori (ad esempio, fissi o ripetuti), ai termini di errore appropriati per le statistiche dei test e alla natura delle correlazioni tra le osservazioni misurate nello stesso individuo (ad esempio, la struttura di covarianza). Littell et al7, 8 forniscono un approccio dettagliato all’utilizzo di SAS per l’analisi di misure ripetute.

Informazioni integrative

Nessuna.

Note a piè di pagina

Corrispondenza con Lisa M. Sullivan, PhD, Boston University School of Public Health, Department of Biostatistics, 715 Albany St, Boston, MA 02118., E-mail
  • 1 Davis RB, Mukamal KJ. Test di ipotesi: mezzi: primer statistico per la ricerca cardiovascolare. Circolazione. 2006; 114: 1078–1082.Il nostro sito utilizza cookie tecnici e di terze parti per migliorare la tua esperienza di navigazione. Confronto delle tecniche di randomizzazione per studi clinici con i dati del HOMERUS-trial. ipertensione. 2005; 14: 306–314.CrossrefMedlineGoogle Scholar
  • 3 Larson MG. Analisi della varianza. Circolazione. 2008; 117: 115–121.,LinkGoogle Scholar
  • 4 D’Agostino RB, Sullivan LM, Beiser AS. Biostatistica applicata introduttiva. Belmont, California: Brooks / Cole; 2004.Google Scholar
  • 5 Cabral HJ. Procedure di confronto multiplo. Circolazione. 2008; 117: 698–705.LinkGoogle Scholar
  • 6 Kleinbaum DG, Kupper LL, Muller KE. Analisi di regressione applicata e altri metodi multivariabili. 2 ° ed. Boston, Messa: PWS-Kent; 1988.Google Scholar
  • 7 Littell RC, Henry PR, Ammerman CB. Analisi statistica dei dati di misure ripetute mediante procedure SAS. J Anim Sci. 1998; 76: 1216–1231.,CrossrefMedlineGoogle Scholar
  • 8 Littell RC, Milliken GA, Stroup WW, Wolfinger RD. SAS System for Mixed Models. Cary, NC: SAS Institute Inc; 1996.Google Scholar

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *