Criterion Related Validity

Requisiti per un test affidabile su strada

Insieme alla validità, che viene discussa nella sezione seguente, l’affidabilità è probabilmente il requisito più basilare di un test. Validità e affidabilità sono richieste di qualsiasi test, non da ultimo, in modo che i risultati dei test possano resistere a possibili sfide legali, se necessario. L’affidabilità è necessaria affinché i risultati dei test siano equi., Un test affidabile produce un risultato coerente, dato un livello coerente di prestazioni effettive da parte della persona sottoposta a test, in modo che l’esito del test non varia in modo significativo tra i singoli tester o le diverse condizioni di test (a meno che queste ultime non siano deliberatamente variate per manipolare la difficoltà del test)., Quando lo stato di una patente di guida può essere influenzato dal risultato del test, garantire che il test sia affidabile è probabilmente ancora più importante per i conducenti con disabilità rispetto ai normali test di licenza perché i clienti con disabilità sono suscettibili di essere influenzati più negativamente da un esito negativo inappropriato se hanno meno scelte di mobilità indipendenti. McKnight34 ha osservato che ” un test incoerente non può essere equo e l’equità è probabilmente importante per il cittadino medio quanto la validità” (p. 6).,

La ricerca ha dimostrato che i risultati dei test su strada sono in genere inaffidabili se sono determinati semplicemente da valutazioni globali pass / fail delle prestazioni di guida, anche quando gli individui che eseguono la valutazione sono ufficiali di test di licenza di grande esperienza. Ad esempio Vanosdall et al35 hanno studiato i processi decisionali dei tester di patente di guida esperti nel Michigan, che a quel tempo hanno semplicemente dato a ciascun candidato un passaggio o un fallimento senza alcun punteggio quantitativo., Hanno scoperto che per alcuni tester la base per una decisione fallita sembrava essere una sensazione istintiva associata al rischio percepito; spesso questo era fortemente influenzato dall’apparente abilità di guida del veicolo del conducente. Altri tester erano più influenzati da ciò che percepivano come azioni rischiose che li rendevano timorosi di essere coinvolti in un incidente stradale. In contrasto con questi esaminatori intuitivi, altri hanno usato un quadro legalistico per basare le loro decisioni., Per loro, il comportamento del conducente ai segnali di stop, ai segnali di resa e così via era più importante; quindi le violazioni relativamente minori riguardanti il diritto di passaggio, l’osservanza dei limiti di velocità e la svolta dalla corsia sbagliata erano i principali determinanti delle loro decisioni riguardanti i risultati dei test. Coerentemente con questi risultati, studi separati sulle prestazioni dei tester di licenza in California e Victoria, Australia, hanno trovato differenze ampie e coerenti tra gli ufficiali di test esperti nei loro modelli di punteggio e tassi medi di passaggio, nonostante il loro uso di fogli di punteggio formali.,36,37 Era chiaro che questa variazione tra i tester nei tipi di errori registrati non era associata a differenze tra i luoghi di prova o alla diversità dei candidati. Commentando le grandi differenze tra i tassi di pass / fail di diversi esaminatori nello stesso ufficio di prova, così come tra diversi uffici, McKnight e Stewart37 hanno dichiarato: “Queste differenze nei tassi di fallimento derivano principalmente da ampie differenze nei tipi di errori del driver segnalati da diversi esaminatori. Era evidente che gli esaminatori tendevano ad avere errori’ pet ‘ che erano alla ricerca-out per “(p., 126).

Da quel momento molti studi in tutto il mondo hanno confermato che per ottenere test su strada accettabilmente affidabili, la procedura dovrebbe richiedere ai tester di osservare e registrare aspetti specifici delle prestazioni di guida in punti predesignati lungo un percorso di prova pre-pianificato.15,31,34,38 – 42 Per i test entry-level gli unici aspetti aggiuntivi delle prestazioni di guida che vengono registrati e considerati sono quelli che comportano errori potenzialmente pericolosi che richiedono l’intervento del DRS supervisore., In un test di licenza tali errori sono in genere motivo di un fallimento immediato e la cessazione anticipata del test. In sintesi, i ricercatori hanno dimostrato che i risultati affidabili possono essere raggiunti solo se la procedura di prova segue quella descritta nel riquadro 12-1.

Sulla base di questa ricerca, molte giurisdizioni di test delle licenze hanno ora sviluppato e implementato procedure di test delle licenze entry-level conformi a questi requisiti, inclusa la valutazione delle prestazioni di guida adottata dal California Department of Motor Vehicles21,43 e la Programmed Observation License Assessment (POLA).,44

I tipi di problemi con scarsa affidabilità che sono diventati evidenti con i normali test di licenza durante gli anni 1980 e 1990 sono stati identificati anche nei test utilizzati per valutare i driver funzionalmente compromessi in quel momento. Ciò suggerisce che alcuni DRS possono visualizzare la valutazione su strada in un modo in qualche modo simile a quello di collaudatori di licenze esperti prima dell’introduzione di procedure altamente strutturate., Secondo McKnight e Stewart37 tester di licenza ha fatto “… non vista il test di guida come una misura oggettiva di competenza in sé, ma piuttosto come un mezzo attraverso il quale un esaminatore abile può giudicare competenza” (p. 62). Coerentemente con questo approccio Macdonald et al45 hanno osservato durante lo studio delle procedure di valutazione clinica predriving utilizzate da alcuni OT in quell’epoca che tendevano a visualizzare test specifici principalmente come mezzo per suscitare comportamenti informali utili a formare opinioni e giudizi clinici piuttosto che come mezzo per generare punteggi di test quantitativi., Tali approcci informali ai test riducono chiaramente l’affidabilità. Se, o in che misura, questo costituisce un problema dipende da come vengono utilizzate le informazioni.

Ai fini della ricerca, l’assenza di prove empiriche per stabilire l’affidabilità dei test su strada condotti nell’ambito di una valutazione completa della riabilitazione del conducente è stata identificata come una debolezza negli studi in cui l’esito del test su strada è stato utilizzato come criterio rispetto al quale è stata valutata la validità dei metodi di valutazione clinica.,46,47 Ai fini clinici, tuttavia, la questione del modo migliore per osservare e documentare le prestazioni dei conducenti che possono essere compromesse funzionalmente è complessa a causa della più ampia gamma di comportamenti che ci si può aspettare come risultato degli effetti variabili di molti diversi tipi di compromissione., A meno che la valutazione ha un valore meramente licenze di messa a fuoco, quindi è utile, oltre che per la registrazione programmata di osservazioni a determinati aspetti della performance, documento di osservazioni di insolito o aspetti significativi delle prestazioni, a prescindere dal particolare punto lungo il percorso in cui si verificano perché questi possono essere fortemente indicativi di effetti di specifiche disabilità (ad esempio, le questioni relative alla confusione, difficoltà a seguire le istruzioni, eccessivamente cauti o esitante, self-distrazione o comportamenti impulsivi, a scatti azioni motorie, e incoordinazione).,48,49

Le deviazioni da una procedura di valutazione completamente standardizzata possono anche essere giustificate come parte di un approccio combinato alla valutazione quando il DRS potrebbe voler valutare l’impatto sul compito di guida di specifiche menomazioni che sono ipotizzate per influenzare le prestazioni di guida in modi particolari. Ad esempio, se un cliente deve utilizzare un sistema di sterzo modificato per superare la ridotta funzionalità degli arti superiori, una prova standard su strada può essere estesa per includere ulteriori curve o manovre a bassa velocità (ad es.,, diversi tipi di parcheggio, trasformandosi in passi carrai e curve a “U”) per determinare se le competenze operative necessarie per utilizzare il dispositivo di sterzo sono state sufficientemente sviluppate.50

Nondimeno è stata chiaramente riconosciuta la necessità che i DRSS utilizzino osservazioni programmate strettamente definite nelle valutazioni su strada. In un articolo sulla valutazione dei conducenti con problemi di salute, Galski et al51 hanno osservato: “Le valutazioni su strada sono state considerate come una misura diretta delle capacità di guida. Purtroppo, queste valutazioni sono spesso prive di affidabilità e obiettività …” (p. 709)., Allo stesso modo Antrim e Engum52 hanno adottato una posizione inequivocabile su questo tema, affermando: “professionals gli operatori sanitari vorranno dimostrare che hanno adottato e utilizzato tecniche di valutazione affidabili e valide Depending A seconda solo delle impressioni generali o dell’intuizione nel valutare la capacità del paziente di utilizzare un veicolo a motore non è più una condotta professionale ragionevole.” (p., 19)

Più recentemente è stato dimostrato che le valutazioni DRS su strada potevano essere valutate con un’elevata affidabilità interrater quando sono stati implementati percorsi standard e procedure di valutazione42,53; questo approccio programmato alla valutazione DRS su strada è stato supportato anche in una revisione della letteratura pubblicata da Fox et al.41 Nel complesso sembra essere ampiamente accettata l’opportunità di aumentare l’affidabilità delle valutazioni su strada per i conducenti con disabilità funzionali o anziani adottando una procedura di osservazione programmata.,

Tuttavia, la misura in cui una procedura completamente programmata sia fattibile o auspicabile per tali conducenti è oggetto di dibattito. Si può argomentare che, poiché la popolazione di conducenti con disabilità presenta una gamma molto più ampia di prestazioni e caratteristiche comportamentali rispetto al caso dei conducenti entry-level senza disabilità medica, vi è una maggiore necessità che il test sia adattabile alle caratteristiche individuali. Si può anche sostenere che questa adattabilità è realizzabile solo facendo affidamento in una certa misura sul giudizio clinico dei singoli DRS., Se si adotta questo approccio, nel tentativo di migliorare la validità e l’equità individuale, si deve riconoscere che ci sarà una certa riduzione dell’affidabilità. Cioè, i potenziali benefici di una maggiore validità non fluiranno a tutti i clienti perché una maggiore flessibilità procedurale ridurrà l’affidabilità. Poiché gli attuali metodi di valutazione sono meno che ottimali, alcune di queste strategie sono probabilmente ancora necessarie quando gli obiettivi di valutazione affrontano problemi di disabilità e licenze e quindi rientrano nella categoria combinata mostrata nella tabella 12-3.,

Un esempio di approccio combinato alla valutazione su strada (come da Tabella 12-3) è fornito dal test attualmente utilizzato da OT-DRSs a Victoria, in Australia.10,54 Qui il test di licenza entry-level altamente programmato (POLA) ha fornito la base per lo sviluppo di un nuovo test per i conducenti con problemi funzionali. Nella forma modificata utilizzata da OT-DRSs, il contenuto dei test e il sistema di punteggio sono stati modificati per consentire al DRS di tenere conto di quelle che sono giudicate cattive abitudini di un individuo, come sono spesso dimostrate da conducenti esperti., Altri test di questo tipo includono la valutazione delle prestazioni di guida modificata in California 21, 55 e il test su strada dell’Università di Washington.42

Nella maggior parte dei casi anche il più affidabile dei test attuali trarrebbe probabilmente beneficio dalla messa a punto per migliorare la loro validità dei criteri utilizzando la ricerca sui tipi di errori di guida che meglio discriminano i conducenti danneggiati da quelli non danneggiati e al sicuro da quelli non sicuri.,* Ulteriori ricerche di questo tipo sono necessarie per fornire una migliore base di prove per distinguere gli errori di guida che sono comuni anche tra i conducenti senza problemi o accettabilmente sicuri da quegli errori che caratterizzano i conducenti compromessi o non sicuri. L’applicazione di queste informazioni al punteggio delle prestazioni o ai criteri di valutazione più ampi utilizzati nelle valutazioni DRS su strada migliorerebbe notevolmente la loro validità. Le prove attualmente disponibili sui diversi tipi di errori di guida sono descritte nella sezione seguente., Vi è anche lo scopo di migliorare l’affidabilità dei test DRS sviluppando criteri di prestazione più formalizzati relativi agli effetti di diversi tipi di compromissione, in particolare del funzionamento cognitivo, sulle prestazioni di guida.

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *