Esercizi -  8. Tecniche di valutazione

ESERCIZIO 8.1

Disponendovi in gruppi o coppie, usate l’esempio del walkthrough cognitivo e ciò che sapete sulla psicologia degli utenti (Capitolo1), per discutere il design di un’applicazione informatica a vostra scelta (per esempio, un word processor oppure un pacchetto di disegno). Suggerimento: focalizzate la discussione su uno o due compiti specifici all’interno dell’applicazione.

Risposta

Questo esercizio è stato preparato per dare un’idea dell’uso della tecnica del walkthrough cognitivo. Il walkthrough cognitivo viene descritto in dettaglio nel Capitolo 8 e qui potete usare lo stesso formato. È importante concentrarsi su un compito che non sia troppo banale, per esempio la creazione di uno stile in un pacchetto di word processing. Supponete anche che l’utente conosca bene la nozione di stile (e le applicazioni sulla stessa piattaforma, per esempio, Mac, PC, UNIX e così via), ma non lo specifico pacchetto di word processing. Dovreste prestare attenzione agli esempi in cui l’interfaccia non riesce a supportare l’utente nella risoluzione dell’obiettivo e a quelli in cui gli presenta falsi percorsi.

ESERCIZIO 8.2

Quali sono i lati positivi e negativi dell’uso dei video nella sperimentazione? Se avete accesso a un videoregistratore, cercate di trascrivere una parte dell’azione e della conversazione (non deve essere un esperimento, una soap opera andrà benissimo!). Quali problemi avete incontrato?

Risposta

Tra i vantaggi dei video ci sono: una rappresentazione realistica e precisa dell’esecuzioni dei compiti soprattutto dove viene usato più di un video e una registrazione permanente del comportamento osservato.

Tra gli svantaggi ci sono: la gran quantità di dati, difficili da analizzare efficacemente; la necessità di trascrizione; l’intrusività; la richiesta di un equipaggiamento speciale.

Eseguendo questo esercizio, sperimenterete alcune delle difficoltà che si incontrano nel rappresentare una videoregistrazione in un formato scritto semi-formale. Se state lavorando in gruppo, esaminate quali parti del video sono più difficili da rappresentare e quanto sono importanti per capire lo spezzone video.

ESERCIZIO 8.3

Nel Paragrafo 8.4.2, si è visto che i risultati osservati potevano essere la conseguenza dell’interferenza tra gli utenti. Riuscite a pensare a design alternativi che possono rendere la cosa meno probabile? Ricordate che la variazione tra i singoli era molto ampia, quindi è indispensabile mantenere un disegno within-subjects, ma potete eseguire più test su ciascun partecipante.

Risposta

• Ci sono tre modi possibili per ridurre le interferenze.
• Durante il periodo iniziale di formazione, ai soggetti presenti fate imparare a memoria ora un gruppo di icone ora un altro, con lo scopo che si abituino a commutare da una serie all’altra. Si potrebbe sostenere, però, che questo design ha le stesse lacune dell’originale. Se le icone astratte fossero state insegnate separatamente, forse i risultati sarebbero stati migliori.
• Potremmo inventare un terzo insieme di icone "random" (chiamate R) e inserirlo nell’esperimento, cioè presentare le icone negli ordini RARN e RNRA. L’intenzione è prevenire qualsiasi effetto di trasferimento nel "rumore" delle icone random. Si potrebbe dichiarare che l’esperimento misura la robustezza degli insiemi di icone rispetto a tale "rumore"!
• Potremmo fornire ai soggetti varie presentazioni, per esempio gli ordini ANAN e NANA e questo non rimuoverebbe gli effetti dei trasferimenti, ma offrirebbe un modo per quantificarli. Immaginate che nel gruppo ANAN la seconda presentazione delle icone astratte sia decisamente peggiore rispetto alla prima, ma non ci sia un effetto simile per le icone naturali nel gruppo NANA. Questo fornirebbe sia la prova positiva di un effetto di trasferimento sia magari una misura quantitativa, tuttavia, risulterà difficile passare da questa ulteriore prova a una conclusione forte.

Si noti che tutte le misure viste richiedono altro tempo ai soggetti e bisogna costantemente valutare i vantaggi di esperimenti più ricchi rispetto a quelli di gruppi più ampi di soggetti.

ESERCIZIO 8.4

Scegliete un metodo di valutazione appropriato per ciascuna delle seguenti situazioni. In ogni caso identificate:

(i)         i partecipanti

(ii)        le tecniche usate

(iii)       i compiti rappresentativi da esaminare

(iv)       le misurazioni da eseguire

(v)        un progetto di massima su come eseguire la valutazione.

(a)        Siete alla prima fase del design di un pacchetto di fogli elettronici e desiderate verificare quale tipo di icone saranno più facili da imparare.

(b)       Avete un prototipo per un sistema di prenotazione teatrale che deve essere usato da potenziali frequentatori di teatri per ridurre le code alla biglietteria.

(c)        Avete progettato e implementato un nuovo videogioco e volete valutarlo prima di lanciarlo sul mercato.

(d)       Avete sviluppato un sistema di supporto alle decisioni di gruppo per l'ufficio di un avvocato.

(e)        Vi è stato chiesto di sviluppare un sistema per memorizzare e gestire i risultati degli esami degli studenti e vorreste testare due design diversi prima dell’implementazione o della prototipazione.

Risposta

Si noti che queste risposte sono solo illustrative; ci sono molte tecniche di valutazione possibili che potrebbero essere adatte agli scenari descritti.

Pacchetto di fogli elettronici

Sistema di prenotazione teatrale

Nuovo sistema di gioco

Sistema di supporto alle decisioni di gruppo

Gestione dei risultati degli esami

ESERCIZIO 8.5

Completate l’esempio del walkthrough cognitivo per il design del controllo remoto del videoregistratore.

Risposta

Continuate a porre le quattro domande per ogni Azione nella sequenza. Calcolate ciò che l’utente farà e come risponderà il sistema. Se potete analizzare B e C, troverete che le Azioni da D a I sono simili.

Suggerimento: Ricordate che non c’è un formato universale per le date.

Azione J: Pensate alla prima domanda. Anche l’utente saprà che bisogna premere il pulsante di trasmissione? Non è probabile che l’utente raggiunga la chiusura dopo l’Azione I?

ESERCIZIO 8.6

Nel definire uno studio sperimentale, descrivete:

(a)        come formulereste come sperimentatori l’ipotesi che deve essere supportata o rifiutata con il vostro studio;

(b)       come decidereste tra un design sperimentale entro i gruppi o tra i gruppi.

Risposta accessibile solo ai docenti

ESERCIZIO 8.7

Quali sono i fattori che guidano la scelta di un metodo di valutazione adeguato per sistemi interattivi diversi? Date brevi dettagli.

Risposta accessibile solo ai docenti