testes

50 recursos para SKETCHING

Sketching é um dos processos principais do projeto da experiência do usuário. A técnica de Sketching proporciona a oportunidade de iteração e exploração de diversas idéias, antes da etapa de produção de detalhados protótipos. Os sketches devem ser considerados como parte de um processo de modelagem para analisar e ponderar as consequências de nossas decisões de projeto. Seguem aqui uma série de recursos, links, ferramentas, livros, sites, blogs e apresentações com diversas dicas, conceitos e técnicas para auxiliar o projetista de interfaces e de experiência a desenvolver o seu trabalho com sucesso.
[Documento Word com links em anexo]

arquitetura de informação
testes
usabilidade

Comments (0)

Permalink

Método de avaliação de usabilidade da PNAD Contínua

View more presentations from agner.

-
Este método de pesquisa de usabilidade foi desenvolvido para avaliar o aplicativo criado para o PDA a ser utilizado pelos entrevistadores da Pesquisa Nacional por Amostra de Domicílios Contínua (PNAD Contínua).

A PNAD Contínua é a nova pesquisa do IBGE. Será realizada a partir de uma amostra de aproximadamente 179.000 domicílios e tem como núcleo básico questões sobre trabalho e rendimento. Além disso, vai investigar temas adicionais, como: educação de jovens e adultos, migração, educação profissional, trabalho infantil, fecundidade, mobilidade social, nupcialidade, saúde, segurança alimentar, tecnologia da informação e comunicação, transferências de renda e uso do tempo.

O método de usabilidade, de caráter qualitativo, teve seis etapas: (a) Pesquisa bibliográfica e documental; (b) Observações etnográficas; (c) Seleção da amostra de participantes; (d) Entrevistas baseadas em cenários e tarefas; (e) Análise dos resultados; (f) Comunicação dos resultados.

O trabalho foi desenvolvido por mim e por Patrícia Tavares, analista de sistemas do IBGE.

ciência
IBGE Censo 2010
mobile
testes
usabilidade

Comments (0)

Permalink

Testando o instrumento de mão do Censo 2010

-

View more presentations from agner.

Apresentação realizada no I Encontro de Teste de Software para o Censo Demográfico 2010 / IBGE.

-

Quase todos os países fazem os seus censos demográficos, em cada década, contando seus habitantes e gerando dados para identificar características (idade, sexo, cor, religião, educação, trabalho, migração, entre outras), conhecer as condições de vida da população e seu desenvolvimento socioeconômico, e para desenhar um retrato exato da realidade nacional.

O Censo Demográfico 2010, a ser conduzido pelo IBGE, será uma colossal operação de coleta de dados, mobilizando um enorme conjunto de pessoas desde a fase de planejamento até a divulgação dos resultados. 200 milhões de cidadãos serão pesquisados em aproximadamente 60 milhões de domicílios, localizados em 5.565 municípios. Cerca de 190 mil pessoas serão contratadas para os trabalhos de pré-coleta e coleta de dados, supervisão, apoio administrativo, informática e apuração dos resultados do Censo 2010.

Na realização do Censo, serão desenvolvidas duas etapas primordiais de trabalho: a Pré-coleta e a Coleta de Dados, utilizando centenas de milhares de dispositivos móveis de coleta de mão (os PDAs). A operação da Pré-coleta é a primeira atividade de campo do Censo. Visa atualizar as informações relativas à área de trabalho do recenseador (mapas dos setores censitários e o cadastro de endereços), para a etapa da Coleta de Dados.

Para dar suporte ao trabalho da Pré-coleta, o IBGE desenvolveu um aplicativo que roda no dispositivo de mão, em Windows Mobile. Em Rio Claro (SP), local onde foi realizado uma edição experimental do Censo, apliquei uma série de testes de usabilidade e entrevistas com o apoio dos usuários-finais, para avaliar a adequação e facilidade de uso e aprendizado do aplicativo. Com base nos princípios heurísticos de Jakob Nielsen, o aplicativo foi testado e os resultados apresentados no I Encontro de Teste de Software do IBGE (ver slides).

Apresentação realizada no I Encontro de Teste de Software para o Censo Demográfico 2010 / IBGE.

e-gov
IBGE Censo 2010
testes
usabilidade

Comments (2)

Permalink

Eye-tracking, percepção, criatividade e o fracasso dos banners publicitários

O anúncio do próximo livro de Jakob Nielsen sobre eye-tracking, que vai sair em agosto, e um papo com o Luis Rocha, da WebDesign, me levou a escrevinhar algumas considerações sobre esta moderna técnica de pesquisa, e suas relações com a teoria da percepção, a criatividade, os testes tradicionais de usabilidade etc.

Na prática, é difícil analisar a comunicação interativa com base nos princípios estabelecidos para descrever a comunicação tradicional. A psicologia da Gestalt procurou estabelecer princípios universais aplicados à percepção visual que descrevem como ocorre o fenômeno perceptivo nos seres humanos.

Os princípios da percepção mostram que as pessoas procuram padrões em tudo que observam. Elementos similares têm, para fins de percepção visual, o mesmo grau de importância. Assim, o reconhecimento de padrões implica o discernimento de semelhanças e de diferenças entre os elementos percebidos. Os elementos que mantém semelhança visual entre si – de cor, de forma, de alinhamento, direcionamento, movimento ou outra característica – passam a constituir uma mesma unidade perceptiva.

Atualmente sabe-se que este agrupamento também pode se dar devido a fatores culturais. Isto acontece quando resultados da pesquisa de eye-tracking indicam que os usuários inconscientemente evitam as fontes extravagantes, banners coloridos e animações, pois seriam associados culturalmente a mensagens publicitárias.

O processo de agrupamento visual também pode acontecer quando há conjuntos destacados de opções na homepage, gerando distintas taxonomias no modelo mental do usuário.

Nesse sentido, suponho que alguns princípios da Gestalt continuam válidos até os nossos dias, nas telas de computador, como a semelhança, a proximidade, a continuidade, o fechamento, a busca do equilíbrio etc.

Esses princípios possivelmente determinam o comportamento ocular dos usuários, descoberto pelos estudos de eye-tracking, como o de que grandes blocos de texto são evitados, listas mantém a atenção do leitor, e o espaço branco e a coluna única são boas opções de projeto. Mas por enquanto essa relação de causa e efeito pode ser considerada apenas uma hipótese.

O design de ambientes digitais, como websites, na maior parte das vezes trabalha com as características e limitações das capacidades cognitivas humanas. E muitas vezes os projetos são fortemente impactados por estas limitações.

É o caso de interfaces que envolvem questões de segurança e os ambientes virtuais de aprendizagem, por exemplo. A área de estudos faz parte da Ergonomia Cognitiva. Um dos recursos empregados pela Ergonomia na coleta de dados empíricos e no teste de hipóteses é o método experimental.

Esse método, a exemplo do eye-tracking, implica a elaboração de um conjunto de procedimentos para o registro do desempenho humano durante a tarefa. Os experimentos com o emprego do eye-tracking configuram uma das melhores oportunidades, ao alcance dos profissionais e pesquisadores, para se aplicar o método científico para fins de avaliação de projetos de sites e ambientes digitais.

Por mais que se apóiem decisões em uma ou outra teoria, como a psicologia da Gestalt, estas são furadas se não possuírem dados empíricos que as sustentem. Daí a necessidade da coleta de dados e o teste de hipóteses. O objetivo é utilizar os dados experimentais para comprovação empírica e, se for o caso, corrigir o projeto antes que o custo de um retrabalho possa crescer.

Nesse sentido, em primeiro lugar, deve-se partir de hipóteses sobre como se daria a interação visual do usuário e de boas suposições sobre como esta interação pode ser convertida em retorno do investimento. Neste caso, o eye-tracking pode vir como técnica complementar ao teste de usabilidade tradicional. Isto sem dúvida impactará positivamente e contribuirá para o sucesso do projeto, seja uma escola virtual ou um site de comércio eletrônico.

Outras etapas de um estudo com eye-tracking devem envolver a definição de uma amostra adequada de participantes no experimento, que reflita com precisão o público-alvo. E o controle das variáveis para que as condições estejam controladas e os resultados do estudo possam ser validados cientificamente.

Ao monitorar a navegação visual dos usuários e seu esforço cognitivo, o eye-tracking fornece pistas para entender o seu pensamento, com ou sem a necessidade de verbalização. Os dados resultantes podem ser analisados estatísticamente e renderizados graficamente para evidenciar padrões. Não é possível inferir processos cognitivos específicos diretamente a partir de uma fixação do olhar. Por esta razão, eye tracking é combinado com outras metodologias de análise e a intermediação de um especialista em usabilidade é necessária.

Os resultados do eye-tracking devem ser implementados de forma complementar aos estudos tradicionais de usabilidade, como o teste formal, o “thinkaloud”, entrevistas ou o Quiz. Existem hoje equipamentos de eye-tracking discretos e não-invasivos. Mas é preciso não se criar uma idéia de supervalorização do eye-tracking como ferramenta de pesquisa, devido exclusivamente à sua aparência de sofisticação. Os diferentes métodos de avaliação se complementam e podem trazer bons insights qualitativos, mesmo aqueles mais simples como o card sorting.

A confrontação desses dados com as diretivas heurísticas dos autores consagrados como, por exemplo, Jakob Nielsen, nos auxiliam a determinar uma check-list para as modificações a serem efetuadas na interface. Esta check-list pode conter perguntas à equipe como: “nós estamos dando mais ênfase a textos do que imagens?”, “qual informação importante está situada na parte superior esquerda das páginas?”, ou “o tamanho das fontes está adequado à atitude de leitura requerida pelo conteúdo?”

Como tudo na informática, os equipamentos de eye-track vão se tornando com o tempo melhores e mais acessíveis. O perfil de projeto que se beneficia de um estudo como esse inclui aqueles em que a interpretação do conteúdo é crítica para execução das tarefas com baixa taxa de erros, em um intervalo de tempo relativamente curto.

Um exemplo são os sistemas de controle de vôo, os terminais de auto-atendimento de bancos e os sites financeiros. Além disso, podemos incluir a avaliação de publicidade on-line, comerciais de TV digital e até pontos de venda em supermercados e embalagens tradicionais. Se o site se apóia em faturamento da venda de banners, é importante realizar o estudo de eye-tracking para habilitar uma maior criatividade na localização ou tipo de anúncios.

Na minha opinião, estudos como o eye-tracking e outros, ao apontar o que realmente ocorre com os usuários na sua interação com os produtos, abrem um campo criativo enorme ao design, desafiando-o a solucionar problemas com base em fatos concretos e não em pressuposições corriqueiras baseadas no senso comum das equipes e do cliente.

Por exemplo, ao demonstrar que os leitores online ignoram banners, focando neles apenas por uma fração de segundos, esses estudos desafiam todos os designers e comunicadores a sermos mais criativos e a respeitar os limites cognitivos dos usuários. Por exemplo, criando bons anúncios textuais e posicionando-os próximos ao conteúdo relevante, sem irritar os usuários com ações não solicitadas por eles.

Na verdade, a galera adora bolar coisinhas engraçadinhas para receber prêmios, mas, como o eye-tracking comprova, essas ações muitas vezes não são convertidas em cliques ou vendas, e não proporcionam o retorno do investimento. Além disso, sabe-se que os usuários gastam muito tempo procurando botões e menus. Os links de navegação precisam de um design bem feito, e este é outro desafio criativo colocado pelos estudos de eye-tracking aos designers.

-

Para saber mais, fique de olho neste lançamento:
Eyetracking Web Usability , de Jakob Nielsen e Kara Pernice (sai em agosto).

Este outro livro, é voltado para a mídia impressa:
Eyetracking the News: a study of print and online reading - de Sara Quinn, Pegie Stark, Rick Edmonds – The Poynter Institute

Estudo clássico na Web:
Eyetracking the News (Poynter Institute)

bibliografia
ergodesign
testes
usabilidade

Comments (0)

Permalink

Seminário no IBGE

Fiquei um certo tempo sem postar aqui, por motivos de força maior, entre os quais o fato de que o blog saiu do ar por uma semana. Aproveito para colocar a minha apresentação para a série de seminários LEP (Laboratório de Estatística Pública), realizado no IBGE, no auditório do prédio da Avenida Chile, no Rio, em 28 de janeiro último.

-

RESUMO

Usabilidade representa a capacidade de um sistema ser utilizado com eficácia, eficiência e satisfação, segundo a norma ISO 9241. Arquitetura de informação (AI) é o projeto estrutural de um espaço de informação com o objetivo de facilitar a realização de tarefas e permitir o acesso intuitivo dos usuários aos seus conteúdos.

O estudo em questão analisa a usabilidade e a Arquitetura de Informação do portal IBGE. A apresentação se foca em metodologia de pesquisa de campo realizada através da aplicação de testes de usabilidade. Considerou-se a interação do portal com as suas audiências, enfatizando comportamentos de busca de informação, tarefas e modelos mentais, em contraponto ao grande volume de dados disponibilizados e à sua complexidade.

A partir da identificação de segmentos das audiências-alvo, foram desenvolvidos ensaios de interação, com a participação de estudantes de pós-graduação (mestrandos e doutorandos) de universidades do Rio de Janeiro. Após a análise dos resultados geraram-se recomendações de usabilidade e A.I para orientar o aperfeiçoamento e a reestruturação do portal. O trabalho se baseia em pesquisa de doutorado realizada junto ao departamento de Design da PUC-Rio.

Palavras-chave: Design, Ergonomia, Arquitetura de Informação, Usabilidade, Governo Eletrônico, Interação Humano-Computador, Interface, Internet, Estatística, World Wide Web.

arquitetura de informação
ciência
e-gov
testes
usabilidade

Comments (1)

Permalink

Ferramentas online de AI e Usabilidade

Eye Tracking Online
http://www.freewaregenius.com/2007/09/18/feng-gui-viewfinder-heatmap/
http://www.feng-gui.com/

Alguns acham este simulador automático de eyetracking uma balela, pois esse tipo de teste depende do contexto sócio-cultural dos usuários e inúmeros outros fatores perceptivos e cognitivos. Trata-se de uma aplicação de “inteligência artificial” que simula o caminho comum do olhar das pessoas em uma imagem estática ou página da web. Podemos indicar uma url ou fazer o upload de uma imagem gif, por exemplo, e o site gera um “mapa de calor”. Mas será que os conceitos da percepção visual são os mesmos em qualquer lugar do mundo ou podem ser reconstruídos por um algoritmo matemático independente de diferenças culturais e de seus contextos? Cabe verificar, mas eu fiz alguns testes e tive a sensação de que o algoritmo está furado.

Card Sorting Online
http://www.optimalsort.com/pages/default.html
Este serviço online foi idealizado pela arquiteta de informação Donna Maurer e sua equipe. Trata-se de uma ferramenta profissional de apoio a avaliações com usuários realizadas por meio da técnica de classificação/organização de cartões.

Mais Card Sorting: Web Sort
http://websort.net/
Faz o mesmo que o Optimal Sort. Tem ferramentas de análise dos dados, assim como papers ensinando como fazê-la. As suas planilhas podem ser importadas para o EZCalc (há um link para o download deste programinha). Para até 10 participantes é gratuito.

Programinha de Card Sorting – para Download
http://www.cardsort.net/downloads.html
Este site disponibiliza o download de um software para PC ou Mac com o objetivo de te auxiliar na realização de estudos baseados em cardsorting.

StickySorter: Diagrama de Afinidade para Download
Este software pode ajudar no cardsorting e é free.
http://www.officelabs.com/projects/stickysorter/Pages/default.aspx

Teste de Usabilidade Online
http://www.robotreplay.com/
O serviço é bem interessante, principalmente por ser gratuito, mas não pode ser considerado um teste de usabilidade verdadeiro, na medida em que não tenha cenários, tarefas, público-alvo, contexto de uso ou protocolos de verbalização. A definição da amostra é sempre por conveniência. Mas acho bom para ser adotado em blogs e sites pessoais, mais como uma curiosidade…

arquitetura de informação
tecnologia
testes
usabilidade

Comments (0)

Permalink

Análise de testes de usabilidade, na PUC

Na minha apresentação de ontem da pós da PUC-Rio, mostrei este trabalho sobre Análise de Testes de Usabilidade – que disponibilizo aqui.

O registro de observações de um teste de usabilidade gera grande número de informações. O desafio do pesquisador é organizá-las, reportá-las e interpretá-las. Eu vi isto acontecendo na prática durante a minha pesquisa de doutorado.

O método Top-Down provê maior consistência na análise das observações e começa a partir de uma gama de heurísticas consolidadas. Exemplos de heurísticas: Nielsen; Bastien e Scapin; e Louis Rosenfeld. O método Bottom-up assemelha-se a uma técnica de card sorting aberto, em que a equipe de pesquisa identifica a posteriori as categorias dos problemas observados e o modo como eles serão agrupados.

arquitetura de informação
testes

Comments (0)

Permalink

Metodologia de aula – usabilidade

Foto Aula UniverCidade

Registro – Na aula pós em WebDesign, o primeiro passo foi uma apresentação com as informações gerais sobre o que é o Teste de Usabilidade (veja o slide show em um post anterior). Logo em seguida, aproveitamos o tempo extra com a prática de laboratório inspirada na metodologia dos testes de usabilidade.

A prática poderá incluir: Definir objetivos; Identificar o problema; Definir o tipo de teste; Distribuir os papéis da equipe; Perfil dos usuários-alvo; Redigir cenário e tarefas; Definir benchmarks; Equipamentos e metodologia; Definir métricas e dados qualitativos; Preparar documentos de apoio; Prospectar os participantes; Executar teste piloto; Reavaliar a metodologia e Aplicar os testes pra valer.

Depois, vem a parte mais desafiadora da Análise dos Dados: Compilar e Resumir os Dados; Identificar erros e dificuldades dos participantes; Identificar a fonte dos erros; Priorizar problemas; Gerar Recomendações; Recomendações de maior impacto; Recomendações de curto e longo prazos; Definir áreas para futura pesquisa e Redigir o Relatório.

Nas fotos, alguns takes da pós da UniverCidade, onde a turma põe a mão na massa, avaliando os seus projetos. O tempo é curto para tudo que nos propusemos a fazer. O restante fica pra próxima. Espero que todos tenham gostado. ;)

Foto Aula UniverCidade 2

testes
usabilidade

Comments (2)

Permalink

Aula sobre testes de usabilidade

Esta foi a apresentação de hoje da minha aula sobre testes de usabilidade na pós de WebDesign da UniverCidade.

Os testes são técnicas etnográficas (emprestadas da antropologia) nas quais os usuários interagem com um produto ou sistema, em condições controladas, para realizar uma tarefa, em um dado cenário, visando a coleta de dados comportamentais. É um processo empírico de aprender sobre a usabilidade de um produto, observando os seus usuários, durante a sua utilização.

ergodesign
testes

Comments (4)

Permalink

Testes em campo

Testar interfaces com usuários é um processo exaustivo e fascinante. Ao planejar o teste de usabilidade, deve-se decidir se será um teste em laboratório, em campo, ou um teste remoto.

O teste de campo é o mais indicado para avaliações somativas (para determinar como o produto trabalha no mundo real). É uma técnica adequada para avaliar a interação em um determinado ambiente, uma vez que as influências causadas por este podem ser críticas para a usabilidade de um produto.

As preparações preliminares ao teste incluem o walkthrough e o teste-piloto. O walktrough é a primeira chance de testar o equipamento e checar os materiais (documentos, checklists, questionários), os cenários, a terminologia, o tempo previsto e as perguntas. O teste-piloto é um “teste do teste” e o seu participante deve ser recrutado dentro do grupo de usuários-alvo.

Como vocês sabem, estou pesquisando a usabilidade e arquitetura de informação do portal do IBGE no contexto da minha tese de doutorado. Dois walktroughs já foram aplicados na UniverCidade com a participação de usuários tolerantes. Após os walktroughs, foram aplicados também dois testes-piloto.

Um desses pilotos (realizado no campus da PUC-Rio) está disponível aqui para download (vídeo, WMV, 17Mb). Confira!

tese
testes
usabilidade

Comments (2)

Permalink