ENCONTRAR GRUPOS ADEQUADOS, CUSTO E FALTA DE CONSENSO
Os maiores desafios para os pesquisadores e desenvolvedores de Sistemas colaborativos no que diz respeito aos processos de avaliação são encontrar grupos e ambientes que se adequem às variáveis apropriadas para a realização de avaliações, generalizar os resultados obtidos e encontrar guias para projetá-las e conduzi-las [Prates et al., 2006a].
Além disso, as avaliações são caras e não existe um consenso a respeito da metodologia a ser aplicada para sua realização [Pinelle & Gutwin, 2001].
OS 4 PRINCIPAIS DESAFIOS
No trabalho de Prates & Raposo [2006], foram apresentados alguns desafios vivenciados por avaliadores durante o planejamento e a execução de testes com usuários de Sistemas Colaborativos. Esses desafios serão listados abaixo, com discussões relacionadas a cada um deles:
Desafio 1: Determinar o número necessário de avaliadores para a avaliação: apesar de existirem alguns estudos de caso que relatam o que foi feito [Pinelle & Gutwin, 2000], e ainda que, em alguns casos, tenham sido adotadas soluções que funcionaram para aplicações mono-usuário (sem discussões maiores sobre a aplicabilidade) [Baker et al., 2001] [Pinelle & Gutwin, 2002a], essa questão não é muito discutida na área de avaliação de SiCo’s.
Desafio 2: Dificuldade de se conseguir o número necessário de participantes para o teste: Além da dificuldade de se conseguir pessoas com esse perfil dispostas a doar seu tempo para a avaliação, há ainda um complicador, que é coordenar a disponibilidade desses voluntários para se juntar os grupos.
Desafio 3: Dificuldade de se avaliar durante o teste questões de natureza social e cultural geradas pela tecnologia: a natureza de simulação dos testes impede que sejam observadas durante os testes questões relacionadas com o impacto da tecnologia no grupo, ou na organização, além de seus efeitos nas relações sociais, Essas questões só podem ser observadas se o uso da ferramenta for acompanhado em seu contexto real de utilização. Apesar disso, durante os testes podem ser colhidos indicadores que poderão ser úteis na avaliação do potencial impacto do sistema. Ainda assim é difícil definir cenários que permitam observar esses indicadores, que poderão ter outros custos associados.
Desafio 4: Identificação de problemas básicos que justificam a interrupção da avaliação: um
problema básico pode ser entendido como algo que impeça o uso pretendido do sistema, impossibilitando que ele seja avaliado em relação a determinado aspecto. A identificação desse problema justifica interromper a avaliação, corrigir o sistema e refazer a avaliação. No entanto, muitas vezes é difícil até mesmo identificar se um problema pode ou não ser caracterizado como básico.
Já enfrentou algum dos desafios acima? Possui sugestões para driblar alguns desses problemas? Compartilhe conosco! :)
REFERÊNCIAS:
Pinelle, D. & Gutwin, C. (2000). A review of groupware evaluations. In Proceedings of WET ICE 2000, pp. 86--91.
Pinelle, D. & Gutwin, C. (2001). Group task analysis for groupware usability evaluations. In Proceedings of the 10th IEEE International Workshops on Enabling Technologies: Infrastructure for Collaborative Enterprises, pp. 102--107. IEEE Computer Society.
Pinelle, D. & Gutwin, C. (2002a). Groupware walkthrough: adding context to groupware usability evaluation. In Proceedings of the SIGCHI conference on Human factors in computing systems: Changing our world, changing ourselves, pp. 455--462. ACM New York, NY, USA.
Prates, R.; Araújo, R. & F.M., S. (2006a). Introdução a avaliação de sistemas colaborativos. Anais da escola regional de Informática de Minas Gerais, pp. 127--157.
Fonte figura: http://www.virtual.ufc.br/cursouca/modulo_3/desafios_ii.html
