Artigo

APLICANDO A IDENTIFICAÇÃO DE EMOÇÕES EM AVALIAÇÕES DE PROJETOS CIENTÍFICOS

RODRIGUES, Joao Pedro Santos1; PARAISO, Emerson Cabrera2;

Resumo

Introdução:Neste trabalho apresentamos um método, utilizando a mineração de opiniões, para a avaliação automática de pareceres, escritos em português do Brasil, relacionados a pesquisas desenvolvidas por estudantes de iniciação científica. A mineração de opiniões estuda como, computacionalmente, pode-se identificar teores emocionais descritos em textos opinativos, como os textos de avaliações de produtos ou textos de revisões de projetos científicos. O método foi encapsulado em uma ferramenta WEB capaz de determinar a polaridade da avaliação, ou seja, baseando-se na opinião do avaliador (texto avaliativo do projeto) é possível classificar se um determinado projeto foi aprovado ou reprovado.

Objetivo:O objetivo deste plano de trabalho é aplicar um método de identificação de emoções em avaliações de projetos de iniciação científica.

Metodologia:A pesquisa contou com uma base de dados obtida junto ao Programa de Bolsas de Iniciação Científica da PUCPR, com 1.119 avaliações de projetos referentes ao ano de 2015. Todo o sistema foi implementado em uma ferramenta Java Web integrada com o WEKA, utilizando um algoritmo de aprendizagem supervisionada (SVM). Em experimentos realizados o método obteve uma taxa de acerto de 86%. Este estudo se torna relevante no âmbito de permitir uma interface de fácil utilização para os professores avaliadores, bem como, para evitar discordâncias, entre uma nota numérica atribuída e o parecer textual fornecido pelo professor avaliador.

Resultados:O corpus utilizado no experimento tem 1.119 textos (revisões de projetos). Alguns dos 1.243 projetos submetidos foram iniciados e não tiveram sua continuidade, levando a não avaliação de um relatório sobre o mesmo. Duas métricas são importantes de serem analisadas. A primeira é a precisão obtida que foi de 86,0% e a segunda o valor da Medida-F que foi de 86,2%. Os resultados podem ser considerados satisfatórios para o projeto proposto, entretanto algumas considerações devem ser feitas. A base de dados utilizada é significantemente desbalanceada, de modo que o classificador está tendendo a classificar os pareceres dos avaliadores como aprovado na maioria das vezes. Isto se comprova ao analisar a precisão obtida nas classificações das instancias reprovadas que foi de 48,9%.

Conclusões:Este trabalho apresentou um estudo sobre a utilização da mineração de opiniões na avaliação de pareceres de projetos de iniciação científica. Trata-se de um estudo inicial com vistas a melhoria do processo de avaliação de pareceres científicos, uma vez que discrepâncias podem ocorrer entre os textos dos revisores e a nota atribuída ao projeto. Apesar da ferramenta ainda não ter sido aplicada em um processo real de avaliação, dados reais de avaliações passadas (2015) mostraram a viabilidade do projeto.

Palavras-chave:Mineração de Opiniões. Avaliação de projetos científicos. Classificação.

Legendas

    1. Estudante
    2. Orientador