Artigo

AVALIAÇÃO DO IMPACTO DE TÉCNICAS DE BALANCEAMENTO PARA EXTRAÇÃO DE SENTIMENTOS A PARTIR DE TEXTO

JOSE, Eduardo Ferreira1; ENEMBRECK, Fabricio2;

Resumo

Introdução:A área de análise de sentimentos, ramificação da aprendizagem de máquina, tem como objetivo classificar frases como positivas, negativas ou neutras considerando seu conteúdo. Nessa área existem algumas competições anuais bem disputadas como o SemEval.

Objetivo:O enfoque dessa pesquisa é analisar o impacto de algoritmos de balanceamento quando tratamos de análise de sentimentos, se baseando no SemEval, e levando em conta o conjunto desbalanceado que ela disponibiliza para os seus participantes.

Metodologia:Para realizar essa pesquisa, foram utilizadas as bibliotecas de aprendizagem de máquina para Python sklearn e imblearn. Tendo essas bibliotecas em mãos, foram adotados os classificadores SVM, SGD e a árvore de decisão CART, e como métodos de undersampling foram escolhidos Near Miss, Random Undersampling, Tomek Links, Cluster Centroids (CC) e para oversampling Random Oversampling, SMOTE, ADASYN. Além desses, foi utilizada a junção de undersampling com oversampling na combinação SMOTE e Tomek Links. O f1 score foi utilizado como métrica devido a ineficácia da acurácia para conjuntos desbalanceados (já que ela menospreza o erro do conjunto menor), e o método de validação cruzada, com 5 folds como procedimento de avaliação.

Resultados:SVM obteve o melhor resultado junto o CC, apesar de ter o conjunto sem tratamento de desbalanceamento melhor que alguns experimentos com o devido tratamento ao desbalanceamento. O conjunto desbalanceado junto ao SGD teve um resultado bem abaixo da maioria com balanceamento, mas já o CART teve o melhor resultado sem um balanceamento prévio.

Conclusões:Os resultados obtidos mostram que os algoritmos de balanceamento têm um impacto positivo se a escolha do classificador e do algoritmo de balanceamento for feita de maneira adequada, tendo em vista que alguns classificadores não têm tanta dependência do conjunto balanceado como outros. Também foi possível inferir a partir dos resultados que alguns métodos de balanceamento são mais estáveis que outros. Por exemplo, o SMOTE com Tomek Links obteve resultados aceitáveis em vários experimentos, e o Cluster Centroids tendo o melhor resultado com o SVM apresentou péssimos resultados junto a outros classificadores.

Palavras-chave:Mineração de sentimentos. Desbalanceamento de dados. Aprendizagem de máquina.

Legendas

    1. Estudante
    2. Orientador