A participação na competição acadêmica Irony Detection in Portuguese – IDPT 2021, organizada pela Universidade Federal de Pelotas como parte do Iberian Languages Evaluation Forum (IberLEF), trouxe resultados positivos para o instituto. Além da boa posição no ranking, o time do SiDi teve a oportunidade de interagir, aprender e viver uma experiência que deverá contribuir para o aperfeiçoamento do seu trabalho.
O desafio da competição, que começou no final de março e foi encerrada neste mês de maio, foi identificar a presença de ironia em textos de notícias e em tweets escritos em português. Na categoria textos de notícias, a equipe do SiDi ficou em 4.º lugar na classificação geral, com a pontuação BACC (que mede a acurácia) de 0,8970 – o primeiro colocado atingiu 0,9215. Se for considerado o resultado por times, o SiDi obteve a segunda colocação no ranking, uma vez que as três primeiras posições ficaram com competidores da mesma equipe – pelas regras, cada equipe poderia apresentar várias submissões de modelos.
Em tweets escritos em português, o time do SiDi ficou em 5.º lugar – 10.º na classificação geral, consideradas todas as submissões. A equipe conquistou a pontuação 0,50 na medição de acurácia balanceada (BACC) – o primeiro colocado obteve 0,52.
Para Nataly Leopoldina, que trabalha na área de segurança cibernética do SiDi, a participação no IDPT foi positiva, principalmente porque permitiu um contato maior com os especialistas em processamento de linguagem natural (PLN) do instituto. “Isso certamente vai ajudar o trabalho desenvolvido na minha área”, afirma.
Bruna Osti, também da área de segurança cibernética, concorda que a experiência foi enriquecedora. “Foi uma oportunidade de aprender muita coisa com os especialistas dessa outra área”, ressalta. Henrico Brum, que trabalha com PLN, também considera importante a participação em eventos desse tipo. “É bom trabalhar com datasets novos, porque acaba ajudando nosso trabalho no SiDi”, conclui.