O uso correto do idioma que fala é importante para o cidadão em suas atividades profissionais, onde termos específicos variam de acordo com a atividade profissional desempenhada.
%
Por exemplo, pessoas que exerçam atividades no ramo jurídico utilizam termos específicos do direito no seu dia a dia profissional, tais quais \textit{habeas corpus}, abroquelar, cártula chéquica, areópago, fulcro e estipêndo funcional; no ramo médico, os termos poderiam ser incisão, febrífugo, benigno, ejunorrafia ou abdução.
%
De modo semelhante, o ensino de uma língua estrangeira depende do aprendizado de novas palavras com novos significados.
%
A aquisição de um repertório do idioma ou do dialeto a ser utilizado é necessário para o correto uso deste no dia-a-dia, entendendo e fazendo ser entendido por seus interlocutores.
Para auxiliar a aprendizagem de uma língua estrangeira \cite{anthony2013critical, oliveira2009linguistica}\apud{granger1998tag}{sardinha2000linguistica} ou do idioma para fins específicos \cite{oliveira2009linguistica} como no cotidiano profissional, a análise de corpus de textos é uma técnica que pode ser utilizada.
%
Segundo \citeauthoronline{sardinha2000linguistica}, um desses trabalhos do século XX foi o de Thorndike, publicado em 1921, que identificou as palavras mais frequentes de língua inglesa e \aspas{[...] impulsionou mudanças no ensino de língua materna e estrangeira, tanto nos Estados Unidos quanto na Europa [...]} (p. 236), onde \aspas{durante boa parte do século XX [...] muitos pesquisadores [...] se dedicaram à descrição da linguagem por meio de corpora, [...] [que] eram coletados, mantidos e analisados manualmente [...]} (p. 235).
%
Entretanto, no século XX, a velocidade e os custos de propagação da informação ainda eram elevados.
Com o desenvolvimento tecnológico das telecomunicações, os custos de acesso à internet reduziram, a largura de banda aumentou e a rede ganhou mais usuários.
%
De acordo com uma pesquisa do \citet{cetic2016pesquisa}, 51\% do total de domicílios possuem acesso à internet, 86\% dos alunos acessaram a internet ao menos uma vez no último trimestre à pesquisa e 95\% dos professores possuíam acesso à internet em casa.
%
Isso vem gerando uma crescente pervasividade da internet na vida das pessoas.
%
Por conta disso, a web é uma plataforma que possui o potencial de atingir um grande número de pessoas em território nacional.
%Com base nesse contexto, este trabalho propõe a criação de um sistema na nuvem, ou seja, na internet, para pesquisa e análise de coleções de textos com exemplos significativos de uso da língua portuguesa.
%
%Esta ferramenta será útil para auxiliar o estudo da língua como realmente é usada.
Atualmente, existem ferramentas voltadas ao usuário final capazes de processar corpus de textos, dentre elas podemos destacar o Word Smith, o Unitex/GramLab, o Sketch Engine e o Palavras. Destes, apenas o segundo é livre e apenas o terceiro possui uma interface web; sendo nenhuma delas livre e web simultaneamente. Dentre as ferramentas que processam a língua portuguesa, não há nenhuma plataforma que seja ao mesmo tempo livre e cuja sua interface seja web.
Desenvolver uma plataforma web livre para marcação e busca morfossintática em corpus de textos visando ampliar as funcionalidades em relação a softwares similares existentes enquanto se mantém amigável ao usuário.
\subsection{Específicos}
\label{obj:esp}
\begin{itemize}
\item Analisar comparativamente os recursos das ferramentas WordSmith, CorpusEye, COCA Online Corpus, Unitex/GramLab e Sketch Engine;
\item Desenvolver um módulo extrator de lista de palavras;
\item Desenvolver um módulo extrator de palavras-chave;
\item Desenvolver um módulo concordanciador, que suporte busca por funções sintagmáticas e morfológicas;
\item Integrar os módulos desenvolvidos numa plataforma web.
No capítulo 2 apresentaremos um histórico, os principais conceitos e alguns trabalhos relevantes da área de processamento da linguagem natural. No capítulo 3 apresentaremos os materiais e os métodos utilizados para desenvolver este trabalho, bem como as decisões relevantes ao desenvolvimento do projeto. No capítulo 4 apresentaremos e discutiremos os resultados obtidos. No capítulo 5 apresentaremos a conclusão, as contribuições deste trabalho e temas para trabalhos futuros.
Neste capítulo, são apresentados os conceitos relativos a processamento de linguagem natural, numa revisão histórica da área e seu progresso, e o atual estado da arte com seus requisitos para o progresso.
% Revisão da literatura::Revisão histórica da área
% Revisão da literatura::Progresso na área
%
A linguística de corpus, segundo \citet{sardinha2000linguistica}, já existe desde a Antiguidade, citando o Corpus Helenístico de Alexandre, O Grande e os corpora de citações da bíblia produzidos durante a Antiguidade e a Idade Média, sendo seus processos de obtenção e análise tarefas que não dependem dum computador para serem executadas. Um corpus é uma \aspas{coletânea de textos [...] compilados segundo critérios específicos para o estudo a que se propõem}\cite[p. 358]{tagnin2010glossario}, e estes buscam representar a linguagem \cite{cambria2014jumping}, ou uma variante desta \cite{sardinha2000linguistica}, podendo ser usada como forma de obtenção de informações nas mensagens nela codificados. \citet{sardinha2000linguistica} evidencia que \aspas{durante boa parte do século XX [...] os corpora [...] eram coletados, mantidos e analisados manualmente [...]} (p. 235), o que mudou com a invenção do computador, que se popularizou na década de 1960.
Ainda enquanto trabalho manual, podemos citar o trabalho de contagem de 4,5 milhões de palavras realizada manualmente por Thorndike \cite{sardinha2000linguistica}, cujo produto foi uma lista de frequência de palavras. Uma das possíveis aplicações da linguística é extrair palavras-chave, esta que \citet{tagnin2010glossario} define como sendo \aspas{resultados da comparação entre o corpus de estudo e um corpus de referência} (p. 359), sendo um processo baseado em contagem, o qual \aspas{elimina palavras com frequência relativa similar nos dois corpora de modo que restem as palavras cuja frequência é estatisticamente significativa} (p. 359), podendo as frequências ter sido calculadas computacionalmente ou manualmente. \citet{cambria2014jumping} ressaltam que processos de obtenção automática de palavras-chave buscam apenas na \aspas{superfície} do texto, exemplificando que um texto sobre cães pode apenas mencionar as diversas raças, não sendo recuperado caso indexado por suas palavras-chave.
Em fevereiro de 1957 foi publicada a obra \textit{Syntactic Structures} de Noam Chomsky, que, de acordo com \citet{sardinha2000linguistica}, mudou o paradigma de abordagem na linguística, saindo o empirismo e entrando o racionalismo; ou seja, a análise de volumosos corpora de textos, que é sujeito à inúmeras falhas, deu lugar a \aspas{[...] teorias racionalistas da linguagem [...], notadamente a lingüística gerativa. [...]}\cite[pp. 236-237]{sardinha2000linguistica}. Esta abordagem se popularizou principalmente no início da década de 1960, quando o computador se popularizou.
Com a popularização do computador, representar computacionalmente a linguagem foi necessária, e uma abordagem de representação computacional da linguagem é modela-la como uma gramática gerativa de Chomsky \cite{chaves2014sistema, cambria2014jumping}. Um dos desafios encontrados foi resolver ambiguidades, que foi solucionado através Autômatos finitos com transições ponderadas visam resolver tal problema ao representar cada palavra em sua possível função atribuindo pesos nas transições, formando assim um modelo probabilístico para etiquetagem do texto \cite{vieira2001linguistica, thiele2015desambiguaccao}; entretanto, nem toda palavra representa uma entidade por si só. Entidades Nomeadas são referências de mais de uma palavra que referenciam uma única entidade \apud[]{nadeau2007survey}{bruckschen2010reconhecimento}. Segundo \citet{aranha2006tecnologia}, o reconhecimento destas no texto se dá através de perguntas como \aspas{Quem, Quando, Como, Onde} (p. 6). \citet{bruckschen2010reconhecimento} menciona referências a datas, números e unidades monetárias como itens do texto comumente inclusas como entidades nomeadas, sendo que \citet{aranha2006tecnologia} também inclui siglas. A união da identificação prévia de entidades nomeadas à representação das sentenças como autômatos foi uma abordagem de solução deste problema.
O atual estado da arte para etiquetadores morfossintáticos da língua portuguesa, por \citet{silva2014indexacao}, é o PALAVRAS, de \citeauthoronline{bick2000parsing}. É uma gramática de restrições que, carregada no software CG-3, realiza o etiquetamento automático de textos. Possui uma taxa de acerto de 94\% em relação aos seus próprios resultados, e 86,5\% se comparado a uma extração manual \cite[p. 169]{silva2014indexacao}. O etiquetador CG-3 é mantido como software livre e distribuído pelo projeto de pesquisa e desenvolvimento \textit{Visual Interactive Syntax Learning} (VISL) do Instituto de Línguas e Comunicação (ISK) da Universidade do Sul da Dinamarca (SDU), já a gramática é paga.
Dentre os etiquetadores morfossintáticos gratuitos, o estado da arte, de acordo com \citet{silva2014indexacao}, é o LX-Parser. Possui uma taxa de acerto de 75\% em relação aos seus próprios resultados, e 97,5\% se comparado a uma extração manual \cite[p. 170]{silva2014indexacao}. Apesar de gratuito, sua licença é de redação própria \cite{lxparserlicense} e em sua cláusula 6 proíbe a distribuição e comercialização de produtos ou serviçõs derivados, já em sua cláusula 7, veta a disponibilização da ferramenta por outros meios e a cláusula 9 veta o acesso de outros \textit{sites} à ferramenta; portanto, a licença da ferramenta permite apenas a descarga e execução local da mesma.
Outro projeto é o Unitex/GramLab, onde sua versão em português brasileiro foi primeiramente apresentada por \citeauthoronline{muniz2005unitex} em \citeyear{muniz2005unitex}. Consiste de uma interface gráfica em Java que faz chamadas a bibliotecas e utilitários de linha de comando compilados de códigos em C++. A licença do software é a \textit{Lesser General Public License} versão 2.1 \cite{lgplv21}, já seus recursos linguísticos estão sob a \textit{Lesser General Public License For Linguistic Resources}\cite{lgpllr}, ambas licenças livres. O pacote redistribuível padrão já fornece ferramentas e dados complementares necessários para etiquetar um texto de entrada arbitrário. Outros recursos da mesma plataforma são busca por autômato, busca por expressão regular, representação do texto como autômato, inferência de entidades nomeadas e aplicação de transdutores \cite{paumier2016user}.
De acordo com \apudonline[p. 49]{biber1995dimensions}{oliveira2009linguistica}, \aspas{um corpus linguístico de base computacional corresponde a coleções de textos que ocorrem naturalmente na língua, organizadas sistematicamente para representar áreas de uso da língua, e das quais podemos extrair novas informações}. Tal organização pode seguir critérios diversos, mas é esperado que estes estejam anotados no texto. \citet{aluisio2006constroi} menciona a ferramenta \textit{Lácio-Ref}, a qual visa fornecer metadados para os textos, para estes serem futuramente processados. Tais metadados são: título, subtítulo, língua, fonte, editor, local de publicação, comentários, nome do(s) autor(es), sexo do(s) autor(es), gênero e tipo textual \cite{aluisio2006constroi}. Outra ferramenta é o \textit{AntCorGen}, de \citet{anthony2017antcorgen}, a qual visa manter organizados corpus de texto através de categorias, subcategorias e seus metadados, tais quais: título, autor, seção \aspas{resumo}, seção \aspas{introdução}, seção \aspas{materiais e métodos}, seção \aspas{resultados e discussão}, seção \aspas{conclusões}, seção \aspas{referências}, afiliações do autor e legendas de figuras e tabelas. Os metadados mencionados ajudam a descrever o contexto ao qual texto está inserido.
\subsection{Indexação automática por meio da extração e seleção de sintagmas nominais em textos em língua portuguesa}
Diferentemente da língua inglesa, segundo \citet{silva2014indexacao} (p. 155) \aspas{pesquisas [...] em língua portuguesa ainda não atingiram um grau de amadurecimento elevado [...] pois elas não alcançam uma taxa de precisão elevada para todos os tipos de corpus.} Dada a escassez de ferramentas eficazes para processamento da língua portuguesa, o referido autor comparou três etiquetadores morfossintáticos (OGMA, PALAVRAS e LX-PARSER), e constatou que cada um possui suas peculiaridades de modo a existir situações onde alguns se destacam e outras onde apresentam dificuldades. Tais ferrametas comparadas eram as principais ferramentas existentes até 2014.
A língua portuguesa possui sintagmas nominais, verbais, adjetivais e preposicionados \cite{gagnon2000processamento}. Os verbais podem ser analisados conforme proposto por \citet{chaves2014sistema}, onde propõem a utilização do \aspas{[...] formalismo da gramática livre de contexto [...], comumente utilizado na linguística computacional para a implementação de protótipos capazes de modelar a estrutura sintagmática de uma língua natural}, sendo definido pelos próprios autores como \aspas{um protótipo com resultados interessantes} que carece na quantidade de estruturas cobertas pela gramática definida e na necessidade de melhorar a taxa de acerto na etiquetagem dos textos - sem citar valores numéricos. Tal trabalho fornece uma ferramenta para obtenção automática da análise sintagmática, mas que necessita de aprimoramentos e quantificações numéricas quanto sua eficácia.
Com uma taxa de acerto na ordem de 99\% para morfologia e entre 96\% e 97\% para sintaxe para processamento de texto livre, uma das adaptações necessárias por Bick no modelo da língua inglesa para operar para a língua portuguesa foi \cite[p. 438]{bick2000parsing} a \aspas{introdução de marcadores de dependência a nível de cláusula [...] e a introdução de funções de marcação de subcláusula para subcláusulas finitas e não-finitas}, onde algumas descobertas para a língua inglesa apresentaram se manter para a língua portuguesa, tais como: milhares de regras são necessárias para cada nível adicional de análise, que as sentenças que excluem significado são mais frequentes que as que buscam e que a determinação do contexto concentra-se mais à esquerda da sentença. Tal tese explicita as principais diferenças entre o processamento sintagmático dos idiomas português e inglês, bem como suas diferenças e adaptações necessárias para se adequar ao idioma e ainda assim manter uma alta taxa de acerto.
% Uma união das abordagens listadas por \citeauthoronline{silva2014indexacao} e das desenvolvidas por \citeauthoronline{bick2000parsing}, \citeauthoronline{chaves2014sistema}, a fim de obter resultados mais precisos, será utilizada neste trabalho.
Segundo \citet{sardinha2000linguistica}, \aspas{[...] O Processamento de Linguagem Natural é uma disciplina com laços fortes com a Ciência da Computação e, embora compartilhe vários temas com a Lingüística de Corpus, as duas mantêm-se independentes.} (p. 328). Já de acordo com \citeonline[p. 55]{oliveira2009linguistica}, programas de processamento de linguagem natural são \aspas{[...] programas capazes de interpretar e/ou gerar informações em linguagem natural [...]}, onde (p. 55) \aspas{[...] a Linguística Computacional utiliza os corpora para poder ter acesso ao material que necessita estudar, ou seja, grande quantidade de textos que ocorrem naturalmente na língua.}\apudonline[p. 158]{trask2004dicionario}{aluisio2006constroi}, por sua vez, defende que \aspas{a partir de corpora, podem-se fazer observações precisas sobre o real comportamento lingüístico de falantes reais, proporcionando informações altamente confiáveis e isentas de opiniões e de julgamentos prévios sobre os fatos de uma língua}, onde tais observações seriam feitas com auxílio do resultado do processamento de um programa que processa os corpora, que por sua vez está codificado em linguagem natural. De todos estes autores, concluímos que o processamento da linguagem natural são estatísticas de um texto (ou de um conjunto deles) que são relevantes numa dada área do conhecimento.
[...] um conjunto finito de enunciados tomados como objeto de análise. Mais precisamente, conjunto finito de enunciados considerados característicos do tipo de língua a estudar, reunidos para servirem de base à descrição e, eventualmente, à elaboração de um modelo explicativo dessa língua. Trata-se, pois, de uma colecção de documentos quer orais (gravados ou transcritos) quer escritos, quer orais e escritos, de acordo com o tipo de investigação pretendido. As dimensões do corpus variam segundo os objectivos do investigador e o volume dos enunciados considerados como característicos do fenômeno a estudar. Um corpus é chamado exaustivo quando compreende todos os enunciados característicos. E é chamado selectivo quando compreende apenas uma parte desses enunciados. \apud{galisson1983dicionario}{aluisio2006constroi}
[...] corpus não pode ser considerado como constituindo a língua, mas somente como uma amostra da língua. (...) O corpus deve ser representativo, isto é, deve ilustrar toda a gama das características estruturais. Poder-se-ia pensar que as dificuldades serão levantadas se um corpus for exaustivo (...). Na realidade, sendo indefinido o número de enunciados possíveis, não há exaustividade verdadeira e, além disso, grandes quantidades de dados inúteis só podem complicar a pesquisa, tornando-a pesada.O lingüista deve, pois, procurar obter um corpus realmente significativo. Enfim, o lingüista deve desconfiar de tudo o que pode tornar o seu corpus não-representativo (método de pesquisa escolhido, anomalia que constitui a intrusão de lingüista, preconceito sobre a língua). \apud{dubois1993dicionario}{aluisio2006constroi}
Ou, de acordo com \apudonline{sinclair2005corpus}{aluisio2006constroi} como uma coleção de peças de um texto na forma eletrônica, selecionadas de acordo com critérios externos para representar, o quanto melhor possível, um idioma ou variação deste como dados fonte para pesquisa linguística. Por \apudonline[p. 31]{biber1995dimensions}{oliveira2009linguistica}, \aspas{um corpus linguístico de base computacional corresponde a coleções de textos que ocorrem naturalmente na língua, organizadas sistematicamente para representar áreas de uso da língua, e das quais podemos extrair novas informações}. Segundo \citet{oliveira2009linguistica}, linguística de corpus é uma ciência empírica, onde o pesquisador utiliza diversas vezes o corpus para estender uma descrição linguística, mas esta prática pode acabar por deixar a teoria aberta para mudanças. Então concluímos que linguística de corpus é a área do conhecimento que estuda a língua através de agrupamentos de textos da mesma que representam um nicho a ser estudado.
\citet{gries2010useful} ainda cita três estatísticas deriváveis de uma análise de corpus, sendo eles a frequência de ocorrência de um certo fenômeno no texto, dispersão e frequências ajustadas e frequências de co-ocorrência. A primeira (frequência de ocorrência de um certo fenômeno no texto) é uma contagem de quantas ocorrências algo foram identificadas no texto, a segunda (dispersão e frequências ajustadas) é a proporção (percentual) das ocorrências dado um corpus e sua dispersão e o último (frequências de co-ocorrência) age sobre a frequência de co-ocorrência de expressões linguísticas. Portanto estas são as principais informações que uma ferramenta para a linguística de corpus deve apresentar.
Este capítulo descreve as etapas do desenvolvimento da plataforma web proposta. Como plataforma web, compreende-se um software cuja interface seja acessível através de navegadores, como o Mozilla Firefox, por exemplo. A seção \ref{sec:des:req} descreve as etapas do levantamento de requisitos e como as funcionalidades serão identificadas, já a seção \ref{sec:des:nav} contém o projeto da navegabilidade e a seção \ref{sec:des:flux}, o projeto do fluxo de informações dentro da plataforma, e, por fim, a seção \ref{sec:des:impl} contém o projeto de implantação do sistema após desenvolvido.
\section{Levantamento de requisitos}
\label{sec:des:req}
O levantamento de requisitos é uma das primeiras etapas do ciclo de vida de um projeto de software \cite{sommerville2011software}. Para tal, o primeiro passo foi pesquisar as ferramentas voltadas ao usuário final e compará-las, de forma a encontrar os requisitos especificados nos objetivos (seção \ref{sec:obj}) a partir das principais ferramentas voltadas ao processamento de corpus de texto existentes no mercado. Comparação completa de funcionalidades está prensente no capítulo de resultados (seção \ref{sec:res:req}).
Como a proposta é de uma plataforma web, é esperado que seja usável a partir de um navegador como o Google Chrome, Opera ou Mozilla Firefox. Por conta disso, o sistema deverá gerar documentos HTML e transferí-los através do protocolo HTTP, que, segundo \citeonline{ross2013redes}, atua no camada de aplicação do modelo OSI. Portanto, será utilizada uma arquitetura cliente-servidor.
A seguir são descritos sucintamente os passos de desenvolvimento deste trabalho:
\subsection{Analisar comparativamente os recursos das principais ferramentas existentes}
Foi identificado que as plataformas WordSmith, CorpusEye, COCA Online Corpus, Unitex/GramLab e Sketch Engine provém recursos semelhantes aos desejados. Tais recursos desejados são os mesmos citados na seção de objetivos específicos (subseção \ref{obj:esp}), nos itens 2, 3 e 4. Não se limitado apenas às funcionalidades listadas, tais atributos foram anotados na tabela da figura \ref{fig:cfn} presente no capítulo de resultados (seção \ref{res:cfn}).
A ferramenta desenvolvida ser livre é um requisitos expressos no objetivo geral (subseção \ref{obj:ger}). A única ferramenta livre para etiquetagem morfossintática da língua portuguesa é o Unitex/Gramlab, como mencionado no estado da arte dos etiquetadores morfossintáticos para o português na subseção \ref{ea:em}. Portanto o etiquetador escolhido foi o Unitex/Gramlab.
Para a interface web, outro requisito expresso no objetivo geral (subseção \ref{obj:ger}), foi escolhido o \textit{framework} Django. Este utiliza a linguagem de programação Python para servir páginas HTML dinâmicas. Tanto a linguagem quanto o \textit{framework} foram escolhas do autor por estes já serem conhecimentos prévios ao início deste trabalho.
\subsection{Mapear as funcionalidades da interface gráfica em Java do Unitex/GramLab para ações em linha de comando}
O Unitex/GramLab possui uma \aspas{janela} em sua interface na qual é possível visualizar todos os comandos \aspas{disparados} na linha de comando. Através da sequência de comandos executados, foi inferido um padrão para cada elemento da interface e seu impacto na linha de comando. Resultados disponíveis na seção (seção \ref{res:clire}).
Todos os módulos desenvolvidos necessitam operar de forma coerente, de modo a priorizar a interdependência entre funcionalidades providas pelos pacotes. Para tanto foi separado os pacotes que definem as interfaces dos pacotes que definem as visualizações e dos pacotes que implementam a funcionalidade, de modo a criar reforçar uma hierarquia de dependências que permitam extensibilidade de funcionalidades. O resultado esperado é reduzir o acoplamento entre diversos \textit{plug-ins}, formando uma árvore de dependências entre pacotes.
% Para a construção da plataforma modular será utilizada a linguagem de programação Python em sua versão 3 em conjunto ao framework DJango. Isso \aspas{obriga} que os módulos sejam escritos também em Python. O módulo concordanciador usará o software Unitex/GramLab para obter as marcações.
% ...apesar do PALAVRAS ser o atual estado da arte, este não pode ser utilizado por não ser completamente livre. Decidimos, portanto, utilizar o Unitex/GramLab, por ser livre.
