Contador de Frequência de Palavras Online

Stopwords são palavras de alta frequência com pouco valor semântico: artigos (o, a, um, uma), preposições (de, em, com), conjunções (e, ou, mas), pronomes (eu, você, ele). Em qualquer texto em prosa, essas palavras dominam as primeiras posições do ranking de frequência, ocultando palavras com conteúdo real. Ao filtrá-las, a análise de frequência revela termos tematicamente relevantes: conceitos principais, nomes próprios, termos técnicos e verbos centrais.

Idiomas CJK não usam espaços para separar palavras, o que significa que a tokenização baseada em espaços em branco (o método padrão para idiomas europeus) não funciona corretamente. Para chinês e japonês, a segmentação correta exige um analisador morfológico específico do idioma (como MeCab para japonês ou Jieba para chinês). Essa ferramenta aplica tokenização baseada em espaços e pontuação, então seus resultados são indicativos para textos CJK, mas não são linguisticamente precisos.

Sim. Você pode configurar um limite mínimo de frequência para ocultar palavras que aparecem menos de N vezes. Isso é útil para textos longos onde palavras com frequência 1 (hapax legomena) podem representar 40 a 60% do vocabulário total. Filtrar para um mínimo de 2 ou 3 ocorrências elimina muito ruído e permite focar nas palavras que realmente estruturam o conteúdo.

TF-IDF (Term Frequency-Inverse Document Frequency) é uma métrica que pondera a frequência de uma palavra num documento em relação à sua frequência numa coleção de documentos. Uma palavra muito frequente num documento mas também muito frequente em todos os outros (como stopwords) recebe uma pontuação baixa. Uma palavra frequente num documento mas rara nos demais recebe uma pontuação alta, indicando que é distintiva para aquele documento. A frequência simples mostra quantas vezes cada palavra aparece; o TF-IDF mostra quais palavras são características e diferenciadoras para aquele texto específico.

A lei de Zipf, formulada pelo linguista George Kingsley Zipf em 1949, afirma que em qualquer corpus de linguagem natural a frequência de uma palavra é inversamente proporcional à sua posição no ranking de frequência. A palavra mais frequente aparece duas vezes mais que a segunda, três vezes mais que a terceira, e assim por diante. Essa distribuição de lei de potência aparece de forma notavelmente consistente em todas as línguas naturais. Se o ranking de frequência do seu texto seguir uma curva de Zipf, é um sinal de que o texto tem características de linguagem natural; desvios marcados podem indicar conteúdo gerado artificialmente ou textos técnicos altamente especializados.