Word Frequency Counter en Ligne

Les mots vides sont des mots très fréquents avec peu de valeur sémantique : articles (le, la, les, un, une), prépositions (de, à, en, dans, avec), conjonctions (et, ou, mais), pronoms (je, tu, il). Dans tout texte en prose, ces mots dominent le haut du classement de fréquence, occultant les mots à contenu réel. En les filtrant, l'analyse de fréquence révèle les termes thématiquement pertinents : concepts clés, noms propres, termes techniques et verbes principaux.

Les langues CJK n'utilisent pas d'espaces pour séparer les mots, ce qui signifie que la tokenisation basée sur les espaces (méthode standard pour les langues européennes) ne fonctionne pas correctement. Pour le chinois et le japonais, une segmentation correcte nécessite un analyseur morphologique propre à la langue (comme MeCab pour le japonais ou Jieba pour le chinois). Cet outil applique une tokenisation basée sur les espaces et la ponctuation, donc ses résultats sont indicatifs pour les textes CJK mais pas linguistiquement précis.

Oui. Tu peux configurer un seuil de fréquence minimum pour masquer les mots qui apparaissent moins de N fois. C'est utile pour les textes longs où les mots de fréquence 1 (hapax legomena) peuvent représenter 40 à 60 % du vocabulaire total. Filtrer à partir d'un minimum de 2 ou 3 occurrences élimine une grande partie du bruit et te permet de te concentrer sur les mots qui structurent vraiment le contenu.

TF-IDF (Term Frequency-Inverse Document Frequency) est une métrique qui pondère la fréquence d'un mot dans un document (TF) par rapport à sa fréquence dans une collection de documents (IDF). Un mot très fréquent dans un document mais aussi très fréquent dans tous les autres documents (comme les mots vides) reçoit un score faible. Un mot fréquent dans un document mais rare dans les autres reçoit un score élevé, indiquant qu'il est caractéristique de ce document. La simple fréquence montre combien de fois chaque mot apparaît ; TF-IDF montre quels mots sont caractéristiques et différenciants pour ce texte spécifique.

La loi de Zipf, formulée par le linguiste George Kingsley Zipf en 1949, stipule que dans tout corpus de langue naturelle, la fréquence d'un mot est inversement proportionnelle à son rang de fréquence. Le mot le plus fréquent apparaît deux fois plus souvent que le deuxième, trois fois plus que le troisième, et ainsi de suite. Cette distribution en loi de puissance se manifeste de façon remarquablement constante dans toutes les langues naturelles et dans de nombreux autres phénomènes (villes par population, entreprises par chiffre d'affaires). Si le classement de fréquence de ton texte suit une courbe de Zipf, c'est un signal que le texte a des caractéristiques de langue naturelle ; des écarts marqués peuvent indiquer un contenu généré artificiellement ou des textes techniques très spécialisés.