Licznik Częstotliwości Słów Online

Stop-słowa to słowa o wysokiej częstotliwości i małej wartości semantycznej: przedimki (ang. the, a, an), przyimki (of, in, with), spójniki (and, or, but), zaimki (I, you, he). W każdym tekście prozatorskim słowa te dominują na czołowych pozycjach rankingu częstotliwości, przesłaniając słowa o rzeczywistej treści. Filtrując je, analiza częstotliwości ujawnia tematycznie istotne terminy: kluczowe pojęcia, nazwy własne, terminy techniczne i główne czasowniki.

Języki CJK nie używają spacji do rozdzielania słów, co oznacza, że tokenizacja oparta na białych znakach (standardowa metoda dla języków europejskich) nie działa poprawnie. Dla chińskiego i japońskiego prawidłowa segmentacja wymaga analizatora morfologicznego specyficznego dla danego języka (takiego jak MeCab dla japońskiego lub Jieba dla chińskiego). Narzędzie stosuje tokenizację opartą na spacjach i znakach interpunkcyjnych, więc jego wyniki są orientacyjne dla tekstów CJK, ale nie precyzyjne językowo.

Tak. Możesz skonfigurować minimalny próg częstotliwości, aby ukryć słowa pojawiające się mniej niż N razy. Jest to przydatne dla długich tekstów, w których słowa o częstotliwości 1 (hapax legomena) mogą stanowić 40–60% całkowitego słownictwa. Filtrowanie przy minimum 2 lub 3 wystąpień eliminuje wiele szumu i pozwala skupić się na słowach, które naprawdę strukturyzują treść.

TF-IDF (Term Frequency-Inverse Document Frequency) to metryka ważąca częstotliwość słowa w dokumencie (TF) względem jego częstotliwości w kolekcji dokumentów (IDF). Słowo o wysokiej częstotliwości w dokumencie, ale też powszechne we wszystkich innych dokumentach (jak stop-słowa), otrzymuje niski wynik. Słowo częste w jednym dokumencie, a rzadkie w pozostałych, otrzymuje wysoki wynik, wskazując, że jest charakterystyczne dla tego dokumentu. Prosta częstotliwość pokazuje, ile razy każde słowo się pojawia; TF-IDF wskazuje, które słowa są charakterystyczne i różnicujące dla danego tekstu.

Prawo Zipfa, sformułowane przez językoznawcę George'a Kingsleya Zipfa w 1949 roku, stwierdza, że w dowolnym korpusie języka naturalnego częstotliwość słowa jest odwrotnie proporcjonalna do jego rangi częstotliwości. Najczęstsze słowo pojawia się dwa razy częściej niż drugie, trzy razy częściej niż trzecie itd. Ten rozkład potęgowy pojawia się zadziwiająco konsekwentnie we wszystkich językach naturalnych i wielu innych zjawiskach (miasta według populacji, firmy według przychodów). Jeśli ranking częstotliwości Twojego tekstu podąża krzywą Zipfa, jest to sygnał, że tekst ma cechy języka naturalnego; wyraźne odchylenia mogą wskazywać na treść generowaną sztucznie lub wysoce specjalistyczne teksty techniczne.