2. Klastrowanie oparte na gęstości (metody oparte na modelu)

Klastrowanie oparte na gęstości, metoda oparta na modelu, znajduje grupy na podstawie gęstości punktów danych. W przeciwieństwie do grupowania opartego na centroidach, które wymaga predefiniowania liczby klastrów i jest wrażliwe na inicjalizację, grupowanie oparte na gęstości automatycznie określa liczbę klastrów i jest mniej podatne na pozycje początkowe. Doskonale radzą sobie z klastrami o różnych rozmiarach i formach, dzięki czemu idealnie nadają się do zbiorów danych o nieregularnych kształtach lub nakładających się klastrach. Metody te zarządzają zarówno gęstymi, jak i rzadkimi obszarami danych, koncentrując się na gęstości lokalnej i umożliwiają rozróżnianie klastrów o różnej morfologii.

Natomiast grupowanie oparte na środkach ciężkości, takie jak k-średnie, ma problemy ze znalezieniem klastrów o dowolnym kształcie. Ze względu na ustawioną liczbę wymagań dotyczących klastrów i wyjątkową wrażliwość na początkowe pozycjonowanie centroidów wyniki mogą się różnić. Co więcej, tendencja podejść opartych na środkach ciężkości do tworzenia klastrów kulistych lub wypukłych ogranicza ich zdolność do obsługi klastrów skomplikowanych lub o nieregularnym kształcie. Podsumowując, grupowanie oparte na gęstości przezwycięża wady technik opartych na centroidach, autonomicznie wybierając rozmiary klastrów, będąc odpornym na inicjalizację i skutecznie przechwytując klastry o różnych rozmiarach i formach. Najpopularniejszym algorytmem klastrowania opartym na gęstości jest DBSCAN .

3. Klastrowanie oparte na łączności (klastrowanie hierarchiczne)

Metoda łączenia powiązanych punktów danych w klastry hierarchiczne nazywana jest grupowaniem hierarchicznym. Każdy punkt danych jest początkowo brany pod uwagę jako oddzielny klaster, który następnie jest łączony z klastrami, które są najbardziej podobne, w celu utworzenia jednego dużego klastra zawierającego wszystkie punkty danych.

Zastanów się, jak możesz uporządkować kolekcję przedmiotów na podstawie ich podobieństwa. Każdy obiekt zaczyna się jako własny klaster u podstawy drzewa, gdy stosuje się grupowanie hierarchiczne, które tworzy dendrogram, strukturę przypominającą drzewo. Najbliższe pary klastrów są następnie łączone w większe skupienia po tym, jak algorytm sprawdzi, jak podobne są do siebie obiekty. Kiedy każdy obiekt znajdzie się w jednym klastrze na szczycie drzewa, proces łączenia zostanie zakończony. Eksplorowanie różnych poziomów szczegółowości to jedna z najfajniejszych rzeczy w klastrowaniu hierarchicznym. Aby uzyskać określoną liczbę skupień, możesz wybrać opcję wycięcia dendrogram na określonej wysokości. Im bardziej podobne są dwa obiekty w klastrze, tym są one bliżej. Można to porównać do klasyfikowania przedmiotów według ich drzew genealogicznych, gdzie najbliżsi krewni są skupieni razem, a szersze gałęzie oznaczają bardziej ogólne powiązania. Istnieją 2 podejścia do grupowania hierarchicznego:

• Klastrowanie dzielące : Jest to podejście odgórne, w którym wszystkie punkty danych traktujemy jako część jednego dużego klastra, a następnie klaster ten dzieli się na mniejsze grupy.
• Klastrowanie aglomeracyjne : Opiera się na podejściu oddolnym, w tym przypadku wszystkie punkty danych traktujemy jako część indywidualnych klastrów, a następnie klastry te łączy się w jeden duży klaster ze wszystkimi punktami danych.

4. Klastrowanie oparte na dystrybucji

Korzystając z grupowania opartego na dystrybucji, punkty danych są generowane i organizowane zgodnie z ich skłonnością do wpadania w ten sam rozkład prawdopodobieństwa (taki jak Gaussa, dwumian lub inny) w danych. Elementy danych są pogrupowane przy użyciu rozkładu prawdopodobieństwa opartego na rozkładach statystycznych. Uwzględnione są obiekty danych, które mają większe prawdopodobieństwo znalezienia się w klastrze. Jest mniejsze prawdopodobieństwo, że punkt danych zostanie włączony do klastra, im dalej będzie się znajdował od centralnego punktu klastra, który istnieje w każdym klastrze.

Istotną wadą podejść gęstościowych i opartych na granicach jest konieczność określenia a priori klastrów dla niektórych algorytmów, a przede wszystkim zdefiniowania postaci klastrów dla większości algorytmów. Musi być wybrany co najmniej jeden parametr dostrajający lub hiperparametr, a wykonanie tej czynności powinno być proste, a błędne ustawienie może mieć nieprzewidziane konsekwencje. Klastrowanie oparte na dystrybucji ma zdecydowaną przewagę nad podejściami opartymi na klastrowaniu bliskości i centroidach pod względem elastyczności, dokładności i struktury klastrów. Kluczową kwestią jest to, aby tego uniknąć nadmierne dopasowanie , wiele metod grupowania działa tylko z danymi symulowanymi lub wyprodukowanymi lub gdy większość punktów danych z pewnością należy do ustalonego rozkładu. Najpopularniejszym algorytmem klastrowania opartym na dystrybucji jest Model mieszaniny Gaussa .

Zastosowania klastrowania w różnych dziedzinach:

1. Marketing: Można go używać do charakteryzowania i odkrywania segmentów klientów w celach marketingowych.
2. Biologia: Można go stosować do klasyfikacji różnych gatunków roślin i zwierząt.
3. Biblioteki: Służy do grupowania różnych książek na podstawie tematów i informacji.
4. Ubezpieczenie: Służy do zapoznania się z klientami, ich polityką i identyfikacją oszustw.
5. Planowanie miasta: Służy do tworzenia grup domów i badania ich wartości na podstawie ich położenia geograficznego i innych czynników.
6. Badania dotyczące trzęsień ziemi: Poznając obszary dotknięte trzęsieniem ziemi, możemy określić strefy niebezpieczne.
7. Przetwarzanie obrazu : Grupowanie można wykorzystać do grupowania podobnych obrazów, klasyfikowania obrazów na podstawie zawartości i identyfikowania wzorców w danych obrazu.
8. Genetyka: Klastrowanie służy do grupowania genów o podobnych wzorcach ekspresji i identyfikowania sieci genów współpracujących ze sobą w procesach biologicznych.
9. Finanse: Klastrowanie służy do identyfikacji segmentów rynku na podstawie zachowań klientów, identyfikacji wzorców w danych giełdowych i analizy ryzyka w portfelach inwestycyjnych.
10. Obsługa klienta: Klastrowanie służy do grupowania zapytań i skarg klientów w kategorie, identyfikowania typowych problemów i opracowywania ukierunkowanych rozwiązań.
11. Produkcja : Klastrowanie służy do grupowania podobnych produktów, optymalizacji procesów produkcyjnych i identyfikowania defektów w procesach produkcyjnych.
12. Diagnoza medyczna: Grupowanie służy do grupowania pacjentów z podobnymi objawami lub chorobami, co pomaga w postawieniu trafnej diagnozy i określeniu skutecznego leczenia.
13. Wykrywanie oszustw: Klastrowanie służy do identyfikowania podejrzanych wzorców lub anomalii w transakcjach finansowych, co może pomóc w wykrywaniu oszustw lub innych przestępstw finansowych.
14. Analiza ruchu: Klastrowanie służy do grupowania podobnych wzorców danych o ruchu, takich jak godziny szczytu, trasy i prędkości, co może pomóc w ulepszeniu planowania transportu i infrastruktury.
15. Analiza sieci społecznościowych: Klastrowanie służy do identyfikowania społeczności lub grup w sieciach społecznościowych, co może pomóc w zrozumieniu zachowań społecznych, wpływów i trendów.
16. Bezpieczeństwo cybernetyczne: Klastrowanie służy do grupowania podobnych wzorców ruchu sieciowego lub zachowania systemu, co może pomóc w wykrywaniu cyberataków i zapobieganiu im.
17. Analiza klimatu: Klastrowanie służy do grupowania podobnych wzorców danych klimatycznych, takich jak temperatura, opady i wiatr, co może pomóc w zrozumieniu zmian klimatycznych i ich wpływu na środowisko.
18. Analiza sportowa: Klastrowanie służy do grupowania podobnych wzorców danych dotyczących wydajności gracza lub zespołu, co może pomóc w analizowaniu mocnych i słabych stron gracza lub zespołu oraz podejmowaniu strategicznych decyzji.
19. Analiza kryminalna: Klastrowanie służy do grupowania podobnych wzorców danych dotyczących przestępczości, takich jak lokalizacja, czas i rodzaj, co może pomóc w identyfikowaniu głównych punktów przestępczości, przewidywaniu przyszłych trendów przestępczości i ulepszaniu strategii zapobiegania przestępczości.

Wniosek

W tym artykule omówiliśmy klastrowanie, jego rodzaje i zastosowania w prawdziwym świecie. W uczeniu bez nadzoru jest dużo więcej do omówienia, a analiza skupień to dopiero pierwszy krok. Ten artykuł może pomóc Ci rozpocząć pracę z algorytmami klastrowania i pomóc w uzyskaniu nowego projektu, który można dodać do swojego portfolio.

Często zadawane pytania (FAQ) dotyczące klastrowania

P. Jaka jest najlepsza metoda grupowania?