Uczenie maszynowe to dziedzina informatyki, która umożliwia komputerom uczenie się bez konieczności bezpośredniego programowania. Uczenie się nadzorowane i uczenie się bez nadzoru to dwa główne typy nauczanie maszynowe .

W Nadzorowana nauka , maszyna jest szkolona na zestawie oznaczonych danych, co oznacza, że ​​dane wejściowe są łączone w pary z pożądanymi danymi wyjściowymi. Następnie maszyna uczy się przewidywać wynik dla nowych danych wejściowych. Uczenie nadzorowane jest często wykorzystywane do zadań takich jak klasyfikacja, regresja i wykrywanie obiektów.

W przypadku uczenia się bez nadzoru maszyna jest szkolona na zestawie nieoznaczonych danych, co oznacza, że ​​dane wejściowe nie są sparowane z pożądanymi danymi wyjściowymi. Następnie maszyna uczy się znajdować wzorce i zależności w danych. Uczenie się bez nadzoru jest często wykorzystywane do zadań takich jak grupowanie , redukcja wymiarowości i wykrywanie anomalii.

Co to jest uczenie się pod nadzorem?

Uczenie się pod nadzorem jest rodzajem algorytm uczenia maszynowego który uczy się na podstawie oznaczonych danych. Dane oznaczone etykietą to dane, które zostały oznaczone poprawną odpowiedzią lub klasyfikacją.

Uczenie się pod nadzorem, jak sama nazwa wskazuje, polega na obecności superwizora w roli nauczyciela. Uczenie się nadzorowane ma miejsce wtedy, gdy uczymy lub szkolimy maszynę przy użyciu dobrze oznakowanych danych. Oznacza to, że niektóre dane są już oznaczone poprawną odpowiedzią. Następnie maszyna otrzymuje nowy zestaw przykładów (danych), dzięki czemu algorytm uczenia nadzorowanego analizuje dane szkoleniowe (zestaw przykładów szkoleniowych) i generuje prawidłowy wynik na podstawie oznaczonych danych.

Na przykład oznaczony zestaw danych zawierający obrazy słonia, wielbłąda i krowy będzie miał każdy obraz oznaczony tagiem Elephant , Camelor Cow.

Kluczowe punkty:

• Uczenie się nadzorowane polega na szkoleniu maszyny na podstawie oznakowanych danych.
• Oznaczone dane składają się z przykładów z poprawną odpowiedzią lub klasyfikacją.
• Maszyna uczy się relacji pomiędzy danymi wejściowymi (obrazy owoców) i wynikami (etykiety owoców).
• Wytrenowana maszyna może następnie przewidywać nowe, nieoznaczone dane.

Przykład:

Załóżmy, że masz kosz owoców, który chcesz zidentyfikować. Maszyna najpierw analizowała obraz, aby wyodrębnić takie cechy, jak jego kształt, kolor i tekstura. Następnie porównałby te cechy z cechami owoców, o których już się dowiedział. Jeśli cechy nowego obrazu będą najbardziej podobne do cech jabłka, maszyna przewidzi, że owoc jest jabłkiem.

usługi sieciowe Java

Na przykład Załóżmy, że dostajesz kosz wypełniony różnymi rodzajami owoców. Teraz pierwszym krokiem jest przeszkolenie maszyny ze wszystkimi różnymi owocami, jeden po drugim, w następujący sposób:

• Jeżeli kształt obiektu jest zaokrąglony, ma wgłębienie u góry i jest koloru czerwonego, wówczas będzie on oznaczony jako – Jabłko .
• Jeśli obiekt ma kształt długiego, zakrzywionego cylindra w kolorze zielono-żółtym, wówczas będzie on oznaczony jako – Banan .

Załóżmy teraz, że po przeszkoleniu danych podałeś nowy, oddzielny owoc, powiedz „Banan z koszyka” i poproś o jego identyfikację.

Ponieważ maszyna nauczyła się już rzeczy z poprzednich danych i tym razem musi to wykorzystać mądrze. Najpierw zaklasyfikuje owoc pod względem kształtu i koloru, a następnie potwierdzi nazwę owocu jako BANAN i umieści go w kategorii Banany. W ten sposób maszyna uczy się rzeczy z danych treningowych (kosz zawierający owoce), a następnie wykorzystuje tę wiedzę do danych testowych (nowe owoce).

Rodzaje uczenia się pod nadzorem

Uczenie nadzorowane dzieli się na dwie kategorie algorytmów:

polecenia Kali Linux

• Regresja : Problem regresji występuje wtedy, gdy zmienna wyjściowa jest wartością rzeczywistą, np. dolarami lub wagą.
• Klasyfikacja : Problem z klasyfikacją występuje, gdy zmienna wyjściowa jest kategorią, np. Czerwony lub Niebieski, choroba lub brak choroby.

Uczenie się nadzorowane zajmuje się oznakowanymi danymi lub uczy się na nich. Oznacza to, że niektóre dane są już oznaczone poprawną odpowiedzią.

1- Regresja

Regresja to rodzaj nadzorowanego uczenia się, który służy do przewidywania wartości ciągłych, takich jak ceny domów, ceny akcji lub odpływ klientów. Algorytmy regresji uczą się funkcji, która odwzorowuje cechy wejściowe na wartość wyjściową.

Niektóre powszechne algorytmy regresji włączać:

• Regresja liniowa
• Regresja wielomianowa
• Regresja maszynowa wektora pomocniczego
• Regresja drzewa decyzyjnego
• Losowa regresja lasu

2- Klasyfikacja

Klasyfikacja to rodzaj nadzorowanego uczenia się, który służy do przewidywania wartości kategorycznych, takich jak to, czy klient odejdzie, czy nie, czy wiadomość e-mail jest spamem, czy nie, lub czy obraz medyczny przedstawia guz, czy nie. Algorytmy klasyfikacji uczą się funkcji, która odwzorowuje cechy wejściowe na rozkład prawdopodobieństwa w klasach wyjściowych.

Niektóre powszechne algorytmy klasyfikacji włączać:

• Regresja logistyczna
• Wsparcie maszyn wektorowych
• Drzewa decyzyjne
• Losowe lasy
• Naiwny Baye

Ocena modeli uczenia się nadzorowanego

Ocena modeli nadzorowanego uczenia się jest ważnym krokiem w celu zapewnienia, że ​​model jest dokładny i możliwy do uogólnienia. Istnieje wiele różnych metryka które można wykorzystać do oceny modeli uczenia się pod nadzorem, ale niektóre z najczęstszych obejmują:

Dla regresji

• Średni błąd kwadratowy (MSE): MSE mierzy średnią kwadratową różnicę między wartościami przewidywanymi a wartościami rzeczywistymi. Niższe wartości MSE wskazują na lepszą wydajność modelu.
• Średni błąd kwadratowy (RMSE): RMSE to pierwiastek kwadratowy z MSE, reprezentujący odchylenie standardowe błędów przewidywań. Podobnie jak w przypadku MSE, niższe wartości RMSE wskazują na lepszą wydajność modelu.
• Średni błąd bezwzględny (MAE): MAE mierzy średnią bezwzględną różnicę między wartościami przewidywanymi a wartościami rzeczywistymi. Jest mniej wrażliwy na wartości odstające w porównaniu z MSE lub RMSE.
• R-kwadrat (współczynnik determinacji): R-kwadrat mierzy proporcję wariancji zmiennej docelowej, która jest wyjaśniona przez model. Wyższe wartości R-kwadrat wskazują na lepsze dopasowanie modelu.

Do klasyfikacji

• Dokładność: Dokładność to procent przewidywań, które model wykonuje poprawnie. Oblicza się go dzieląc liczbę poprawnych przewidywań przez całkowitą liczbę przewidywań.
• Precyzja: Precyzja to odsetek pozytywnych przewidywań, które model formułuje, a które są faktycznie prawidłowe. Oblicza się go, dzieląc liczbę prawdziwie pozytywnych przewidywań przez całkowitą liczbę pozytywnych przewidywań.
• Przypomnienie sobie czegoś: Przypomnienie to odsetek wszystkich pozytywnych przykładów, które model poprawnie zidentyfikował. Oblicza się go, dzieląc liczbę prawdziwie pozytywnych przykładów przez całkowitą liczbę pozytywnych przykładów.
• Wynik F1: Wynik F1 to średnia ważona precyzji i zapamiętywania. Oblicza się go, biorąc średnią harmoniczną precyzji i zapamiętywania.
• Matryca zamieszania: Macierz zamieszania to tabela pokazująca liczbę przewidywań dla każdej klasy wraz z rzeczywistymi etykietami klas. Można go wykorzystać do wizualizacji wydajności modelu i zidentyfikowania obszarów, w których model ma problemy.

Zastosowania uczenia się pod nadzorem

Uczenie się pod nadzorem można wykorzystać do rozwiązywania wielu różnych problemów, w tym:

• Filtrowanie spamu: Algorytmy nadzorowanego uczenia się można przeszkolić w zakresie identyfikowania i klasyfikowania wiadomości spamowych na podstawie ich treści, pomagając użytkownikom unikać niechcianych wiadomości.
• Klasyfikacja obrazu: Uczenie się pod nadzorem może automatycznie klasyfikować obrazy na różne kategorie, takie jak zwierzęta, obiekty lub sceny, ułatwiając zadania, takie jak wyszukiwanie obrazów, moderowanie treści i rekomendacje produktów na podstawie obrazów.
• Diagnoza medyczna: Uczenie się pod nadzorem może pomóc w diagnozie medycznej poprzez analizę danych pacjenta, takich jak obrazy medyczne, wyniki badań i historia pacjenta, w celu zidentyfikowania wzorców sugerujących określone choroby lub stany.
• Wykrywanie oszustw: Modele uczenia się nadzorowanego mogą analizować transakcje finansowe i identyfikować wzorce wskazujące na oszukańcze działania, pomagając instytucjom finansowym zapobiegać oszustwom i chronić swoich klientów.
• Przetwarzanie języka naturalnego (NLP): Uczenie się pod nadzorem odgrywa kluczową rolę w zadaniach NLP, w tym w analizie nastrojów, tłumaczeniu maszynowym i podsumowywaniu tekstu, umożliwiając maszynom skuteczne rozumienie i przetwarzanie ludzkiego języka.

Zalety uczenia się pod nadzorem

• Uczenie się pod nadzorem umożliwia gromadzenie danych i wytwarza dane wyjściowe z poprzednich doświadczeń.
• Pomaga zoptymalizować kryteria wydajności za pomocą doświadczenia.
• Nadzorowane uczenie maszynowe pomaga rozwiązywać różnego rodzaju problemy obliczeniowe w świecie rzeczywistym.
• Wykonuje zadania klasyfikacyjne i regresyjne.
• Umożliwia oszacowanie lub odwzorowanie wyniku na nową próbkę.
• Mamy pełną kontrolę nad wyborem ilości zajęć, jakie chcemy umieścić w danych treningowych.

Wady uczenia się pod nadzorem

• Klasyfikacja dużych zbiorów danych może być wyzwaniem.
• Szkolenie w zakresie uczenia się pod nadzorem wymaga dużej ilości czasu obliczeniowego. Wymaga to więc dużo czasu.
• Uczenie nadzorowane nie jest w stanie obsłużyć wszystkich złożonych zadań w uczeniu maszynowym.
• W przypadku uczenia nadzorowanego czas obliczeń jest ogromny.
• Wymaga oznaczonego zestawu danych.
• Wymaga to procesu szkoleniowego.

Co to jest uczenie się bez nadzoru?

Uczenie się bez nadzoru to rodzaj uczenia maszynowego, które uczy się na podstawie nieoznaczonych danych. Oznacza to, że dane nie mają żadnych istniejących etykiet ani kategorii. Celem uczenia się bez nadzoru jest odkrywanie wzorców i relacji w danych bez żadnych wyraźnych wskazówek.

Uczenie się bez nadzoru to szkolenie maszyny przy użyciu informacji, które nie są ani sklasyfikowane, ani oznakowane, i umożliwienie algorytmowi działania na podstawie tych informacji bez wskazówek. W tym przypadku zadaniem maszyny jest grupowanie nieposortowanych informacji według podobieństw, wzorców i różnic bez konieczności wcześniejszego uczenia danych.

przekonwertuj tablicę bajtów na ciąg

W odróżnieniu od nauczania nadzorowanego, nie zapewnia się nauczyciela, co oznacza, że ​​nie zostanie przeszkolone w zakresie obsługi maszyny. Dlatego maszyna może samodzielnie znaleźć ukrytą strukturę w nieoznaczonych danych.

Możesz wykorzystać uczenie się bez nadzoru do sprawdzenia zebranych danych o zwierzętach i rozróżnienia kilku grup w zależności od cech i zachowań zwierząt. Grupy te mogą odpowiadać różnym gatunkom zwierząt, umożliwiając kategoryzację stworzeń bez polegania na już istniejących etykietach.

Kluczowe punkty

• Uczenie się bez nadzoru umożliwia modelowi odkrywanie wzorców i relacji w nieoznakowanych danych.
• Algorytmy grupowania grupują podobne punkty danych w oparciu o ich nieodłączne cechy.
• Ekstrakcja cech wychwytuje istotne informacje z danych, umożliwiając modelowi dokonanie znaczących rozróżnień.
• Skojarzenie etykiet przypisuje kategorie do klastrów na podstawie wyodrębnionych wzorców i cech.

Przykład

Wyobraź sobie, że masz model uczenia maszynowego wyszkolony na dużym zbiorze danych nieoznaczonych obrazów, zawierającym zarówno psy, jak i koty. Modelka nigdy wcześniej nie widziała zdjęcia psa ani kota i nie ma żadnych istniejących etykiet ani kategorii dla tych zwierząt. Twoim zadaniem jest wykorzystanie uczenia się bez nadzoru do identyfikacji psów i kotów na nowym, niewidzianym obrazie.

Na przykład załóżmy, że otrzyma obraz przedstawiający zarówno psy, jak i koty, którego nigdy nie widział.

Dlatego maszyna nie ma pojęcia o cechach psów i kotów, więc nie możemy sklasyfikować jej jako „psów i kotów”. Potrafi jednak kategoryzować je według podobieństw, wzorców i różnic, tzn. powyższy obraz możemy łatwo podzielić na dwie części. Pierwsza może zawierać wszystkie zdjęcia posiadające psy w nich, a druga część może zawierać wszystkie zdjęcia posiadające koty w nich. Tutaj nie nauczyłeś się niczego wcześniej, co oznacza brak danych szkoleniowych i przykładów.

Pozwala modelowi na samodzielną pracę w celu odkrycia wzorców i informacji, które wcześniej były niewykryte. Dotyczy głównie danych nieoznakowanych.

Rodzaje uczenia się bez nadzoru

Uczenie się bez nadzoru dzieli się na dwie kategorie algorytmów:

• Grupowanie : Problem grupowania występuje wtedy, gdy chcesz odkryć nieodłączne grupowanie danych, na przykład grupowanie klientów według zachowań zakupowych.
• Stowarzyszenie : Problem z uczeniem się reguł asocjacyjnych ma miejsce wtedy, gdy chcesz odkryć reguły opisujące duże części danych, na przykład osoby, które kupują X, zwykle kupują Y.

Grupowanie

Klastrowanie to rodzaj uczenia się bez nadzoru, które służy do grupowania podobnych punktów danych. Algorytmy klastrowania działają poprzez iteracyjne przesuwanie punktów danych bliżej ich centrów klastrów i dalej od punktów danych w innych klastrach.

1. Ekskluzywne (podział)
2. Aglomeracyjne
3. Nakładające się
4. Probabilistyczne

Typy klastrowania: -

1. Klastrowanie hierarchiczne
2. K-oznacza grupowanie
3. Analiza głównych składowych
4. Rozkład według wartości osobliwych
5. Niezależna analiza komponentów
6. Gaussowskie modele mieszanin (GMM)
7. Klastrowanie przestrzenne aplikacji z szumem w oparciu o gęstość (DBSCAN)

Uczenie się reguł asocjacyjnych

Uczenie się według reguł asocjacyjnych to rodzaj uczenia się bez nadzoru, które służy do identyfikowania wzorców w danych. Zasada stowarzyszenia Algorytmy uczenia się działają poprzez znajdowanie relacji między różnymi elementami w zbiorze danych.

Niektóre typowe algorytmy uczenia się reguł asocjacyjnych obejmują:

• Algorytm Aprioriego
• Algorytm Eklata
• Algorytm wzrostu FP

Ocena modeli uczenia się bez nadzoru

Ocena modeli uczenia się bez nadzoru jest ważnym krokiem w zapewnieniu, że model jest skuteczny i użyteczny. Może to jednak być trudniejsze niż ocena modeli uczenia się nadzorowanego, ponieważ nie ma podstawowych danych, z którymi można by porównać przewidywania modelu.

Istnieje wiele różnych wskaźników, które można wykorzystać do oceny modeli uczenia się bez nadzoru, ale niektóre z najczęstszych to:

• Wynik sylwetki: Wynik sylwetki mierzy, jak dobrze każdy punkt danych jest pogrupowany z własnymi elementami klastra i oddzielony od innych klastrów. Waha się od -1 do 1, przy czym wyższe wyniki wskazują na lepsze grupowanie.
• Wynik Calińskiego-Harabasza: Wynik Calińskiego-Harabasza mierzy stosunek wariancji między skupieniami do wariancji wewnątrz skupień. Mieści się w przedziale od 0 do nieskończoności, przy czym wyższe wyniki wskazują na lepsze grupowanie.
• Skorygowany indeks Rand: Skorygowany indeks Rand mierzy podobieństwo między dwoma skupieniami. Waha się od -1 do 1, przy czym wyższe wyniki wskazują na bardziej podobne skupienia.
• Indeks Daviesa-Bouldina: Indeks Daviesa-Bouldina mierzy średnie podobieństwo między skupieniami. Mieści się w przedziale od 0 do nieskończoności, przy czym niższe wyniki wskazują na lepsze grupowanie.
• Wynik F1: Wynik F1 to średnia ważona precyzji i zapamiętywania, czyli dwóch wskaźników powszechnie stosowanych w uczeniu nadzorowanym do oceny modeli klasyfikacyjnych. Jednak wynik F1 można również wykorzystać do oceny modeli uczenia się bez nadzoru, takich jak modele grupowania.

Aplikacja uczenia się bez nadzoru

Uczenie się bez nadzoru można wykorzystać do rozwiązania wielu różnych problemów, w tym:

• Wykrywanie anomalii: Uczenie się bez nadzoru może zidentyfikować nietypowe wzorce lub odchylenia od normalnego zachowania danych, umożliwiając wykrycie oszustwa, włamania lub awarii systemu.
• Odkrycie naukowe: uczenie się bez nadzoru może odkryć ukryte zależności i wzorce w danych naukowych, prowadząc do nowych hipotez i spostrzeżeń w różnych dziedzinach nauki.
• Systemy rekomendacji: Uczenie się bez nadzoru może zidentyfikować wzorce i podobieństwa w zachowaniach i preferencjach użytkowników w celu rekomendowania produktów, filmów lub muzyki zgodnych z ich zainteresowaniami.
• Segmentacja klientów: Uczenie się bez nadzoru może zidentyfikować grupy klientów o podobnych cechach, umożliwiając firmom ukierunkowanie kampanii marketingowych i skuteczniejszą poprawę obsługi klienta.
• Analiza obrazu: Uczenie się bez nadzoru może grupować obrazy na podstawie ich zawartości, ułatwiając zadania takie jak klasyfikacja obrazów, wykrywanie obiektów i wyszukiwanie obrazów.

Zalety uczenia się bez nadzoru

• Nie wymaga oznaczania danych szkoleniowych.
• Redukcję wymiarowości można łatwo osiągnąć za pomocą uczenia się bez nadzoru.
• Potrafi znaleźć nieznane wcześniej wzorce w danych.
• Uczenie się bez nadzoru może pomóc w uzyskaniu spostrzeżeń z nieoznaczonych danych, których w innym przypadku nie byłbybyś w stanie uzyskać.
• Uczenie się bez nadzoru dobrze radzi sobie ze znajdowaniem wzorców i zależności w danych, bez konieczności mówienia, czego szukać. Dzięki temu dowiesz się nowych rzeczy o swoich danych.

Niedogodności uczenia się bez nadzoru

• Trudno zmierzyć dokładność czy skuteczność ze względu na brak predefiniowanych odpowiedzi podczas szkolenia.
• Wyniki często mają mniejszą dokładność.
• Użytkownik musi poświęcić czas na interpretację i oznaczenie klas zgodnych z tą klasyfikacją.
• Uczenie się bez nadzoru może być wrażliwe na jakość danych, w tym na braki danych, wartości odstające i dane zaszumione.
• Bez oznakowanych danych ocena wydajności modeli uczenia się bez nadzoru może być trudna, co utrudnia ocenę ich skuteczności.

Uczenie maszynowe nadzorowane i nienadzorowane

Wniosek

Uczenie się pod nadzorem i bez nadzoru to dwa potężne narzędzia, które można wykorzystać do rozwiązania szerokiej gamy problemów. Uczenie się pod nadzorem dobrze nadaje się do zadań, w których znany jest pożądany wynik, podczas gdy uczenie się bez nadzoru dobrze nadaje się do zadań, w których pożądany wynik jest nieznany.

Często zadawane pytania (FAQ)

1. Jaka jest różnica między nadzorowanym i nienadzorowanym językiem maszynowym?

Uczenie się nadzorowane i nienadzorowane to dwa podstawowe podejścia do uczenia maszynowego, które różnią się danymi szkoleniowymi i celami uczenia się.

• Nadzorowana nauka obejmuje szkolenie modelu uczenia maszynowego na oznaczonym zbiorze danych, gdzie każdy punkt danych ma odpowiadającą etykietę lub wartość wyjściową. Algorytm uczy się mapować dane wejściowe na żądane dane wyjściowe, umożliwiając przewidywanie nowych, niewidocznych danych.
• Uczenie się bez nadzoru Z drugiej strony dotyczy nieoznaczonych zbiorów danych, w przypadku których punkty danych nie mają powiązanych etykiet ani wartości wyjściowych.

2. Co to jest uczenie się nadzorowane?

Uczenie nadzorowane to rodzaj uczenia maszynowego, w którym algorytm jest szkolony na oznaczonym zbiorze danych, gdzie każdy punkt danych ma odpowiednią etykietę lub wartość wyjściową. Algorytm uczy się mapować dane wejściowe na żądane dane wyjściowe, umożliwiając przewidywanie nowych, niewidocznych danych.

3. Jakie są popularne algorytmy uczenia się nadzorowanego?

Typowe algorytmy nadzorowanego uczenia się obejmują:

• Klasyfikacja: Służy do przypisywania kategorii do punktów danych. Przykłady obejmują maszyny wektorów nośnych (SVM), regresję logistyczną i drzewa decyzyjne.
• Regresja: Służy do przewidywania ciągłych wartości liczbowych. Przykłady obejmują regresję liniową, regresję wielomianową i regresję grzbietową.

4. Jakie są popularne algorytmy uczenia się bez nadzoru?

Typowe algorytmy uczenia się bez nadzoru obejmują:

• Grupowanie: Grupowanie punktów danych w klastry na podstawie ich podobieństwa. Przykłady obejmują grupowanie k-średnich i grupowanie hierarchiczne.
• Redukcja wymiarowości: Zmniejszenie liczby obiektów w zbiorze danych przy jednoczesnym zachowaniu najważniejszych informacji. Przykłady obejmują analizę głównych składowych (PCA) i autoenkodery.

5. Co to jest uczenie się bez nadzoru?

Uczenie się bez nadzoru to rodzaj uczenia maszynowego, w którym algorytm jest szkolony na nieoznakowanym zbiorze danych, w którym punkty danych nie mają odpowiednich etykiet ani wartości wyjściowych. Algorytm uczy się identyfikować wzorce i struktury w danych bez wyraźnych wskazówek.

6. Kiedy stosować uczenie się nadzorowane, a kiedy uczenie się bez nadzoru?

Użyj uczenia nadzorowanego, jeśli masz oznaczony zestaw danych i chcesz dokonać prognoz dla nowych danych. Użyj uczenia się bez nadzoru, jeśli masz nieoznaczony zbiór danych i chcesz zidentyfikować wzorce lub struktury w danych.