Samouczek Apache Kafka zawiera podstawowe i zaawansowane koncepcje Apache Kafka. Ten poradnik jest przeznaczony zarówno dla początkujących, jak i profesjonalistów.
Apache Kafka to platforma oprogramowania typu open source do przetwarzania strumieniowego, która służy do przechowywania danych w czasie rzeczywistym. Działa jako pośrednik pomiędzy dwiema stronami, tj. nadawcą i odbiorcą. Może obsłużyć około bilionów zdarzeń związanych z danymi dziennie.
Samouczek Apache Kafka obejmie wszystkie koncepcje, od architektury po podstawowe koncepcje.
pełna tabela prawdy sumatora
Co to jest Apache Kafka
Apache Kafka to platforma oprogramowania oparta na rozproszonym procesie przesyłania strumieniowego. Jest to system przesyłania wiadomości typu „publikuj i subskrybuj”, który umożliwia wymianę danych między aplikacjami, serwerami i procesorami. Apache Kafka został pierwotnie opracowany przez LinkedIn , a później został przekazany fundacji Apache Software Foundation. Obecnie opiekuje się nim Dopływ w ramach Apache Software Foundation. Apache Kafka rozwiązał letargiczny problem komunikacji danych pomiędzy nadawcą a odbiorcą.
Co to jest system przesyłania wiadomości
System przesyłania wiadomości to prosta wymiana wiadomości między dwiema lub większą liczbą osób, urządzeń itp. System przesyłania wiadomości typu publikowanie i subskrybowanie pozwala nadawcy wysłać/napisać wiadomość, a odbiorcy przeczytać tę wiadomość. W Apache Kafka nadawca jest nazywany a producent który publikuje wiadomości, a odbiorca jest znany jako konsument kto konsumuje tę wiadomość, subskrybując ją.
Co to jest proces przesyłania strumieniowego
Proces przesyłania strumieniowego to przetwarzanie danych w systemach połączonych równolegle. Proces ten umożliwia różnym aplikacjom ograniczenie równoległego wykonywania danych, podczas którego jeden rekord jest wykonywany bez oczekiwania na wyjście poprzedniego rekordu. Dlatego rozproszona platforma przesyłania strumieniowego umożliwia użytkownikowi uproszczenie procesu przesyłania strumieniowego i wykonywania równoległego. Dlatego platforma streamingowa w Kafce ma następujące kluczowe możliwości:
- Gdy tylko pojawią się strumienie rekordów, przetwarza je.
- Działa podobnie do korporacyjnego systemu przesyłania wiadomości, w którym publikuje i subskrybuje strumienie rekordów.
- Przechowuje strumienie rekordów w sposób trwały i odporny na awarie.
Aby poznać i zrozumieć Apache Kafka, kandydaci powinni znać następujące cztery podstawowe interfejsy API:
ile miast jest w nas
API producenta: Ten interfejs API umożliwia/zezwala aplikacji na publikowanie strumieni rekordów dla jednego lub większej liczby tematów. (omówione w dalszej części)
Konsumenckie API: Ten interfejs API umożliwia aplikacji subskrybowanie jednego lub większej liczby tematów i przetwarzanie strumienia generowanych dla nich rekordów.
Strumienie API: Ten interfejs API umożliwia aplikacji skuteczne przekształcanie strumieni wejściowych w strumienie wyjściowe. Pozwala aplikacji działać jako procesor strumieniowy, który zużywa strumień wejściowy z jednego lub większej liczby tematów i generuje strumień wyjściowy dla jednego lub większej liczby tematów wyjściowych.
Interfejs API łącznika: Ten interfejs API wykonuje interfejsy API producentów i konsumentów wielokrotnego użytku z istniejącymi systemami danych lub aplikacjami.
Dlaczego Apache Kafka
Apache Kafka to platforma oprogramowania, która ma następujące powody, które najlepiej opisują potrzeby Apache Kafka.
- Apache Kafka jest w stanie obsłużyć miliony danych lub wiadomości na sekundę.
- Apache Kafka działa jako mediator pomiędzy systemem źródłowym a systemem docelowym. W ten sposób dane systemu źródłowego (producenta) są wysyłane do Apache Kafka, gdzie oddziela dane, a system docelowy (konsument) zużywa dane z Kafki.
- Apache Kafka charakteryzuje się niezwykle wysoką wydajnością, tj. ma naprawdę niską wartość opóźnienia poniżej 10 ms, co świadczy o tym, że jest to oprogramowanie dobrze zorientowane.
- Apache Kafka ma odporną architekturę, która rozwiązała nietypowe komplikacje w udostępnianiu danych.
- Organizacje takie jak NETFLIX, UBER, Walmart itp. i ponad tysiące takich firm korzystają z Apache Kafka.
- Apache Kafka jest w stanie utrzymać odporność na błędy. Tolerancja błędów oznacza, że czasami konsument z powodzeniem wykorzystuje komunikat dostarczony przez producenta. Jednak konsument nie może przetworzyć wiadomości z powrotem z powodu awarii bazy danych zaplecza lub z powodu obecności błędu w kodzie konsumenta. W takiej sytuacji konsument nie ma możliwości ponownego skonsumowania komunikatu. W rezultacie Apache Kafka rozwiązał problem poprzez ponowne przetworzenie danych.
- Nauka Kafki jest dobrym źródłem dochodu. Zatem ci, którzy w przyszłości chcą zwiększyć swoje dochody w branży IT, mogą się uczyć.
Warunek wstępny
Kandydaci powinni posiadać podstawową wiedzę na temat programowania w języku Java i pewną wiedzę na temat poleceń systemu Linux.
Publiczność
Ta przygoda z Apache Kafką jest przeznaczona dla początkujących, programistów i osób, które chcą nauczyć się nowych rzeczy.
math.random Java
Problemy
Zapewniamy, że w tym samouczku Apache Kafka nie znajdziesz żadnego problemu. Jeśli jednak pojawi się jakiś błąd, prosimy o przesłanie problemu w formularzu kontaktowym.