Samouczek SSIS zawiera podstawowe i zaawansowane koncepcje usług integracji SQL Server. Nasz poradnik SSIS jest przeznaczony dla początkujących i profesjonalistów.
Usługa integracji SQL Server to szybkie i elastyczne narzędzie do hurtowni danych służące do ekstrakcji, transformacji i ładowania danych. Ułatwia ładowanie danych z jednej bazy danych do innej bazy danych, takiej jak SQL Server, Oracle, plik Excel itp.
W tym samouczku omówimy następujące tematy:
- Co to jest SSIS
- Co to jest integracja danych
- Dlaczego SSIS
- Jak działa SSIS
- Wymagania dla usługi integracji SQL Server
- Co to jest pakiet SSIS
- Zadania SSIS
- Przykład zadania przepływu danych
- Przykład wykonania zadania SQL
Co to jest SSIS?
- SSIS oznacza usługi integracji SQL Server.
- Jest to komponent dostępny w oprogramowaniu bazodanowym Microsoft SQL Server, służący do realizacji szerokiego zakresu zadań integracyjnych.
- Jest to narzędzie do hurtowni danych służące do ekstrakcji danych, ładowania danych do innej bazy danych, transformacji takich jak czyszczenie, agregowanie, łączenie danych itp.
- Narzędzie SSIS zawiera również narzędzia graficzne i funkcje przepływu pracy kreatorów okien, takie jak wysyłanie wiadomości e-mail, operacje FTP, źródła danych.
- SSIS służy do wykonywania szerokiego zakresu zadań transformacyjnych i integracyjnych. Ogólnie rzecz biorąc, narzędzie SSIS jest wykorzystywane w migracji danych.
SSIS jest narzędziem służącym głównie do realizacji dwóch funkcjonalności:
SSIS dokonuje integracji danych, łącząc dane z wielu źródeł i dostarczając użytkownikom jednolite dane.
Przepływ pracy można wykorzystać do wykonania kilku rzeczy. Czasami musimy wykonać określone kroki lub określoną ścieżkę, która jest oparta albo na okresie czasu, albo na parametrze przekazanym do pakietu, albo na danych zapytanych z bazy danych. Można go wykorzystać do automatyzacji konserwacji baz danych SQL Server i zapewnia aktualizację wielowymiarowych danych analitycznych.
Co to jest integracja danych?
Integracja danych to proces stosowany w celu integracji danych z wielu źródeł. Dane mogą być danymi heterogenicznymi lub jednorodnymi. Dane mogą być ustrukturyzowane, częściowo ustrukturyzowane lub nieustrukturyzowane. W integracji danych dane z różnych, odmiennych źródeł danych integrują się, tworząc znaczące dane.
Aby osiągnąć integrację danych, stosuje się pewne metody:
Zalety integracji danych:
Zmniejsza złożoność danych, co oznacza, że dane można dostarczyć do dowolnego systemu. Integracja danych utrzymuje złożoność, usprawnia połączenia i ułatwia dostarczanie danych do dowolnego systemu.
Integralność danych odgrywa główną rolę w integracji danych. Zajmuje się oczyszczaniem i walidacją danych. Każdy chce wysokiej jakości i solidnych danych, dlatego aby to osiągnąć, stosuje się koncepcję integracji danych. Integracja danych jest pomocna w usuwaniu błędów, niespójności i powielania.
Dostępność wiąże się ze współpracą w zakresie danych. Dostępność oznacza, że dane można łatwo przekształcać, a ludzie mogą łatwo integrować je z projektami, udostępniać wyniki i aktualizować dane.
Umożliwia także podejmowanie mądrzejszych decyzji. Zintegrowane dane odnoszą się do procesu przesyłania w firmie, dzięki czemu możemy łatwiej zrozumieć informacje. Zintegrowane dane są znacznie łatwiejsze i zawierają więcej informacji.
Dlaczego SSIS?
SSIS jest używany z następujących powodów:
SSIS służy do łączenia danych z wielu źródeł danych w celu wygenerowania pojedynczej struktury w ujednoliconym widoku. Zasadniczo jest odpowiedzialny za gromadzenie danych, wyodrębnianie danych z wielu źródeł danych i łączenie w jedno źródło danych.
SSSIS to platforma, która ma możliwość załadowania dużej ilości danych z Excela do bazy danych SQL Server.
Narzędzie SSSIS zapewnia ścisłą integrację z innymi produktami firmy Microsoft.
Narzędzie SSSIS jest tańsze niż większość innych narzędzi. Może wytrzymać inne produkty podstawowe, ich łatwość zarządzania, analizę biznesową itp.
SSSIS umożliwia obsługę złożonych błędów w przepływie danych. Można rozpocząć i zatrzymać przepływ danych w zależności od wagi błędu. Możesz nawet wysłać e-mail do administratora, gdy wystąpi jakiś błąd. Po rozwiązaniu błędu możesz wybrać ścieżkę pomiędzy przepływem pracy.
Jak działa SSIS?
Wiemy, że SSIS to platforma spełniająca dwie funkcje, tj. Integrację Danych i Workflow. Zarówno zadania Transformacja danych jak i tworzenie przepływu pracy realizowane są przy wykorzystaniu pakietu SSIS. Pakiet SSIS składa się z trzech komponentów:
Dane operacyjne
Dane operacyjne to baza danych używana do integrowania danych z wielu źródeł danych w celu wykonywania dodatkowych operacji na danych. Jest to miejsce, w którym przechowywane są dane do bieżącego działania przed wysłaniem do hurtowni danych w celu przechowywania, raportowania lub archiwizacji.
ile miast znajduje się w stanach zjednoczonych ameryki
ETL
- ETL jest najważniejszym procesem w narzędziu SSIS. ETL służy do wyodrębniania, przekształcania i ładowania danych do hurtowni danych.
- ETL to proces odpowiedzialny za pobieranie danych z wielu źródeł, przekształcanie ich w przydatne dane, a następnie przechowywanie danych w hurtowni danych. Dane mogą mieć dowolny format pliku XML, pliku płaskiego lub dowolnego pliku bazy danych.
- Zapewnia również, że dane przechowywane w hurtowni danych są istotne, dokładne, wysokiej jakości i przydatne dla użytkowników biznesowych.
- Dostęp do niej jest łatwy, dzięki czemu hurtownia danych może być wykorzystywana efektywnie i wydajnie.
- Pomaga także organizacji w podejmowaniu decyzji opartych na danych, pobierając ustrukturyzowane i nieustrukturyzowane dane z wielu źródeł danych.
ETL to koncepcja składająca się z trzech słów, ale jest podzielona na cztery fazy:
Schwytać: Faza wychwytywania jest również nazywana fazą ekstrakcji. Na tym etapie wybiera dane źródłowe lub metadane, a dane mogą mieć dowolny format, taki jak plik xml, plik płaski lub dowolny plik bazy danych.
Szorować: Na tym etapie sprawdzane są oryginalne dane. Sprawdza dane, czy nie zawierają błędów, czy nie. Sprawdza błędy lub niespójności danych, korzystając z technik sztucznej inteligencji. Krótko mówiąc, sprawdza, czy jakość produktu jest spełniona, czy nie.
Przekształcać: Jest to trzeci etap w ETL. Transformacja to proces, podczas którego oryginalny format jest konwertowany na wymagany format. Transformacja polega na modelowaniu lub zmianie danych zgodnie z wymaganiami użytkownika. Zmiany mogą polegać na zmianie liczby kolumn lub wierszy.
Załaduj i indeksuj: Czwarta faza to obciążenie i indeks. Ładuje dane i sprawdza liczbę przetworzonych wierszy. Po zakończeniu ładowania danych następuje indeksowanie. Indeksowanie pomaga śledzić liczbę wierszy załadowanych do hurtowni danych. Indeksowanie pomaga również zidentyfikować dane, niezależnie od tego, czy mają one prawidłowy format, czy nie.
Hurtownia danych
Hurtownia danych to pojedynczy, kompletny i spójny magazyn danych, który powstaje poprzez połączenie danych z wielu źródeł danych.
Różnica między bazą danych a hurtownią danych
Odpowiedź może brzmieć zarówno tak, jak i nie. Zarówno baza danych, jak i hurtownia danych mają dużą jednostkę danych i podobną reprezentację fizyczną, ale czas odpowiedzi na złożone zapytania w hurtowni danych jest szybszy niż w bazie danych.
Wymagania dotyczące usług integracji SQL Server
Poniżej przedstawiono wymagania dotyczące instalacji usług integracji SQL Server:
- Zainstaluj serwer SQL
- Zainstaluj narzędzia danych SQL Server
Wykonaj poniższe kroki, aby zainstalować narzędzia SQL Server Data:
Krok 1: Kliknij w link https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 aby pobrać narzędzia danych SQL Server.
Krok 2: Po kliknięciu w powyższy link wyświetli się poniższy ekran:
Na powyższym ekranie wybierz wersję SSDT, którą chcesz zainstalować.
Krok 3: Po zakończeniu pobierania uruchom pobrany plik. Po uruchomieniu pobranego pliku pojawi się ekran pokazany poniżej:
Krok 4: Kliknij przycisk Dalej.
Krok 5: Wybierz instancję studia wizualnego i narzędzia, które chcesz zainstalować w studiu wizualnym 2017.
Krok 6: Kliknij na zainstalować przycisk.
Co to jest pakiet SSIS?
Pakiet jest podstawowym blokiem, w którym kodujesz w SSIS. Tutaj kod nie oznacza, że kodujesz w jakimś języku programowania; oznacza to rozwój, który robisz. Rozwój odbywa się w pakiecie SSIS. SSIS jest używany głównie w procesie ETL, a proces ETL jest realizowany wewnątrz pakietu SSIS.
Pakiet SSIS składa się z trzech części:
Pakiet SSIS będzie miał pewne połączenia, które służą do łączenia się z różnymi źródłami danych.
Pakiet SSIS składa się z dwóch elementów, tj. elementów przepływu sterowania i elementów przepływu danych. Elementy przepływu sterującego obsługują przepływy pracy. Workflow oznacza, że niektóre zadania wykonujemy etapami, więc sekwencja odbywa się poprzez przepływ sterowania.
Elementy przepływu danych wykonują transformacje.
Zadania SSIS
W pakiecie SSIS możemy dodać zadania. Zadanie jest jednostką pracy i będziemy mieć różne typy zadań do wykonania różnych rodzajów pracy. Istnieją różne rodzaje zadań, ale omówimy najczęstsze zadania stosowane w SSIS:
Służy do wykonywania instrukcji SQL w relacyjnej bazie danych.
Służy głównie do odczytywania danych z jednego lub wielu źródeł danych, przekształcania danych, a także może ładować dane do jednego lub większej liczby miejsc docelowych.
Służy do przetwarzania obiektów kostki SSAS lub modelu tabelarycznego.
To zadanie służy do wywoływania innych pakietów w tym samym projekcie. Możesz nawet przekazać wartości zmiennych do wywoływanego pakietu.
Umożliwia uruchamianie aplikacji lub skryptów wsadowych jako usługi integracji SQL Server. Można go używać do otwierania standardowych aplikacji, takich jak Microsoft Excel, Microsoft Word itp. Służy także do rozpakowywania skompresowanego pliku.
Można go używać do wykonywania manipulacji w systemie plików, takich jak przenoszenie plików, usuwanie plików, zmiana nazwy plików, zmiana katalogu itp.
Zadania IFTP służą do wykonywania operacji na plikach i folderach. Na przykład, jeśli chcesz wysłać lub odebrać plik z serwera FTP do katalogu lokalnego, wówczas używane jest zadanie FTP SSIS.
To zadanie umożliwia napisanie kodu .Net, który chcesz wykonać.
To zadanie służy do wysyłania wiadomości e-mail. Używa się go głównie wtedy, gdy chcesz powiadomić użytkowników o stanie zadania, czy jest ono uruchomione, czy też wystąpił jakiś błąd.
Zobaczmy działający przykład usługi integracji danych.
Przykład zadania przepływu danych
Krok 1: Najpierw tworzymy plik Excel w programie Microsoft Excel. Załóżmy, że tworzę bazę danych uczniów w programie Microsoft Excel, a pola w tabeli uczniów to identyfikator_ucznia, imię_ucznia, oceny i płeć.
Krok 2: Otwórz studio wizualne (Narzędzia danych SQL Server).
Krok 3: Kliknij opcję Plik, a następnie przejdź do Nowy->Projekt.
Krok 4: Po kliknięciu na Projekt pojawi się ekran jak poniżej:
jak duży jest ekran mojego monitora
Na powyższym ekranie kliknij Usługi Integracyjne pojawiające się po lewej stronie panelu, a następnie kliknij Projekt Usług Integracyjnych.
Krok 5: Po kliknięciu Projekt Usług Integracyjnych opcji, pojawi się ekran jak poniżej:
Powyższy ekran składa się z pięciu zakładek, takich jak Przepływ sterowania, Przepływ danych, Parametry, Obsługa zdarzeń i Eksplorator pakietów. Omówiliśmy już przepływ kontroli i przepływ danych, zarówno przepływ kontroli, jak i przepływ danych istnieją w pakiecie SSIS.
krok 6: Aby zaimportować dane należy najpierw stworzyć bazę danych, w której utworzymy tabelę w bazie danych SQL Server. Ponieważ wiemy, że dane uczniów znajdują się w pliku Excel, a chcemy je zaimportować do bazy danych SQL Server. Aby to osiągnąć, musimy najpierw utworzyć tabelę w SQL Server. Otwórz studio zarządzania SQL Server.
Krok 7: Utwórz student Baza danych. Kliknij prawym przyciskiem myszy bazę danych, a następnie kliknij plik Nowa baza danych opcja.
Krok 8: Wpisz nazwę bazy danych na poniższym zrzucie ekranu:
Podałem StudentWarehouse jako nazwę bazy danych.
Krok 9: Kliknij na OK przycisk.
Krok 10: Teraz tworzymy tabelę w pliku a Magazyn Studencki Baza danych. Kliknij prawym przyciskiem myszy tabele, a następnie kliknij opcję Nowa tabela.
Krok 11: Teraz dodajemy pola w tabeli, takie jak identyfikator_ucznia, imię_ucznia, oceny i płeć. Ustawiamy student_id jako klucz podstawowy, który jednoznacznie identyfikuje każdy wiersz.
Powyższy ekran pokazuje, że dodajemy cztery pola w tabeli. Po dodaniu wszystkich pól w tabeli zapisujemy tabelę podając przydatną nazwę. Załóżmy, że podałem ucznia jako nazwę tabeli.
Krok 12: Wróć do studia wizualnego. Przepływ sterowania zawiera zadanie przepływu danych. Przeciągnij i upuść zadanie przepływu danych w oknie głównym.
Krok 13: Kiedy dwukrotnie klikniemy na Zadanie Przepływu Danych, kontrola automatycznie przejdzie do Przepływu Danych z Przepływu Kontroli, zatem możemy powiedzieć, że Przepływ Kontroli jest kontenerem Przepływu Danych.
Krok 14: Teraz możemy wykonać transformacje w Data Flow. Chcemy wyodrębnić dane z wcześniej utworzonego pliku Excel, więc przeciągnij i upuść źródło Excela z innych źródeł znajdujących się po lewej stronie panelu.
Na powyższym ekranie widzimy, że wewnątrz źródła programu Excel pojawia się czerwony krzyżyk, co oznacza, że komponent jest skonfigurowany ze źródłem programu Excel.
Krok 15: Aby skonfigurować komponent, kliknij prawym przyciskiem myszy źródło programu Excel i kliknij opcję Edytuj, jak pokazano na poniższym zrzucie ekranu:
Krok 16: Wypełnij dane pokazane na poniższym zrzucie ekranu:
Krok 17: Po wprowadzeniu wszystkich szczegółów pojawi się ekran jak poniżej:
Krok 18: Kliknij źródło programu Excel.
Powyższy ekran pokazuje dwie strzałki, czerwoną i niebieską strzałkę. Niebieska strzałka określa rzeczywiste dane, które otrzymujemy z pliku Excel, a czerwona strzałka oznacza błędy, które mamy. Teraz musimy wykonać przekształcenia, a przed wykonaniem przekształceń musimy załadować bazę danych.
Krok 19: Aby załadować bazę danych, kliknij Inne miejsca docelowe, a następnie kliknij Miejsce docelowe.
Krok 20: Po dodaniu miejsca docelowego podłącz źródło do miejsca docelowego.
Krok 21: W powyższym kroku zauważyliśmy czerwony krzyżyk w ADO NET Destination, co oznacza, że nie jest on skonfigurowany z komponentem. Kliknij prawym przyciskiem myszy miejsce docelowe ADO NET, a następnie kliknij opcję Edytuj, jak pokazano na poniższym zrzucie ekranu:
Krok 22: Musisz określić menedżera konfiguracji.
Krok 23: Kliknij na Nowy przycisk, aby dodać menedżera połączeń. Kiedy klikniesz na Nowy przycisku, pojawi się ekran pokazany poniżej:
Krok 24: Dodaj nazwę serwera i wybierz nazwę bazy danych z serwera SQL.
Krok 25: Kliknij przycisk OK.
Krok 26: Dodaj nazwę tabeli, do której chcesz załadować dane.
Krok 27: Na poniższym ekranie zmapuj pole źródła wejściowego na pole źródła docelowego.
polecenie grep w systemie Linux
Krok 28: Po dodaniu mapowania źródło jest połączone z Miejscem docelowym, jak pokazano na poniższym zrzucie ekranu:
Krok 29: Kliknij na Początek przycisk, aby uruchomić projekt usług integracyjnych. Po uruchomieniu projektu dane zostaną załadowane do miejsca docelowego, tj. Serwer SQL .
Przykład wykonania zadania SQL
- Wykonaj kroki od kroku 2 do kroku 5 z poprzedniego przykładu.
- Przeciągnij i upuść Wykonaj zadanie SQL pojawiające się w lewym panelu głównego okna.
Na powyższym ekranie widzimy, że przy zadaniu Execute SQL pojawia się czerwony krzyżyk, co oznacza, że Menedżer połączeń nie jest skonfigurowany z Wykonaj zadanie SQL . Aby to skonfigurować, musimy dodać Menedżera połączeń.
- Aby dodać Menedżera połączeń, kliknij Menedżera połączeń prawym przyciskiem myszy, a następnie kliknij Nowy Menedżer połączeń, jak pokazano na poniższym zrzucie ekranu:
- Wybierz OLEDB jako typ Menedżera połączeń, a następnie kliknij przycisk Dodać przycisk jak pokazano na poniższym zrzucie ekranu:
- Po kliknięciu na Dodać przycisku, pojawi się ekran pokazany na poniższym zrzucie ekranu:
Na powyższym ekranie widzimy, że połączenie danych Magazyn Studencki baza danych jest już dostępna, ponieważ utworzyliśmy ją w poprzednim kroku. Kliknij na OK przycisk.
- Po kliknięciu przycisku OK pojawi się ekran jak poniżej:
Na powyższym ekranie należy podać szczegóły takie jak nazwa zadania, opis, instrukcję SQL (zadanie SQL, które należy wykonać na tabeli).
- Na powyższym zrzucie ekranu wprowadziłem następujące dane:
W powyższym przypadku polecenie wstawiania udostępniłem w SQLStatement.
- Kliknij na OK przycisk.
- Kiedy skonfigurujesz komponent za pomocą zadania Execute SQL, czerwony krzyżyk zniknie, jak pokazano na poniższym zrzucie ekranu:
- Uruchom projekt klikając na Początek .
- Kiedy klikniesz na Początek , pojawi się ekran jak poniżej:
Na powyższym ekranie znacznik wyboru wskazuje, że zadanie SQL zostało pomyślnie ukończone. Instrukcja wstawiania, którą dodaliśmy w poprzednich krokach, została wykonana, a dane zostały dodane do tabeli. tj. student1.
- Wynik tego zadania pokazano poniżej
Warunek wstępny
Zanim nauczysz się SSIS, musisz posiadać podstawową wiedzę o SQL Server.
Publiczność
Nasz samouczek SSIS został zaprojektowany, aby pomóc początkującym i profesjonalistom.
Problem
Zapewniamy, że w tym samouczku dotyczącym SSIS nie znajdziesz żadnego problemu. Jeśli jednak wystąpi jakiś błąd lub błąd, prosimy o przesłanie błędu w formularzu kontaktowym.