Dlaczego jakość AI zależy od jakości danych

Wyobraźmy sobie asystenta AI odpowiadającego klientom na pytania o produkty. Aktualne ceny znajdują się w bazie danych, ale w repozytorium dokumentów pozostał stary cennik. Jeżeli system nie wie, które źródło jest właściwe, może wykorzystać nieaktualną wersję.

Tego problemu nie rozwiąże wyłącznie lepszy prompt. Firma powinna wiedzieć:

• skąd pochodzi dana informacja,
• kiedy została ostatnio zaktualizowana,
• kto za nią odpowiada,
• który system jest głównym źródłem prawdy,
• która wersja dokumentu jest aktualna,
• kto może korzystać z danych.

Bez tych informacji AI może odpowiadać szybko, ale niekoniecznie poprawnie lub bezpiecznie.

Pipeline danych: droga informacji przez firmę

Pipeline danych to proces przenoszący i przetwarzający dane od źródła do miejsca ich wykorzystania. Źródłem może być baza danych, API, CRM, system finansowy, Excel lub repozytorium dokumentów.

Pipeline nie powinien jedynie kopiować danych. Powinien je sprawdzać, oczyszczać i uzupełniać o potrzebny kontekst.

Typowe etapy pipeline’u danych

1. Pobranie danych z systemów źródłowych.
2. Walidacja wymaganych pól, typów i formatów.
3. Czyszczenie duplikatów i nieprawidłowych wartości.
4. Transformacja do jednolitej struktury.
5. Uzupełnienie metadanych, na przykład właściciela lub czasu aktualizacji.
6. Zapis w bazie, hurtowni lub indeksie wyszukiwania.
7. Monitoring błędów, opóźnień i jakości.

Jeśli przetwarzanie zostanie przerwane, dobry pipeline powinien wznowić pracę bez utraty danych i tworzenia duplikatów.

Przetwarzanie wsadowe, CDC i dane w czasie rzeczywistym

Nie wszystkie dane muszą być aktualizowane natychmiast. Miesięczny raport może zostać przygotowany w nocy. W przypadku statusu zamówienia lub incydentu bezpieczeństwa kilkugodzinne opóźnienie może być jednak niedopuszczalne.

Przetwarzanie wsadowe przenosi dane w określonych odstępach czasu. Jest prostsze, ale powoduje opóźnienia.

Change Data Capture, czyli CDC, śledzi zmiany w bazie i przesyła tylko nowe, zmodyfikowane lub usunięte rekordy. Po zmianie adresu klienta nie trzeba kopiować całej tabeli.

CDC zapewnia:

• szybszą aktualizację danych,
• mniejszą ilość przesyłanych informacji,
• niższe obciążenie bazy źródłowej,
• możliwość niemal natychmiastowej reakcji.

Należy jednak obsłużyć ponowienia, kolejność zdarzeń, idempotencję oraz odzyskiwanie po błędach.

Integracje event-driven

Architektura event-driven wykorzystuje zdarzenia opisujące to, co wydarzyło się w systemie. Może to być utworzenie zamówienia, dodanie umowy, opłacenie faktury lub zmiana danych klienta.

Po dodaniu umowy system może automatycznie:

• uruchomić OCR,
• wyodrębnić ważne informacje,
• zaktualizować indeks wyszukiwania,
• powiadomić odpowiedzialnego pracownika.

Zaletą jest szybkość i mniejsze bezpośrednie powiązanie pomiędzy aplikacjami. Jedna usługa publikuje zdarzenie, a pozostałe reagują na nie zgodnie ze swoimi potrzebami.

Jakość danych: co należy kontrolować

Jakość danych to nie tylko sprawdzenie, czy pole zostało wypełnione. Wartość może mieć poprawny format, a mimo to być niezgodna z rzeczywistością.

• Kompletność – nie brakuje wymaganych danych.
• Poprawność – informacja odpowiada rzeczywistości.
• Spójność – ta sama wartość nie różni się pomiędzy systemami.
• Aktualność – dane nie są przestarzałe.
• Unikalność – nie występują niepożądane duplikaty.
• Ważność – dane spełniają określone reguły.

Jakość powinna być monitorowana stale, ponieważ systemy źródłowe, formaty i procesy zmieniają się w czasie.

Data lineage: skąd pochodzi błędna odpowiedź?

Data lineage opisuje drogę informacji od źródła aż do końcowego wykorzystania. Jeżeli AI pokaże błędną cenę, zespół musi ustalić, czy błąd pojawił się w bazie, podczas transformacji czy w indeksie wyszukiwania.

Dobra lineage umożliwia śledzenie:

• źródła danych,
• wykonanych transformacji,
• czasu aktualizacji,
• systemów docelowych,
• raportów i procesów korzystających z danych.

Praktyczny przykład: asystent AI dla obsługi klienta

Firma chce stworzyć asystenta odpowiadającego na pytania dotyczące zamówień, produktów i reklamacji. Dane znajdują się w CRM, systemie zamówień, dokumentacji i bazie reklamacji.

1. CDC wykrywa zmianę statusu zamówienia.
2. Zdarzenie trafia do platformy integracyjnej.
3. Pipeline sprawdza identyfikatory i wymagane pola.
4. Zaktualizowane dane trafiają do systemu wyszukiwania.
5. Dokumentacja otrzymuje wersję i datę obowiązywania.
6. AI otrzymuje tylko aktualne dane dostępne dla użytkownika.
7. Odpowiedź może zawierać odwołanie do konkretnego źródła.

Jeśli pipeline przestanie działać lub jakość danych spadnie, monitoring powinien automatycznie wysłać ostrzeżenie.

Najczęstsze błędy podczas przygotowania danych dla AI

• Załadowanie wszystkich danych bez kontroli – AI korzysta również ze starych i zduplikowanych rekordów.
• Brak głównego źródła prawdy – ta sama informacja ma różne wartości w różnych systemach.
• Brak metadanych – nie wiadomo, kto jest właścicielem danych i czy są aktualne.
• Pipeline bez monitoringu – błędy pozostają niewykryte.
• Zbyt późna kontrola uprawnień – AI może uzyskać niedozwolone informacje.
• Brak idempotencji – ponowienie procesu tworzy duplikaty.

Jak rozpocząć bez ogromnego projektu

1. Wybierz konkretny scenariusz AI.
2. Zidentyfikuj potrzebne źródła danych.
3. Określ właścicieli i główne źródło prawdy.
4. Ustal reguły jakości.
5. Zaprojektuj pipeline i sposób aktualizacji.
6. Wprowadź monitoring oraz lineage.
7. Najpierw przetestuj rozwiązanie na małej grupie użytkowników.

Naucz się praktycznie korzystać z AI

Podczas jednodniowego kursu Praktyczne wprowadzenie do sztucznej inteligencji nauczysz się korzystać z OpenAI i DeepSeek, tworzyć skuteczne prompty, wyszukiwać i analizować informacje oraz trenować prosty model za pomocą DataRobot i Google Colab. Kurs nie wymaga wcześniejszej znajomości programowania i zawiera podstawowy przegląd narzędzi AI w AWS.

Oprócz kursów sztucznej inteligencji oferujemy także inne szkolenia IT, w tym programowanie w językach PHP, Java oraz w innych technologiach.

Najczęstsze pytania

Czy każda firma musi korzystać z CDC?

Nie. Jeżeli dane zmieniają się rzadko, może wystarczyć regularny import wsadowy.

Czy wystarczy jednorazowo oczyścić dane?

Nie. Jakość danych powinna być monitorowana przez cały okres działania systemu.

Czy AI może korzystać ze wszystkich danych firmowych?

Nie automatycznie. System musi uwzględniać uprawnienia, poufność i zasady wykorzystania danych.