Migracja danych przy wymianie systemu - błąd, który popełnia większość firm

Kiedy system IT przestaje wspierać rozwój firmy

Ten moment, którego nikt nie lubi, ale każda firma prędzej czy później musi przez niego przejść. W każdej firmie nadchodzi chwila, kiedy dotychczasowy system po prostu przestaje nadążać za biznesem. Może to być ERP, WMS, CRM, czy modułu produkcyjnego, albo jakiegoś systemu e-commerce, albo jakiegokolwiek innego software’u sprzed 10 lat. Przez długi czas wszystko działało, może trochę skrzypiało, może trzeba było coś obejść Excelem, ale działało - do czasu.

W poprzednich odcinkach sporo mówiliśmy o tym, jak podejść do wyboru nowego systemu, na co zwrócić uwagę, jak porównywać rozwiązania. A dziś chciałbym opowiedzieć Wam o tym, co dzieje się wtedy, kiedy ta decyzja została już podjęta.

Kiedy projekt już jest w toku, konfiguracje są gotowe, integracje przygotowane i zostaje już tylko ostatnia prosta. I właśnie w tym momencie pojawia się etap, który wpływa na to, czy wymiana systemu faktycznie się uda. Mianowicie migracja danych.

Jeśli takie praktyczne spojrzenie na technologie w biznesie jest dla Ciebie pomocne, to będzie mi bardzo miło, jeśli zostawisz łapkę w górę. I oczywiście zasubskrybujesz ten kanał. Na pierwszy rzut oka migracja danych może wyglądać naprawdę prosto.

Wymiana systemu IT a migracja danych

Zrzucamy dane ze starego systemu, wgrywamy je do nowego i gotowe. Tyle, że w praktyce firmy funkcjonują na znacznie bardziej złożonym środowisku. Przez lata w organizacjach tworzy się mikroświat systemów, które często działają obok siebie i prawie nigdy naprawdę nie działają razem.

ERP przechowuje jedną wersję danych, zwykle tę taką oficjalną, którą widzi księgowość i zarząd. CRM trzyma zupełnie inną, taką bardziej handlową, z pisami mniej uporządkowanymi, bez nipów, bez pełnych adresów, ale za to z komentarzami handlowców, jeżeli faktycznie je tam dodają. WMS ma swoją wersję.

Tam klient nie ma nazwy, tylko jakiś konkretny kod, bo tak jest szybciej przy kompletacji. A do tego dochodzą Excele, które powstawały latami, listy klientów, listy rabatów, własne słowniki produktów, prywatne bazy dostawców. Wszystko zapisane tak, jak komu było wygodnie.

Każdy system mówi tym samym językiem biznesu, tylko w swoim własnym dialekcie. W codziennej pracy to nie przeszkadza. Firma działa, procesy się toczą, a systemy dogadują się na tyle, na ile muszą.

Migracja to jak przeprowadzka po piętnastu latach. Na co dzień nie widać bałaganu. Ale kiedy trzeba spakować i uporządkować każdą szafkę, wtedy odkrywasz rzeczy, o których dawno zapomniałeś.

Wychodzi to, co było upchane na później, to, co kiedyś miało być tylko tymczasowe i to, czego wcale nie planowałeś zabierać ze sobą. I tak samo w systemie pojawiają się niespójne rekordy, różne formaty tych samych danych, duplikaty kontrahentów, produktów, brak historii albo właśnie historia, która jest niespójna i de facto nie da się jej odczytać. Dane, które też w żaden sposób nie pasują do struktury nowego systemu.

Dlatego migracji danych nie możemy wykonać z reguły na zasadzie kopii i wklej. To proces, który wymaga dokładności i dobrego przygotowania, bo od jakości danych de facto zależy to, jak płynnie zacznie działać nowy system. W e-commerce prawie zawsze wychodzą trzy rzeczy.

Nieaktualne produkty, błędne atrybuty i nieposprzątane powiązania między różnymi SKU, wariantami, czy też różnymi marketplace’ami. Możesz mieć 60 tysięcy produktów, a z tego np. 2 tysiące z nich ma błędną kategorię, czy też trudności w nazwach, w kodach, w tego typu danych.

Nowy system to widzi i odmawia wgrania. W produkcji największym dramatem są bomy i technologiczne receptury. Jedni wpisywali jednostki w gramach, inni w kilogramach, jedni dawali spację, inni podkreślniki, jedni używali przecinków, inni kropek.

I nagle okazuje się, że dwa warianty tej samej operacji technologicznej system widzi jako dwie różne operacje. Bardzo często magazyn ma swoją prawdę, ERP ma swoją, a WMS swoją. Stany magazynowe są poprawne, ale tylko mniej więcej, bo przy migracji niestety mniej więcej nie działa.

Proces migracji danych między systemami IT

Migracja danych jest trudna tylko wtedy, kiedy podchodzimy do niej na ostatnią chwilę. W rzeczywistości da się to zrobić sprawnie, szybko i przewidywalnie, jeśli trzymamy się kilku prostych, jednak absolutnie kluczowych zasad. To co polecam Ci zrobić, aby mieć pewność, że migracja systemu na inny system przebiegnie pomyślnie, to zacznij od audytu danych, ale nie rób z tego doktoratu.

Chodzi o to, abyś wiedział, co mamy, gdzie to jest, w ilu systemach, w jakiej jakości, czego brakuje, co jest duplikatem, co jest nieaktualne, jakich danych system wymuszał od użytkownika odnośnie formatu tych danych, a gdzie to nie było konieczne. Następnie przygotuj jedną wspólną definicję danych podstawowych. Zanim cokolwiek przeniesiemy musimy ustalić, jak nazywamy klientów, jakie pola są obowiązkowe, jak wygląda struktura produktu, co jest de facto ID klienta w przeróżnych systemach, jak identyfikujemy zamówienia, jak opisujemy stany magazynowe, jakie jednostki stosujemy i też gdzie.

I teraz najważniejsze, kiedy te zasady są jasno ustalone, ogromną część pracy da się zautomatyzować. Czyli zamiast ręcznie poprawiać tysiące rekordów i je standaryzować po fakcie, automatycznie przygotowujemy dane pod nowy system. To ogromnie skraca czas i koszty migracji.

I tu przechodzimy do podpunktu, który naprawdę lubię, czyli do ustalania priorytetów. Bo w migracji danych najgorsze, co można zrobić, to próbować przenieść wszystko naraz. Migracja nie polega na tym, żeby skopiować całą przeszłość firmy.

Polega na tym, żeby przenieść to, co jest potrzebne, żeby nowy system mógł działać od pierwszego dnia. Resztę można dograć później. I oczywiście to, co musi wejść na start zależy od tego, jaki system wdrażasz, jakie dane mają dla ciebie prawdziwą wartość.

Bo mądre podejście do migracji to wybór, a nie hurtowe kopiowanie wszystkiego, co nazbierało się przez te wszystkie lata. I to właśnie ten wybór skraca migrację, obniża koszty i pozwala wystartować bez chaosu. Bo kiedy już wiemy, co naprawdę chcemy przenieść, a co może spokojnie poczekać, wtedy pojawia się kolejny kluczowy krok.

Krok, który wciąż jest w wielu firmach pomijany, a jednocześnie jest jednym z najlepszych narzędzi, jakie masz do dyspozycji przy migracji. Mam na myśli migrację próbną. Testujesz w bezpiecznych warunkach, żeby zobaczyć, co jeszcze trzeba poprawić.

Nie musisz od razu przenosić całych, wielu tysięcy produktów, czy wszystkich zamówień z ostatnich kilku lat. Na start wystarczy przekrój danych, który odzwierciedla realne przypadki. Kilka prostych rekordów, kilka trudnych, trochę takich nieidealnych, które mają swoje braki lub jakieś przeróżne niespójności.

I takie, które pojawiają się w wielu systemach jednocześnie. To pozwala zobaczyć, jak zachowuje się nowy system, bez angażowania całej firmy. Kiedy dane są już przygotowane, posprzątane i po tej próbnej migracji, dobrze jest nie odkładać tej właściwej migracji w nieskończoność.

Po prostu dlatego, że biznes żyje swoim rytmem. Pojawiają się nowe zamówienia, nowe produkty, nowe zmiany u klientów. Im dłużej będziemy zwlekać, tym większa szansa, że trzeba będzie wrócić do części prac porządkowych.

Czyli do tej de facto standaryzacji danych po fakcie. Dlatego w tym momencie najlepiej po prostu ustalić konkretną datę migracji i konsekwentnie się jej trzymać. Daje to wszystkim jasność, a zespołowi wdrożeniowemu pozwala zaplanować działania w uporządkowany sposób.

I to naturalnie prowadzi nas do kolejnego kroku, czyli do tak zwanego freezu danych. W okresie między przygotowaniem danych a faktyczną migracją, warto ograniczyć zmiany w tych obszarach, które będą przenoszone. Nie chodzi o blokowanie całej firmy, tylko o to, żeby kluczowe dane pozostały spójne i nie uciekały nam w tak zwanym międzyczasie.

I na tym etapie zostaje nam jeszcze jedna rzecz, ale bardzo prosta, za to niezwykle praktyczna, a mianowicie zadbanie o możliwość szybkiego powrotu do poprzedniego stanu, gdyby pojawiła się potrzeba. To standardowa procedura, którą stosuje się w większości dobrze prowadzonych projektów IT. Backup systemu nie musi być skomplikowanym procesem.

W większości przypadków to po prostu kopia danych ze starego systemu tuż przed ich standaryzacją, migracją i zapisem ustawień i konfiguracji oraz możliwość odtworzenia tego stanu w razie potrzeby i przeniesienia użytkowników jeszcze na te stare systemy. To taka siatka bezpieczeństwa, która pozwala wszystkim pracować spokojniej i nie martwić się, że jedno nieplanowane zdarzenie sparaliżuje kompletnie firmę. Co ważne, plan awaryjny nie oznacza, że coś musi pójść nie tak.

To raczej podejście, jeśli cokolwiek nas zaskoczy, to wiemy dokładnie, co mamy zrobić. Finalna migracja to tak naprawdę powtórzenie kroków, które już znamy. To nic innego jak odtworzenie krok po kroku scenariusza, który został de facto wypracowany podczas migracji próbnych.

Zwykle cały ten proces składa się z kilku bardzo konkretnych działań. Zatrzymania pracy w starym systemie w ustalonym momencie, tak aby dane były kompletne. Następnie wykonanie ostatniej finalnej kopii danych, zanim uruchomimy wszelkie mechanizmy standaryzacyjne, jeżeli są one potrzebne.

Kolejno uruchomienie przygotowanych skryptów migracyjnych lub procedur, które zostały wcześniej przetestowane. Następnie weryfikacja kluczowych danych już w nowym systemie. Czy klienci, produkty, stany i zamówienia są zgodne z oczekiwaniami i zgodne z tym, jak to wyglądało podczas testów? Następnie włączenie nowego systemu do pracy produkcyjnej.

W praktyce, jeśli poprzednie etapy te związane z testami i standaryzacją tych danych post-factum zostały wykonane solidnie, przełączenie systemu przypomina bardziej zaplanowaną zmianę narzędzia. Oczywiście pierwsze godziny czy pierwsze dni w nowym systemie to czas wyższej czujności. Zespół wdrożeniowy obserwuje, czy procesy działają zgodnie z założeniami, czy zapisują się w odpowiedni sposób, czy integracje przesyłają owe dane poprawnie m.in. systemami, czy użytkownicy mogą wykonywać swoje zadania, czy mogą w danym systemie robić to, co powinni mu z nim robić już po migracji, czy nie pojawiają się jakieś drobne elementy wymagające korekty.

To naturalna część każdego wdrożenia, czyli moment, w którym dopracowywane są drobne szczegóły, które wychodzą dopiero przy realnej pracy użytkowników. Najważniejsze jednak jest to, że dane są spójne, mają solidny fundament, a firma może płynnie przejść do codziennego działania bez niepotrzebnych przestojów. Jeśli tego typu odcinki są dla Ciebie wartościowe i chcesz więcej praktycznego spojrzenia na technologię w biznesie, to serdecznie zachęcam do subskrypcji tego kanału.

Dzięki temu nie przekapisz kolejnych materiałów, a dla mnie będzie to jasny sygnał, że tematy technologiczne są dla Ciebie ważne i warto je rozwijać dalej na tym kanale. Dzięki i do zobaczenia za tydzień. Cześć.