Wdrożenie Metrocluster IP w jednej z największych firm znajdujących się w indeksie WIG20

Na początku roku 2022  firma Hardosft Telekom miała przyjemność wdrożyć system Netapp Metrocluster IP w jednej z największych firm znajdujących się w indeksie WIG20. Niestety nie możemy Państwu podać nazwy firmy ze względu na podpisaną klauzulę poufności.

Metrocluster IP jest to jedno z nowszych rozwiązań firmy Netapp, które zdecydowanie ogranicza koszty sprzętu oraz instalacji w porównaniu do rozwiązania Metrokluster FC. Oparte jest ono na macierzach Netapp oraz dedykowanych przełącznikach sieciowych 100Gbit. W porównaniu do rozwiązania opartego na FC, nie zobaczymy tutaj ani przełączników Fiber Chanell, ani urządzeń Bridge SAS->FC. Ogranicza nam to koszty związane z zakupem całego rozwiązania oraz koszty późniejszego suportu.

Architektura rozwiązania Metrokluster IP wygląda następująco:

Jak widać na rysunku po lewej, do połączenia dwóch stron systemu (Site A, oraz Site B – w dalszej części dokumentu nazywanych „centrami danych”) w jedną całość, wymagane są jedynie switche Ethernet oraz dedykowane łącza światłowodowe do obsługi połączeń między switchami. Rozwiązanie Metrocluster łączy kontrolery macierzy w taki sposób, iż maja one dostęp do wszystkich dysków znajdujących się w pólkach macierzowych w obu stronach. Daje nam to odpowiedni poziom bezpieczeństwa, ponieważ rozwiązanie jest odporne na awarię 3 z 4 dostępnych kontrolerów macierzowych. Dane zapisywane są w sposób synchroniczny w obu centrach danych jednocześnie, dlatego awaria jednej ze stron rozwiązania, nie powoduje nam przerwy w pracy. Dodatkowo grupy RAID zbudowane z obu stron, odporne są na awarię aż trzech dysków. Zastosowany RAID TEC, jest autorskim rozwiązanie firmy Netapp, które jest stosowane do dysków NL-SAS o dużej pojemności. Zabezpiecza ono nasze dane poprzez dodatkowy poziom kontroli danych w porównaniu do tradycyjnego rozwiązania RAID 6 stosowanego u konkurencji. Dlatego jest ono odporne na awarię trzech dysków oraz znacznie skraca czas odbudowy pojedynczego dysku w przypadku awarii.

W przypadku naszego klienta, w obu centrach danych zamontowane zostały macierze Netapp FAS 8300, oraz switche Broadcom BES-53248. Ponieważ centra danych oddalone są o około 15km od siebie, musieliśmy dodatkowo zastosować wkładki światłowodowe o zwiększonym zasięgu, tzw. LongRange.

Macierz NetApp FAS 8300

NetApp FAS8300 to skalowalny i wydajny system pamięci masowej Midrange Unified, który jest w stanie rozwiązać dość szeroki zakres zadań IT. 

Para kontrolerów jest umieszczona w obudowie 4U przeznaczonej do instalacji w standardowych szafach serwerowych. Z przodu nie ma kosza na dyski – tam są zainstalowane wentylatory, z tyłu kontrolery i zasilacze.

Zasoby obliczeniowe

Skalowalność

Oprogramowanie

Tutaj wszystko jest dość proste – dostępne są dwa pakiety: podstawowy i premium.

Pakiet podstawowy :

• Protokoły pamięci masowej: licencje na wszystkie obsługiwane protokoły (FC, FCoE, iSCSI, NFS, pNFS, CIFS/SMB)
• Wydajność: NetApp FlexVol®, deduplikacja, kompresja, kompaktowanie i elastyczne przydzielanie
• Gotowy: wielokanałowe I/O
• Ochrona danych: RAID-TEC, RAID DP i migawka
• Wydajność: QoS w pamięci masowej
• Skalowalny kontener NAS: FlexGroup
• Zarządzanie danymi: Menedżer systemu ONTAP

Pakiet Premium  to pakiet podstawowy +

• FlexClone: ​​natychmiastowe wirtualne kopie baz danych lub maszyny wirtualne
• SnapMirror: proste, wydajne i elastyczne narzędzie do odzyskiwania po awarii
• SnapVault: oprogramowanie do tworzenia kopii zapasowych dysków umożliwia tworzenie pełnych kopii zapasowych i archiwów online
  podstawowej i dodatkowej pamięci masowej w ciągu zaledwie kilku minut
• SnapRestore: Pełne natychmiastowe przywracanie migawki
• SnapCenter: ujednolicona, skalowalna platforma i pakiet rozszerzeń do spójnej ochrony danych i zarządzania klonowaniem
• SnapManager Suite: narzędzie do tworzenia kopii zapasowych, przywracania i klonowania danych zgodnych z aplikacją lub maszyną wirtualną

Z opcjonalnego oprogramowania, które nie jest zawarte w pakietach, są następujące:

• OnCommand: zestaw narzędzi oprogramowania do zarządzania zapewnia kontrolę w celu maksymalizacji
  wykorzystania systemu, spełnienia warunków umów SLA pamięci masowej, zminimalizowania ryzyka i poprawy wydajności
• SnapLock: oprogramowanie zgodności dla chronionych danych WORM (zapis
  raz , odczyt wielu)
• FlexArray: Wirtualizacja istniejących macierzy innych producentów w środowisku ONTAP w celu efektywnego wykorzystania pojemności w systemach NetApp FAS

Switche Broadcom BES-53248

Jeśli masz istniejące dwuwęzłowe środowisko klastrowe bez przełączników, możesz przeprowadzić migrację do dwuwęzłowego środowiska klastrowego przełączanego przy użyciu przełączników klastrowych BES-53248 obsługiwanych przez Broadcom, aby umożliwić skalowanie poza dwa węzły w klastrze.

Wdrożenie u naszego klienta

Wdrożenie rozpoczęliśmy od zainstalowania sprzętu w szafach rack. Na początek macierze Netapp wraz z pólkami, które łącznie zajmowały 16U – macierz z kontrolerami + sześć półek dyskowych. Później przyszedł czas na switche Broadcom – kolejne 2U oraz okablowanie całego środowiska. Po skończeniu jednej strony pojechaliśmy do drugiego centrum danych i powtórzyliśmy cały proces. Gdy mieliśmy już zamontowany sprzęt z dwóch stron przeszliśmy do etapu konfiguracji całego środowiska. Najpierw wykonaliśmy testy połączenia pomiędzy dwiema stronami rozwiązania aby upewnić się że dedykowane łącza spinające środowisko działają poprawnie i mają odpowiednie parametry. Ponieważ dalszą konfigurację środowiska przeprowadzaliśmy zdalnie pod nadzorem klienta, to zanim opuściliśmy miejsca instalacji sprzętu, przeprowadziliśmy testy komunikacji zdalnej ze środowiskiem. Po uzyskaniu pozytywnych wyników testów, mogliśmy ze spokojem pojechać do domu. Pozostała część konfiguracji macierzy Natapp została przeprowadzona zdalnie co pozwoliło nam zaoszczędzić sporo czasu i pieniędzy. Na miejscu u klienta byliśmy dosłownie jeden dzień.

Wdrożenie macierzy Netapp, switchy Broadcom oraz testy powdrożeniowe całego rozwiązania Metrocluster IP zajęły łącznie około dwóch tygodni. Testy obejmowały szeroki zakres, począwszy od zwykłego przesyłania plików między centrami danych poprzez sprawdzanie działania loadbalancingu a skończywszy na powodowaniu awarii jednego z centrów danych i sprawdzania zachowania drugiego.

Za wdrożenie wyżej opisanego rozwiązania, firma Hardsoft Telekom Jarosław Kaźmierczak otrzymała nagrodę od producenta macierzy Netapp za „Najbardziej wymagający projekt” roku. Nazwa nagrody jest adekwatna do sytuacji, z którą musieliśmy się zmierzyć razem z klientem. COVID oraz spowodowany chorobą problem z dostępnością części, spowodowały iż realizacja projektu stanęła pod znakiem zapytania. Z pomocą przyszedł dystrybutor firmy Netapp w Polsce, który dzięki swoim kontaktom spowodował dostarczenie potrzebnych części do fabryki, co pozwoliło na skompletowanie zamówienia i szczęśliwe zakończenie projektu.

Opracował:

  Jarosław Damse

  IT System Engineer

  IT Department Director