Nikt nie odważy się zaprzeczyć, że mamy dziś do czynienia z niespotykanym dotychczas tempem, w jakim powstają cyfrowe dane. Tworzą je zarówno użytkownicy prywatni (przy pomocy swoich komputerów, smartphone’ów czy aparatów cyfrowych) i biznesowi (księgowość, dane klientów itd.). Najwięcej danych pochodzi obecnie z wszelkiego rodzaju czujników i zautomatyzowanych urządzeń. O tym, jak duża jest to skala, może świadczyć objętość danych generowanych przez sensory silnika odrzutowego podczas półgodzinnego lotu rejsowego samolotu – liczba ta jest szacowana przez inżynierów na 10 TB. Natomiast Wielki Zderzacz Hadronów, znajdujący się w podgenewskim tunelu w CERN-ie, byłby w stanie wygenerować 10 PB danych… na sekundę, gdyby tylko istniały rozwiązania zdolne do zapisania w tak krótkim czasie takich ilości informacji.

Czy kolekcjonowanie takich ilości informacji miałoby sens? Gdyby tylko dysponować sprzętem gotowym do ich przechowania i przetworzenia – na pewno tak. Mając dostęp w czasie rzeczywistym do wszystkich danych z silnika samolotu, można by zawczasu przewidzieć nadchodzącą awarię i być może uratować wiele istnień ludzkich (nie ryzykować przy tym utraty sprzętu i dobrego wizerunku producenta lub linii lotniczej). Scenariusze, w przypadku których umiejętna analiza dostępnych danych mogłaby przynosić konkretne zyski, łatwo mnożyć.

Co zatem dokładnie można przypisać pojęciu Big Data? Definicji i sposobów podejścia wciąż jest kilka, co wynika z różnorodności firm oferujących rozwiązania ułatwiające poradzenie sobie z tym wyzwaniem. Producenci serwerów wskazują na konieczność wyposażenia firmy w odpowiednią ilość mocy obliczeniowej, zdolnej do przetworzenia tak ogromnych ilości informacji. Podobnie producenci pamięci masowych – ci będą naciskali na sprzedaż powierzchni, na której te wszystkie kolekcjonowane dane będą musiały zostać zapisane. Dostawcy oprogramowania z dumą będą wskazywali na swoje rozwiązania umożliwiające analizę zebranych danych.

 

Więcej danych to lepsze decyzje

Tym, co fascynujące w Big Data, jest różnorodność miejsc, z których
mogą spływać dane poddawane analizom. Co więcej, ich umiejętna korelacja
może mieć znaczny wpływ na jakość podejmowanych przez firmy decyzji
biznesowych. Możliwe staje się bardziej dokładne przewidywanie trendów
społecznych lub prognozowanie zachowań ludzi. Dostępność danych
z różnych źródeł pozwala na tworzenie bardziej realistycznych modeli
obliczeniowych, a więc jednocześnie kreowanie nowych sposobów
prowadzenia biznesu.




Radosław Machnica

 

Solutions Consultant, Hitachi Data Systems

Bardzo dużym wyzwaniem dla firm jest odnalezienie i zinterpretowanie
tzw. Dark Data, czyli dużych zbiorów nieustrukturyzowanych danych
chaotycznie przechowywanych w różnych systemach. Często mamy do
czynienia z klientami, którzy posiadają bardzo cenne informacje, ale nie
wiedzą, gdzie owe dane się znajdują – w jakim systemie, w jakim
formacie, na jakim nośniku. Partner, który pomoże takiej firmie odszukać
i zinterpretować te – w tej chwili niemożliwe do przeszukania – dane,
wykaże tym samym znaczną wartość dodaną swoich rozwiązań.

 

 

Zjawisko Big Data stanowi dziś tak duże wyzwanie dlatego, że wciąż niewiele firm potrafi zdać sobie sprawę z bogactwa, które leży w już posiadanych przez nie danych. Bogactwa, które można wydobyć poprzez umiejętną analizę i poszukiwanie nowych źródeł informacji, płynących ze sklepów internetowych, urządzeń pomiarowych lub systemów produkcyjnych.

Wyznacznikiem trendu odnośnie do realizacji koncepcji Big Data stał się projekt Hadoop rozwijany w modelu open source przez fundację Apache. Oprogramowanie to umożliwia tworzenie rozproszonych aplikacji analizujących bardzo duże ilości danych. O sukcesie koncepcji może świadczyć fakt, że jeszcze zanim opublikowano stabilną wersję oprogramowania, było one już wykorzystywane przez takie firmy jak Amazon, Facebook czy Yahoo. Autor projektu – Doug Cutting, widząc tak duże zainteresowanie, założył więc firmę Cloudera, która dostarcza to oprogramowanie firmom i świadczy usługi wsparcia technicznego.

Poważne inwestycje w rozwiązania umożliwiające realizację projektów Big Data prowadzą też inni duzi gracze. EMC w 2012 r. kupił większościowy pakiet w firmie Pivotal, specjalizującej się w systemach analizy danych. Na czwarty kwartał bieżącego roku została zapowiedziana premiera platformy Pivotal One, która umożliwi kompleksowe podejście do projektu Big Data – zapewni środowisko techniczne do przetwarzania i przechowywania w chmurze, system zarządzania danymi i aplikacje do ich analizy. Co ciekawe, 10 proc. firmy Pivotal kupił też General Electric, który programem Big Data chce objąć badania nad produkowanymi przez siebie urządzeniami.

 

Jest zainteresowanie, mimo wysokich cen

Ciekawe badanie w 2012 r. wśród europejskich firm na zlecenie Hitachi Data Systems przeprowadziło IDC. Aż 30 proc. badanych organizacji zadeklarowało, że już zaczęło prowadzić analizy posiadanych dużych zbiorów danych lub planuje zacząć je w ciągu następnych 24 miesięcy. Jednocześnie tylko 10 proc. stwierdziło, że nigdy tego nie zrobi. Informacje, które firmy najczęściej zamierzają poddawać dodatkowej analizie w ramach projektu Big Data, to ustrukturyzowane dane w bazach danych, dokumenty i archiwa.

Respondenci za trzy najważniejsze zalety projektów Big Data uznali łatwiejsze planowanie i budżetowanie, lepszy wgląd w obszary ograniczania kosztów oraz analizę i ograniczanie ryzyka, przy czym każda z nich miała podobny procent wskazań. Natomiast ponad 40 proc. respondentów twierdzi, że wciąż wdrożenie tego typu projektu jest hamowane przez duże koszty i nie zawsze klarowny zwrot z takiej inwestycji.

 

Big Data zwiększa rolę działu IT

W Connected World Technology Report, badaniu, które przeprowadziło
Cisco wzięło udział 1800 specjalistów IT z 18 krajów, w tym z Polski.
Sprawdzano w nim m.in. gotowość sektora IT na zmiany i wyzwania oraz
próbowano zidentyfikować strategiczny potencjał projektów Big Data
i technologiczne braki utrudniające ich realizację. Wyniki badania
wskazują, że zarówno specjaliści IT, jak i osoby odpowiedzialne za
realizację biznesowych planów firm nie są jeszcze w stanie wyciągać
strategicznych wniosków z danych, jakimi dysponują. Wiele
z ankietowanych przedsiębiorstw boryka się z problemami biznesowymi oraz
technologicznymi związanymi z Big Data.

Grzegorz Rogaliński

prezes zarządu SAP Polska

Do szybkiej analizy dużych ilości danych potrzeba bardzo wydajnego
sprzętu oraz odpowiedniego oprogramowania. Jednak sprzęt do
przetwarzania i przechowywania danych z roku na rok tanieje, maleją
także marże, więc integratorom coraz trudniej zarabiać tylko na
sprzedaży wyposażenia centrów danych. Uwzględniając ten fakt,
stworzyliśmy nowy mechanizm przetwarzania danych SAP HANA, który
umożliwia bardzo szybką analizę danych w coraz tańszej pamięci
operacyjnej serwerów z wykorzystaniem technologii in-memory. Dzięki
mechanizmowi kompresji danych jesteśmy w stanie nawet czterokrotnie
zmniejszyć ich objętość do przetworzenia w pamięci.

 

 

Ponad dwie trzecie menedżerów IT potwierdziło, że Big Data będzie dla ich firm priorytetem w roku 2013 oraz w kolejnych pięciu latach. Najwyższe wyniki uzyskano w Argentynie (89 proc.), Chinach (86 proc.), Indiach (83 proc.), Meksyku i Polsce (po 78 proc.). W naszym kraju połowa badanych uważa, że potrzebuje szczegółówego planu, aby wykorzystać możliwości Big Data.

Projekty Big Data dają działom IT możliwość umocnienia ich strategicznej
pozycji w ramach organizacji dzięki tworzeniu wartości dodanej oraz
wzmacnianiu relacji z innymi jednostkami biznesowymi. W Polsce 66 proc.
badanych (na świecie 73 proc.) uznało, że za projekty Big Data odpowiada
dział IT. Respondenci stwierdzili jednak, że w prowadzeniu tego typu
projektów uczestniczyć będą także inne działy, w tym finansowy, R&D,
operacyjny, inżynierski oraz marketing i sprzedaż.

 

Jak zarobić na nie swoich danych?

Czy na trendzie Big Data mogą skorzystać polscy resellerzy
i integratorzy? Na pewno tak, chociaż oznacza to konieczność zmiany
spojrzenia zarówno na swoją ofertę, jak też potrzeby klientów. Zamiast
dotychczasowego skupiania się na kwestiach technicznych (np. wydolności
infrastruktury) należy odwoływać się do potrzeb biznesowych, pomagając
klientom zrozumieć, jak wydobywać ze zgromadzonych danych naprawdę
wartościowe informacje. Należy starać się rozwiązać nie tylko problemy
związane z gromadzeniem i ochroną danych, ale również z ich
przeszukiwaniem, korelacją, a następnie wyciągnięciem wniosków.

Jak skutecznie wdrożyć Big Data?

1. Każdy projekt związany z Big Data powinno się rozpocząć od
przejrzenia danych i ich klasyfikacji – określenia, czy należą do danych
ustrukturyzowanych lub nieustrukturyzowanych, policzalnych lub
niepoliczalnych. Warto też oszacować prognozowany wzrost ilości danych,
bazując na dotychczasowych trendach i planach rozwoju firmy.

2. Stworzyć mapę obrazującą przepływ danych wewnątrz organizacji.
Prosty diagram ukazujący, gdzie dane są tworzone, przechowywane
i przesyłane przydaje się przy objaśnianiu zawiłości projektu osobom
niewtajemniczonym i może pomóc w uniknięciu kosztownych nieporozumień.

3. Planować długofalowy rozwój infrastruktury centrum danych, uwzględniając sukces projektu Big Data.

4. Każda firma i projekt są unikalne, więc dobierając rozwiązania IT,
należy brać pod uwagę cel, który chce się osiągnąć, a nie konkretną
architekturę sprzętową. Należy być elastycznym i zapewnić możliwość
rozwoju infrastruktury.

5. Wprowadzenie warstw do pamięci masowych (kopiowanie starszych
danych na wolniejsze i tańsze nośniki) może uratować budżet projektu.
Dla niektórych danych można rozważyć także ich kasowanie.

6. Warto rozważyć, co stanie się, gdy osiągniemy teoretyczny limit
pojemności lub wydajności. Dlatego zawczasu należy zapewnić możliwość
skalowalności i obserwować oferty nowych rozwiązań.

7. Rozwiązania IT dla projektu Big Data powinny zapewniać ciągłość
pracy i dostępu, dlatego należy wyeliminować wszystkie pojedyncze punkty
awarii, które mogą wpłynąć na przerwanie pracy.

8. Dla wszystkich działań należy zapewnić właściwy poziom
bezpieczeństwa. Cyfrowe dane to jeden z najbardziej wartościowych
zasobów każdej firmy, a wnioski z ich analizy mogą stanowić cenny łup
dla konkurencji.

 

 

O jakiej wielkości klientach jest tutaj mowa? Oczywiście najwięcej danych do analizy mają największe firmy – banki, instytucje finansowe czy operatorzy telekomunikacyjni. Ale nie oznacza to, że właściwego użytku z danych nie mogą zrobić także mniejsze przedsiębiorstwa. W tym obszarze pojawia się duża szansa dla resellerów i mniejszych integratorów, którzy mogą zaoferować takim firmom kompleksowe rozwiązanie, na które składają się zarówno serwery, pamięci masowe, jak też odpowiednio przygotowane oprogramowanie ułatwiające analizę danych.

Kolejnym ciekawym obszarem mogą być usługi porządkowania i analizy danych posiadanych przez klientów. Odczuwalny w większości firm brak spójnej polityki zarządzania informacją, a szczególnie plikami rozsianymi na różnych serwerach i stacjach roboczych użytkowników, może przerodzić się w żyłę złota dla tych, którzy w umiejętny sposób będą w stanie nad tych chaosem zapanować. Jeżeli posiadane przez klienta dane mogą mieć dodatkową wartość, bardzo szybko zostanie to zauważone, a konto firmy, która w tym pomogła, zostanie zasilone całkiem pokaźną sumą.

 

Pionierzy świata nowych danych

Na świecie zaczyna funkcjonować też nowy zawód – analityk danych (data scientist), który pomaga firmom w nawigacji po oceanie bitów i bajtów. Specjalista taki wie, jak osiągnąć maksymalne korzyści ze zbiorów danych i znaleźć właściwe rozwiązania. Potrafi również zadać odpowiednie pytania, aby ocenić nowe koncepcje i możliwości biznesowe. Doskonale zna nie tylko potrzebne metody i technologie, ale także wymagania konkretnych branż i firm.

Niektórzy analitycy będą pracować dla firm nowego typu, których jedynym zasobem jest dostęp do wielu zbiorów danych oraz zdolność do analizowania informacji gromadzonych przez innych. Jak podkreśla dr Joseph Reger, dyrektor techniczny Fujitsu Technology Solutions, już wkrótce może powstać całkiem nowa branża zaufanego pośrednictwa informacyjnego. Tacy brokerzy informacji świadczyliby usługi dostępu do zewnętrznych źródeł danych – na podobnych zasadach jak analiza zdolności kredytowej w banku. Jednocześnie każdy, kto uzyskiwałby do nich dostęp, powinien widzieć tylko przeznaczone dla niego dane, co pomoże zachować ich poufność. By określenie Big Data nie prowadziło do oczywistych – szczególnie wobec ostatnich doniesień medialnych o projekcie PRISM – skojarzeń z Big Brother…     

Krzysztof Lorant

Hitachi Data Systems Consultant, Avnet

W związku z problemami, jakie pojawiają się wraz z Big Data, firmy integracyjne powinny rozwijać swoje kompetencje w zakresie rozwiązań umożliwiających nie tylko składowanie i nieprzerwany dostęp do danych, ale również zarządzanie ich cyklem życia, archiwizację, analizę oraz – co bardzo istotne – sprawne przeszukiwanie dużych zbiorów danych. Większe umiejętności w tym zakresie zapewne zmienią również sposób podejścia do klientów, ich problemów i oczekiwań.