BIG DATA termin jakim określa się duże zbiory danych, których przetwarzanie odbywa się za pomocą specjalistycznego oprogramowania. Co rozumiemy przez duży zbiór danych? Myśląc o pojęciu BIG DATA chodzi tu o, co najmniej dziesiątki terabajtów, a często nawet i petabajtów. Zastosowanie tego rodzaju narzędzia ma na celu zdobywanie nowych informacji oraz wiedzy z danej dziedziny. Obróbka i możliwość przerobienia dużej ilości informacji mająca na celu wyłuskanie tych najwłaściwszych opartych o ich powtarzalność umożliwia przewidywanie i prognozowanie wielu czynników. Prognozowane i to z dużą dokładnością mogą być epidemie różnych chorób (już robi to Google na podstawie haseł wpisywanych do wyszukiwarki, ale o tym później), możliwość występowania przestępstwa względem określonych warunków, wiedza dotycząca tego jakie czynniki wpływają, że dany produkt, film itp podobają się klientom lub dlaczego się nie podobają. Zastosowań tego rodzaju rozwiązań jest mnóstwo. Jak zwykle również i w tym przypadku nie brakuję głosów wyrażających obawy. Snute są różne wizje w pełni kontrolowanego świata znane z wizji przedstawionej w filmie Matrix. Jak to zwykle bywa wszystkich nigdy się nie zadowoli ale może warto przyjrzeć się temu zagadnieniu ze wszystkich stron czyli ile korzyści dostaniemy w zamian za naszą prywatność?
BIG DATA niektórym może się z pewnością kojarzyć z inwigilacją i naruszaniem prywatności. Próbując określić to pojęcie w wielu publikacjach zależnie od podejścia autora pojawia się wiele mitów budzących przestrach. Pojawia się pytanie, co się stanie gdy prywatne koncerny posiądą tak dokładne informacje na nasz temat? Z pewnością na pierwszy plan wysuną się tu poglądy o ekonomicznych celach tego przedsięwzięcia, czyli wielkie korporację dzięki zdobytej wiedzy zaczną sięgać do kieszeni klientów. W Polsce zła opinia o BIG DAT mogła się pojawić po wypowiedzi prezesa Alior Banku, który mówiąc o analizie i zbieraniu danych zobrazował temat informując, iż Alior Bank planuje instalacje kamer i mikrofonów w oddziałach banków, by zdobywać cenne informacje. Takie podejście nie przysporzy raczej popularności dla rozwiązań opartych o BIG DATA.
Opinii w temacie nie brakuje. Wypowiadają się znani psycholodzy, socjolodzy, eksperci IT i znawcy innych dziedzin. Czy BIG DATA należy zatem uważać za zagrożenie? Jedną z odpowiedzi udziela Jan Zając - psycholog internetu z Uniwersytetu Warszawskiego, współzałożyciel narzędzia do analizy i optymalizacji działań w mediach społecznościowych służących marketingowi - sotrendera. Według Jana Zająca termin Big Data powinno rozumieć się jako zbieranie, przetwarzanie, analiza oraz graficzna prezentacja wizualna danych. Przy czym informacje pobierane są wyłącznie legalnie ze źródeł w jakich dane te umieszczone są przez samych użytkowników i nie są to dane określone przez nich jako prywatne. Mówiąc prościej zebrane dane i ich analiza ma w wyniku dać informacje i odpowiedzi na dany temat prowadzące do ulepszenia produktu, ostrzeżenia przed występującymi zjawiskami i prognozowaniem działań, co ma pomagać instytucją i firmą w prowadzeniu działalności.
BIG DATA jest więc złożonym procesem analizy danych, nie zaś sam fakt ich zbierania i gromadzenia.
Skąd biorą się wątpliwości ?
Wątpliwości biorą się przede wszystkim z niewielkiej wiedzy w temacie Big Data opartej o zasłyszane i fragmentarycznie przeczytane informacje z prasy czy internetu. Istnieje pogląd, iż dane te są pobierane nielegalnie naruszając w ten sposób Naszą prywatność. Tym czasem wcale nie jest tak, że dane o naszych poczynaniach pochodzą z nielegalnych źródeł, a każdy dysponujący odpowiednią gotówką może je sobie zakupić i wykorzystać w niecnych celach.
Różne firmy i instytucje są zainteresowane rożnymi danymi do analizy. Banki zainteresowane są operacjami finansowymi czyli gdzie i w jaki sposób płacimy i korzystamy z produktów finansowych , co pozwoli dobrać dla danego klienta lepszą i atrakcyjniejszą z jego punktu widzenia ofertę. Co złego jest, w fakcie, że możemy dostać lepiej dopasowaną do nas ofertę usług bankowych? Zakładając konto w danym banku zgodziliśmy się, że będzie miał on wgląd w nasze finansowe poczynania nic tu nielegalnego. Zresztą jak może nam to zaszkodzić ?
Dane pochodzić mogą z różnych źródeł. Ile razy zastanawialiście jakie informacje stają się dostępne przez instalowane na smart-fonach aplikację? Czy naprawdę czytacie komunikaty przed ich instalacją ? Czy nigdy Was nie dziwiło, że aplikacja wyświetlająca program telewizyjny będzie miała dostęp np.: do waszych sms'ów? Nie miejmy więc za złe, że nasze dane są wykorzystywane jeżeli sami nie dbamy o to co i gdzie udostępniamy. To już temat na osoba opowieść. O zagrożeniach złego dysponowania informacjami osobistymi na przykładzie Facebook pisałem tutaj. Kolejnym ciekawym artykułem uzupełniającym może być ten - dotyczący naszej prywatności i Google.
Jeżeli już można mówić o zagrożeniach to warto zapoznać się z tym co o Big Data mówi szef GIODO Wojciech Wiewiórski. Audycja i artykuł na łamach polskiego radia.
Gdzie i komu przydały się rozwiązania Big Data ?
Informacje, które sprawiły, że serial stał się hitem. Mowa tu o popularnym serialu roku 2013, a mianowicie "House of Cards" z Kevinem Spacey w roli głównej.
Większość z pewnością kojarzy ten serial ale ile osób wie, że przy jego tworzeniu wykorzystano informację stosując technologię określane jako Big Data ? Produkt ten jest dziełem Netflix, internetowej platformy wypożyczania filmów. Firma ta zapisuje skrupulatnie informacje o poczynaniach swoich klientów. Rejestrowane jest miedzy innymi to co oglądają użytkownicy, w których momentach zatrzymują filmy, jakie sceny oglądają ponownie, kiedy przerywają seans, jakich aktorów wybierają itd. Zbiór ten stanowi cenną bazę informacji o preferencjach odbiorców danego produktu w tym wypadku jest nim serial. Posiadając te wszystkie informacje firma zwiększyła swoje dochody produkując trafiający w gusta większości odbiorców serial, co daje wyobrażenie o sile kryjącej się w technologiach Big Data.
Idąc dalej dzięki Big Data można z powodzeniem przewidywać pojawienie się zagrożenia epidemiologicznego. Możemy to już zobaczyć dzięki produktowi analitycznemu od Google. Lekarze jeszcze nie mają pojęcia, a Google wie już od dawna gdzie nadchodzi nowy wirus grypy. Informacje dostępne są z kilku dniowym wyprzedzeniem przed opublikowaniem oficjalnych komunikatów przez instytucje zajmujące się epidemiami. Google analizując zapytania użytkowników oraz ich częstotliwość łącząc to z z danymi geograficznymi wie wcześniej o nadchodzącym zagrożeniu. Temat ten poruszałem już w styczniu 2013. Google Flu Trends.
Rozwiązania analityczne Big Data wykorzystywane są również w sterowaniu silnikami Boeinga. Podczas jednego lotu czujniki dostarczają około 20 terabajtów danych na godzinę. Informacje te umożliwiają dopasowanie warunków działania silników zgodnie z warunkami atmosferycznymi w taki sposób by zaoszczędzić do 50% paliwa.
Ciekawych słów użył Rayid Ghani. Być może na pierwszy rzut oka nie kojarzycie tego nazwiska. Jest to jeden z najbardziej wpływowych ludzi w USA. Jest analitykiem danych. W czasie gdy Barack Obama zostal prezydentem powiedział on: "Bez nas szansa Baracka Obamy na wygraną wynosiłaby około 60%, z nami było to 80%". Kampania wyborcza w 2012 roku została zaplanowana w najdrobniejszych szczegółach przy pomocy narzędzi analitycznych Big Data. Celem było wydanie jak najmniejszej sumy, poznanie zachowań potencjalnych wyborców i pozyskanie dla kandydata jak największego poparcia. Największym problemem było znalezienie tych niezdecydowanych, których najłatwiej da się przekonać. Analizy rozpoczęto robić już dwa lata przed wyborami.
Słowa Johana Bollena eksperta ds. Internetu z uniwersytetu Indiany : "Zawsze sądziliśmy, że zachowania jednostki nie da się pzewidzieć, cóż, myliliśmy się".
Rick Smolan, ekspert ds. internetu podsumował Big Data w następujący sposób : " Eksploracja danych tonowy przemysł ciężki. Ukształtuje naszą epokę, tak jak węgiel zrobił z XIX, a ropa naftowa z XX wiekiem".
Eksploracja danych z ang. data-mining, co dosłownie oznacza górnictwo danych, czyli światowe wydobycie, zbieranie i analizowanie informacji, będzie miało zdecydowany wpływ na nasza przyszłość do tego stopnia, że można nazwać to zjawisko największą rewolucją w historii ludzkości. W tej chwili obserwujemy cos co można nazwać badaniem terenu ale naukowcy przewidują, że rok 2014 ma być wielkim przełomem gdzie "Big Data" wkroczy w każdy obszar naszego życia.
Źródła:
- Co to jest Big Data? Nie bójcie się, na pewno nie inwigilacja.
- Co to jest Big Data?
- W Dżemie siła drzemie, czyli o potencjale Big Data.
- GIODO i Big Data. Największym zagrożeniem są "małe siostry", a nie "wielcy bracia"
- Trendy w Big Data
- Świat wiedzy - marzec 2014 ISSN 2083-5825, str.72/
sap erp pozwalają nawet mniejszym firmą wykorzystywać big data we własnym interesie. Jedną z lepszych firm, która się tym zajmuje na polskim rynku jest zdecydowanie sidgroup.