Terracotta - Big Memmory

MarGib 1/13/2012 12:56:00 PM

Trochę teorii - Maksymalne wykorzystanie pamięci i szybkość aplikacji z BigMemmory.

BigMemmory umożliwia aplikacjom tworzonym w języku Java natychmiastowy i łatwy dostęp do dużych ilości pamięci nie ograniczając się przy tym działaniem dotyczącym usuwania śmieci, które standardowo wykonuje "garbage collector". BigMemmory jest kompatybilny ze starszym sprzętem oraz wszystkimi popularnymi virtualnymi maszynami java (JVM's) takimi jak JDK (Java Development Kit), JRockit, IBM, oraz HotSpot.

Narzędzie jakim jest BigMemmory oparte jest o rozwiązanie open-source Ehcache, a swoim działaniem rozszerza jego możliwości. Podłączenie do ehcache polega na wprowadzeniu kilku prostych zmian w konfiguracji.

Zastosowanie BigMemmory umożliwia utworzenie bardzo dużego buforu (cache). Bufor ten pomimo dużego rozmiaru jest buforem innego typu w porównaniu ze standardowym (object heap) i przechowywany jest w pamięci poza standardową stertą, przez co nie podlega procesowi odśmiecania przez garbage collector. Efektem takiego podejścia jest 100 krotne przyspieszenie w porównaniu do cachu przechowywanego na dysku oraz możliwość tworzenia bardzo dużych pamięci podręcznych. Tak naprawdę jedynym ograniczeniem jest ilość pamięci RAM w danym sprzęcie. Wykorzystując BigMemmory można efektywniej wykorzystywać dostępną pamięć i pozbyć się niedogodności i opóźniań związanych z odśmiecaniem przez garbage collector.

W jaki sposób to pomaga?

Ogólnie rzecz biorąc chodzi o oszczędzanie czasu jaki potrzebny jest na działania odśmiecające czyli garbage collector. W momencie odśmiecania mogą występować nieprzewidywalne przerwy w działaniu aplikacji, które stają się dłuższe i występują częściej w momencie wykorzystywania stosu (heap used). W BigMemmory w cachu'u umieszczonym poza stertą możliwy staje się dostęp do dużych ilości danych, a to wszystko zamyka się w jednym JVM oraz wszystko dzieje się poza obszarem objętym przez garbage collector bez żadnych przerw na odśmiecanie.

Podsumowując dzięki temu rozwiązaniu można :

  • Maksymalnie wykorzystać pamięć dostępną na urządzeniu
  • Poprawić szybkość działania i szybkość odpowiedzi aplikacji
  • Wyeliminować czas potrzebny na konfigurowanie GC i inne nieefektowne rozwiązania
  • Podnieść wydajność przetwarzania cięgle rosnącej ilości danych

Wyeliminowanie skomplikowanego i wyczerpującego konfigurowania GC.

By faktycznie odczuć poprawę wydajności aplikacji poprzez prawidłowe skonfigurowanie działają GC trzeba włożyć w to dużo pracy, czasu i testów by dojść lub nie do choć minimalnych wyników. Niejednokrotnie administratorzy spędzają długie godziny nad strojeniem GC tylko po to by po tym czasie cofnąć wszystkie wprowadzone zmiany i zacząć od nowa. Stosując BigMemmory czasochłonne konfigurowanie GC odchodzi w niepamięć. W rzeczywistości okazało się że wystarczyły 3 godziny na skonfigurowanie BigMemmory by osiągnąć rezultaty wydajnościowe jakie wymagały ponad trzymiesięcznych konfiguracji i testów istniejących środowisk w których standardowo działał GC.

Zaleceniem w zastosowaniu BigMemmory jest unikanie działania GC, który potrafi "przytkać, zamrozić" działanie aplikacji niezależnie od rozmiaru pamięci podręcznej (Cache Size). Użycie BigMemmory działa prewencyjnie przeciw spadkom wydajności i wstrzymaniem działania aplikacji spowodowanych przez działanie GC. Dla potwierdzenia przeprowadzono testy wydajnościowe gdzie pracując na dostępnej pamięci podręcznej skutkowały coraz dłuższymi pałazami wynikającymi  z działania GC, a wraz ze wzrostem rozmiaru bufora aż do maxymalnej wartość GC praca aplikacji została "zamrożona" na czas liczony w minutach.

Zmniejszenie kosztów i złożoności wdrożenia.

W wielu systemach stosuję się politykę przydzielania od 1 do 4 GB pamięci przeznaczonych na jeden JVM na danej maszynie co ma zminimalizować trudności związane z niewyrabianiem się Garbage Collect'ora. Tego rodzaju polityka z czasem utrudnia zarządzanie i robi się kosztowne w skali przedsięwzięcia.

Stosując BigMemmory zwiększamy gęstość uruchamiania aplikacji wykorzystując mniejszą ilość (ale o większych rozmiarach) pamięci przeznaczonych dla pojedynczego JVM co skutkuje oszczędnością czasu. Tego rodzaju rozwiązanie zapewni bardziej zrównoważone i wydajniejsze działanie zakładając również, że ilość danych jakie będą do przerobienia i tak nieuchronnie wzrośnie.

Przydatne informacje :

http://terracotta.org/products/bigmemory



http://www.infoq.com/news/2010/09/bigmemory

http://adtmag.com/articles/2011/09/28/terracotta-beta-released.aspx

http://drdobbs.com/blogs/jvm/228700760


Facebook X E-mail

Komentarze

Dodaj komentarz

Eksploruj

Etykiety

dodatki 15 Android 14 Porady 14 RHCE 14 aplikacje mobilne 14 dokument 14 instrukcje 14 programowanie 14 przeglądarki 14 rozrywka 14 Centos 13 News 13 bash 13 gry 13 książki 13 optymalizacja 13 telefony komórkowe 13 Przeglądarka internetowa 12 kino 12 odpoczynek 12 wydajność 12 Sztuczna Inteligencja 11 Microsoft 10 Opera 10 aktualności 10 muzyka 10 nowe rzeczy 10 ulepszenia 10 ustawienia 10 zdrowie 10 Egzamin 9 ataki hakerskie 9 motywacja 9 nowe technologie 9 pomoc 9 relax 9 społeczności 9 tuning 9 youtube 9 Bóg 8 Firefox 8 Software 8 Wyszukiwanie 8 bin/bash 8 fotografia 8 narzędzia 8 skrypty 8 system operacyjny 8 świadomość 8 Fedora 7 Inteligencja 7 Java 7 Praca 7 absurdy 7 cloud 7 hacking 7 medytacja 7 o wszystkim i o niczym 7 opensource 7 poprawka 7 prawo 7 religia 7 telewizja 7 Technologia 6 administracja systemem Windows 6 automatyzacja 6 coaching 6 hacker 6 komputery 6 komunikator 6 manipulacja umysłem 6 mózg 6 plugin 6 podświadomość 6 przechowywanie plików 6 przemyślenia 6 reklamy 6 rewelacja 6 serwery aplikacyjne 6 sukces 6 telekomunikacja 6 ubuntu 6 wiara 6 zagrożenia 6 Anonymous 5 BIG DATA 5 Ehcache 5 LVM 5 Polska 5 Prywatność 5 RH442 5 Windows 10 5 algorytmy 5 ciekawe strony 5 człowiek 5 dobry film 5 excel 5 informatyka 5 komunikacja 5 kursy 5 ludzie 5 nieśmiertelność 5 poczta 5 private cloud 5 rzeczywistość rozszerzona 5 sieć www 5 spokój 5 strony www 5 terminal 5 terracotta 5 wirtualizacja 5 wolne oprogramowanie 5 wygląd 5 złota myśl 5 świat 5 Bazy danych 4 Docker 4 Edukacja 4 HD 4 OpenAI 4 Performance 4 RHS333 4 Red Hat 4 Vivaldi 4 Zagadki 4 awaria 4 blogger 4 chmura 4 czytanie 4 dysk internetowy 4 energia 4 gmail 4 hack 4 humor 4 kontenery 4 kropla motywacji 4 mobile 4 monitorowanie 4 mądrości 4 orange 4 php 4 pieniądze 4 programowanie umysłu 4 recenzja 4 rejestr systemowy 4 sentencję 4 strefa filmu 4 użytkownicy 4 virtualbox 4 wywieranie wpływu 4 zjawiska paranormalne 4 Łódź 4 Anthropic 3 Bez komentarza 3 Biznes 3 Cinnamon 3 Couching 3 Gemini 3 Google Street View 3 IT 3 LLM 3 MySQL 3 Przyszłość 3 Security Network Services 3 Tools 3 U2 3 administracja systemami 3 asystent AI 3 automatyzacja windows 3 cache 3 czyszczenie systemu 3 dane 3 darmowa aplikacja 3 darmowa wiedza z internetu 3 emocje 3 ftp 3 haker 3 inteligencja komputerów 3 interfejs 3 kompetencje osobiste 3 konferencje 3 kreatywność 3 lepsze życie 3 media 3 mentalista 3 myśli 3 niebo 3 nowe życie 3 podcast 3 powłoka 3 projekty Google 3 promocja 3 przekonania 3 przyroda 3 radio 3 robot 3 security 3 sport 3 system plików 3 tablet 3 technologia 3 telewizja N 3 testowanie 3 trick 3 uzależnienie 3 video 3 wieczne życie 3 zdjęcia 3 środowisko graficzne 3 64 bit 2 AGI 2 Angielski 2 Asus 2 Bezpieczeństwo AI 2 Big Memmory 2 Bono 2 Certyfikat 2 ChatGPT 2 Claude 2 Cyfryzacja 2 DNS 2 Darmowy Red Hat 2 Deepseek 2 Docker Machine 2 Drony 2 Dyscyplina 2 Dystrybucje 2 E-Commerce 2 Email 2 Error 2 Filozofia 2 GSM 2 Graham 2 HTML 2 ISO 2 Intel 2 Jacek Walkiewicz 2 Jboss 2 Jesteś cudem 2 Kerberos 2 LifeHack 2 Lokalne AI 2 Masterton 2 Mindfulness 2 NIS 2 New 2 Optymizm 2 OsCommerce 2 Photoshop 2 Pytania o Linux 2 RAID 2 RHEL7 2 RedHat 8 2 Skydive 2 TED 2 Theme 2 Trendy 2 USB 2 Wojna 2 abonament 2 akcja 2 aktualizacja 2 ansible 2 archiwum X 2 arkusz kalkulacyjny 2 ataki na strony rządowe 2 awk 2 batch 2 blokowanie 2 bogactwo 2 bussiness intelligence 2 błędy windows 2 cenzura 2 chat 2 chata 2 cmd 2 darmowe 2 darmowe kursy 2 darmowe szkolenia 2 dzieci 2 edytory grafiki 2 fdisk 2 geniusz 2 gnome 2 grafika 2 hasła 2 help 2 horror 2 httpd 2 informacje techniczne 2 instagram 2 inwestycje 2 iostat 2 iptables 2 jądro systemu 2 języki 2 kernel 2 komentarz dnia 2 korpo-świat 2 kursy online 2 kwiaty 2 leczenie 2 lepsza jakość 2 logi 2 ludzkość 2 magia 2 marketing 2 marzenia 2 material design 2 montowanie 2 montowanie obrazu 2 multimedia 2 nastroje 2 nju mobile 2 o tym blogu 2 obliczenia matematyczne 2 odkrycia 2 odprężenie 2 office 2 ogród botaniczny 2 pakiet biurowy 2 pamięć podręczna 2 partycje 2 path 2 piękno 2 pliki bat 2 pogoda 2 procesy 2 produkty edukacyjne 2 przyspieszanie systemu 2 recenzje 2 reklamacje 2 rodzicielstwo 2 rook 2 rozmiar plików 2 sar 2 screen 2 sen 2 serwer 2 shell 2 skróty klawiaturowe 2 smartphone 2 socjotechnika 2 społeczeństwo 2 sprzedaż internetowa 2 statystyka 2 strategia 2 szablon 2 szczęście 2 szybkość strony 2 szyfrowanie 2 tapety 2 tcp wrappers 2 torrent 2 twek's 2 uczenie maszynowe 2 ufo 2 update 2 vmstat 2 wallpapers 2 webmaster 2 wiadomości 2 wirtualny spacer 2 wojownik 2 word 2 własna firma 2 yum 2 zarabiane 2 zarabianie 2 zarządzanie czasem 2 zeitgeist 2 zmiany 2 śmierć 2 śmieszne 2 życie po życiu 2 żywność 2 ( red ) 1 100000 odwiedzin 1 2045 1 2048 1 23 września 2017 1 7 1 AI w biznesie 1 AIMP 1 Agenci AI 1 Agentic AI 1 Alan Watts 1 AlmaLinux 1 Apache 1 Apple 1 Apple Silicon 1 Aria AI 1 Atak na Polskę 1 Automatyzacja 1 Automatyzacja procesów 1 Avatar 1 BeAPro 1 BezpieczeństwoDzieciOnline 1 BezpiecznyInternet 1 BigDump 1 Biotechnologia 1 Biznes i Finanse 1 Black Mirror 1 Bonding 1 C++ 1 CPU 1 CSS3 1 CUA 1 Chat GTP 1 Chemtrails 1 Claude AI 1 Computer-Using Agent 1 Copilot 1 Cyberbezpieczeństwo 1 Cyberprzemoc 1 Cytaty 1 DAB 1 DAB+ 1 Dane testowe 1 Darwin 1 Debian 1 DeepSeek 1 Deluge 1 DevOps 1 Developer 1 Didaskalia 1 Dostatek 1 Drivers 1 Dziennikarstwo 1 DzieńBezpiecznegoInternetu 1 Dźwiek 1 EA GAMES 1 EA SPORTS 1 Edge 1 EdukacjaInternetowa 1 Efekt Flynna 1 Emai 1 Emigracja. Londyńczycy 1 Enterprise Linux 1 FIFA 1 FIFA 16 1 Flannel 1 Flickr 1 Flump 1 Framework 1 Free 1 GMO 1 GPG Tools 1 GPT 1 GPT-4.5 1 GRUB 1 GUI 1 Generacja Z 1 Generator 1 Gimp 1 Gnome-user-share 1 Golden Gate 1 Google Assistant 1 Google Gemini 1 Google Gemma 4 12B 1 Google Trend 1 GoogleFamilyLink 1 Goździki 1 Gpad 1 Gregory Kurtzer 1 HPVS 1 Historia 1 Hobby 1 Hygge 1 IBM 1 IE 1 IQ 1 ISIS 1 Inbox 1 Innowacje 1 Inteligentna poczta email 1 Interview 1 Jacquard 1 Japonia 1 Jezus 1 Kali Linux 1 Kariera 1 Khan academy 1 Kompetencje XXI wieku 1 Koniec Świata 1 LG 1 LTE 1 LangChain 1 Liam Neeson 1 LibreOffice 1 MLX 1 Mam Talent 1 Maps 1 MarGib_Film 1 Marek Jankowski 1 Mars helikopter 1 Matematyka 1 MentalnośćZwycięzcy 1 Middleware 1 Miłosz Brzeziński 1 Model Context Protocol 1 Mundial 2026 1 MyślenieDługofalowe 1 NATO 1 NFS 1 Na skraju jutra 1 Nauka 1 NavySEALs 1 Nawyki 1 Netflix 1 Neuropsychologia 1 Non Stop 1 Notion 1 Nvidia 1 ONZ 1 Odpowiedzialność 1 Odysseus 1 Open source day 1 Opera Air 1 Opera Neon 1 Opera Touch 1 P2P 1 PRoduktywność 1 Patrycjusz Wyżga 1 Pekao S.A 1 Peperclips 1 Piotrkowska 1 Polacy 1 Polska gospodarka 1 PowerShell 1 Praca Jutra 1 PracaZespołowa 1 Profesjonalizm 1 Programowanie 1 Project TANGO 1 Przejęcie 1 Przyszłość Pracy 1 Psychologia poznawcza 1 Putin 1 Putty 1 Quota 1 RDP 1 RH401 1 RHEL8 1 RHSCA 1 RPM 1 Raspberry PI 1 Red Hat Enterprise Linux Developer Suite 1 Red Hat Network Staelite 1 RedHat Cluster Suite 1 Regina Brett 1 Rocky Linux 1 Rosja 1 Routing 1 Rozwój Osobisty 1 RozwójOsobisty 1 Rynek Pracy 1 Rynek pracy 1 SUSE 1 Samodoskonalenie 1 Satelite 1 SiłaWoli 1 Snip. 1 Soli 1 Sterowniki 1 Super Memo 1 TCP vs UDP 1 TV 1 TVN 1 Technologia i społeczeństwo 1 Telco 2.0 1 Testy IQ 1 Todd Burpo 1 Tom Cruise 1 Transcendencja 1 Transformacja cyfrowa 1 Tribler 1 Tu i teraz 1 Turing 1 Uczenie maszynowe 1 Unia Europejska 1 Uruchamianie LLM 1 VentuSky 1 Viwaldi 1 Voodoo 1 WBC 1 WWDC 2026 1 WWDC26 1 Wallf 1 Weave 1 William Paul Young 1 Workflows 1 Wydajność 1 Wymagania Sprzętowe 1 Władysławowo 1 Xperia 1 YouTube 1 Z1 1 aids 1 aktywność w Google 1 alarm 1 analiza 1 animacje 1 anthony de mello 1 asertywność 1 astronomia 1 atak nuklearny 1 audio 1 autofs 1 automateit 1 awatar 1 backup 1 bank 1 bash w windows 1 bateria 1 beta 1 bezpieczeństwo danych 1 biznes 1 blokowanie reklam 1 blue ray 1 bluetooth 1 boks 1 boot 1 bootowalny pendrive 1 browser-use 1 budowa 1 bufor 1 c# 1 calc 1 chemia 1 chodzenie 1 coldplay 1 colton 1 command line 1 cron 1 curl 1 cyfrowa odzież 1 czarne lusterko 1 czary 1 czat AI 1 czujnik sub-milimetrowy 1 dane osobowe 1 data i czas 1 defragmentacja 1 dekoder 1 digsby 1 disqus 1 dorastanie 1 dropbox 1 du 1 dubaj 1 dvd 1 e-book 1 ebook 1 edycja tekstów 1 edytor kodu 1 ekonomia 1 ekran 1 end of world 1 etyka AI 1 ewakuacja 1 ewolucja 1 extreme 1 find 1 firewall 1 flash 1 flash drive 1 formuły excel 1 fotografia mobilna 1 fun 1 galeria 1 garbage collector 1 generowanie treści 1 geoinżynieria 1 google chat 1 google glass 1 gotowość 1 gra 1 groza 1 gwiazdy 1 hacked 1 hard-link 1 haszowanie 1 hasło 1 hd voice 1 helion 1 historia 1 historia poleceń 1 history 1 hostname 1 hostnamectl 1 hosts.allow 1 hosts.deny 1 humanoid 1 hurtownie danych 1 iOS 1 iSCSI 1 ile ludzi żyje na świecie 1 iluzja 1 imax 1 importowanie danych 1 innowacje technologiczne 1 inteligentne ubrania 1 interakcja z komputerem 1 inwestowanie 1 inwigilacja 1 isoscope 1 javascript 1 jubileusz 1 kalendarz 1 kalkulator 1 kapitan ameryka 1 karty 1 karty sieciowe 1 keep 1 kindle 1 klastry 1 klawiatura 1 klonowanie maszyny 1 kobiety i mężczyźni 1 kodyrabatowe.pl 1 komentarze 1 koncentracja 1 konkurs 1 konsola 1 kontrola dostępu 1 kontrowersyjny 1 konwenter 1 kopia zapasowa 1 korporacje 1 kościół 1 kryzys 1 kuba wojewódzki 1 kursy za free 1 latanie 1 lektura 1 lenovo 1 limity 1 link symboliczny 1 logical volume manager 1 logowanie 1 lokalizajca znajomych 1 lokalne AI 1 macOS 1 make life harder 1 mapy 1 maszyny 1 mała wielka firma 1 medycyna 1 menadżer 1 messenger 1 milioner 1 moby 1 morze 1 mowa ciała 1 mp3 player 1 mpstat 1 na wesoło 1 nagrywanie pulpitu 1 największe pliki 1 największy 1 największy katalog 1 narzędzia developerskie 1 natura 1 nazwa hosta 1 neostrada 1 net use 1 netbook 1 network 1 nieograniczone miejsce 1 nowy odtwarzacz 1 nowy porządek świata 1 ntfs 1 obrona cywilna 1 odtwarzacz muzyczny 1 odzyskanie hasła 1 oferta 1 onestep4red 1 onet 1 online 1 origin 1 osiąganie celów 1 pac man 1 pamięć 1 parted 1 państwo islamskie 1 pdf 1 pendrive 1 perseidy 1 ping 1 piramidy 1 piłka nożna 1 plague 1 player 1 plus 1 pobieranie plików 1 podróże w czasie 1 pokaz 1 pomoc w nauce 1 poradnik 1 power point 1 pozytywna energia 1 praca zdalna 1 prezentacje 1 prognozowanie 1 programowanie wsadowe 1 prompt 1 prywatność 1 przechwytywanie ekranu 1 przedsiębiorczość 1 przemysł odzieżowy 1 przepowiednie 1 przesyłanie plików 1 przesądy 1 przesłanie 1 przyszłość człowieka 1 przyszłość pracy 1 ps 1 pulpit 1 pytania 1 płaska ziemia 1 qigong 1 radar 1 radość 1 raspbian 1 red 1 rekreacja 1 reportaż 1 robotyka 1 rodzice 1 rodzina 1 root 1 rower 1 rozdzielczość 1 rozmiar katalogu 1 rozmowa kwalifikacyjna 1 runlevel 1 rynek pracy 1 samba 1 samochody autonomiczne 1 samoreplikacja 1 samsung 1 samsung galaxy glass 1 scentralizowane platformy 1 schematy 1 science fiction 1 scrabble 1 screencast 1 screenshoot 1 serial 1 serwer2go 1 show 1 shutdown 1 simcity 1 siła woli 1 sklepy internetowe 1 smb 1 soft-link 1 sopa 1 spinacze biurowe 1 spisek 1 sporty ekstremalne 1 sprzedam 1 ssh 1 sshd 1 stalking 1 standardy 1 startup 1 stres 1 superinteligencja 1 survival 1 syndrom fantomowy 1 syngrapha 1 syslog 1 systemy eksperckie 1 systemy operacyjne 1 sztuczka 1 talk show 1 taniej 1 tapety pulpitu 1 tcpdump 1 teorie 1 teorie spiskowe 1 testy penetracyjne 1 the sims 2 1 timer 1 transfer plików 1 trening 1 trucizna 1 tryb nocny 1 trzecia wojna światowa 1 turniej gier 1 tłumaczenia językowe 1 tłumaczenie stron 1 uBlock 1 uczenie głębokie 1 umieranie 1 unix 1 uważność 1 uzależniająca gra 1 uśmiech 1 vim 1 viral 1 vlc 1 walka 1 walka z aids 1 walking meetings 1 web GL 1 weblogic 1 weksle 1 wiedz 1 wifi 1 wildfly 1 windows update 1 wirtualna diagnoza 1 wirtualny lekarz 1 woblink 1 wojna jądrowa 1 wolna gadka 1 wolumen logiczny 1 wpadka 1 writer 1 wsparcie 1 wychowanie 1 wycieczki 1 wyciek haseł 1 wydarzenia 1 wykład 1 wymiana plików 1 wyprzedaż 1 wyszukanie plików 1 wyzysk 1 wyłączenie systemu 1 yoga 1 za darmo 1 zabawa 1 zabezpieczenia 1 zakładki 1 zarządzanie 1 zarządzanie konfiguracją 1 zarządzanie usługami 1 zasięg 1 zasoby sieciowe 1 zaufanie 1 zawodowi gracze 1 zdalny pulpit 1 zenfon 1 zestaw przetrwania 1 zjawiska 1 zmiana formatu 1 zmiana hasła 1 zmiana nazwy 1 znak zachęty 1 zrzut ekranu 1 Środowisko a zdrowie 1 śledzenie w sieci 1 świat w liczbach 1 światło 1 święta 1 życzenia 1
Spis treści