kammik1
Ahoj,
Zpracovani dat o pocasi v Excelu vc. tvorby grafu delam uz prez 20 let. Pouzivam excelovskou predlohu, do ktere vlozim data za jeden rok a vypocte mi veskerou statistiku - prumerne, nejvyssi, nejnizsi hodnoty, pocty dnu s danou charakteristikou. Pred 20 lety jsem rucne napsal vzorce pro vypocet statistiky pro jednotlive mesice a cely rok. A take grafy s preddefinovanym formatem, zobrazujici mesicni a rocni data. Soucasti prelohy XLS souboru je i podminene formatovani - zabarvi se maximalni-minimalni hodnota, nebo hodnoty prekracujici urcitou mez.
Pro prestupny a neprestupny rok jsou dve ruzne predlohy, lisi se vzorce, zdrojove pole dat pro grafy, atd. Takze mam predlohy dve. A pro vypocet poctu jednotlivych dni jsem si vytvoril i ruzne predlohy pro ruzne typy klimatu. A stehne ta jako jsou predlohy pro zpracovani jednoho roku, udelal jsem si i predlohy pro zpracovani dlouho-leteho obdobi.
Pouzivam stary Excelovsky format - pripona XLS. Tedy verzi, kterou pouzivaly Office 2003 a starsi. A to z nekolika duvodu. Jednak jsem s temito formaty (Excel 1998, 2000, XP, 2003) zacinal pri uplnych zacatcich a PC. A jednak tyto soubory a programy jsou delane na slabsi P, jake bylo pred 20+ lety. Takze na novych PC byt s minimalnim vykonem na dnesni dobu jedou velmi svizne. U state verze Excelu navic je pomerne jednoduche formatovani co do poctu bare a i Printscreen - kopie grafu pak jako obrazek PNG ma velikost jen 10-20 kB. Jeste navic verez XLS neni komprimovana a proto jde velke mnozstvi souboru zabalit do pomerne maleho archivu.
Stare formaty XLS (Office 2003 a starsi) se daji otevrit i novou verzi MS Office a take se v tomto formatu daji ukladat. I na Linuxu Libre Office umi tyto formaty otvirat-ukladat. Ale u otevreni-ulozeni v LibreOffice se spatne zobrazuji napr. specificke slozitejsi formaty grafu.
U stare verze XLS (Office 2003 a starsi) je jeden problem - maximalni pocet sloupci je 256 (2na8) a maximalni pocet radku je 65536 (2na16). Celkovy nejvyssi mozny pocet bunek je 16 777 216 (2na24 - stejny je i pocet barev u JPG obrazku). U dennich dat ten pocet radku staci temer vzdy, i v pripade datove rady 100 let dlouhe, nebo i delsi. Ale u Klementinske rady (249 let) uz pocet radku nestaci. A ten pocet sloupcu (256) muze byt omezujici v pripade rozsahlych statistik. V pripade dat po hodine, 3 ci po 6 hodinach uz je ten limit 65536 radku problem i u kratsich rad (v pripade dat po hodine se tam nevejde ani 10 let).
Novy format XLSX od Office 2007 a novejsi uz se sam komprimuje - tento soubor je i archivem. To ma vyhody - ze samotny soubor je mensi, nevyhody - moc dobre se neda komprimovat vice souboru na raz. U novejsich Office - Excell XLSX format je vice barev a moznosti formatovani, vetsi pocet radku a sloupu, vice moznosri formatu grafu. Ale novy format Excelu ma i vyssi naroky na vykon PC (u beznych souboru nic dramatickeho), obrazek udelany z grafu jako PNG je take vetsi.
V Linuxu pouzivam Libre Office. Umi otvirat i ukladat XLS i XLSX ale vysledek se muze lisit od originalu. Libre Office maji vlastni format ODS. U Libre Office je take soubor komprimovany - mensi, coz na za nasledek nemoznost dobre komprese u vice souboru najednou. A obrazek udelany z grafu ma take vetsi velikost. Pocet radku a sloupcu je velky, ani nevim limit (mozna 1024 resp. 2na10 sloupcu a 1048576 resp. 2na20 radku). Narozdil od stareho Excelu je potrebny vypocetni vykon vetsi, ale u beznych souboru nic dramatickeho. Zbytecne moc CPU bere zobrazovani grafu. U velkych souboru, jako rozsahla statistika cele Klementinske rady je uz nejaky ten vykon PC potreba. Pokud ten muj soubor Klementinske Statistiky, co jsem vytvoril, budete otvirat na hodne slabem PC, doporucuji udelat si kafe, nez se to otevre. Pri opravdu rozsahle statistice (vice stanic najednou, velka analyza dat z Ogimetu) v Libre Office tabulkovem kalkulatoru krome procesoru bude potreba i vyssi pamet RAM. Treba veskera terminova data z Ogimetu v CR, prez 35 stanic a data vetsinou po hodine, uz datova rada prez 24 let. S dostatecnym vykonnem CPU a velikosti RAM se to zvladne.
Textove soubory TXT nebo CSV (zde je oddelovac datovych poli, casto strednik) take jdou otevrit v LIbre Office tabulce, starem i novem Excelu. Neni to problem. Do tecto formatu (prosty text) lze i ukladat.
Gnuplot funguje v Linuxu i ve Windows, hodi se pro aoutomatickou tvorbu vetsiho mnozstvi grafu. Ale neni to tak presne definovane, jaky format pouzit. V Excelu se da format naklikat, ale kazdy graf se tvori rucne zvlast. V Gnuplotu pak jsem udelal grafy pro rosahle databaze Ogimet nebo Tutiempo. Problemem je nejaka nepravidelnost v datech a pak se ten graf nepovede.
Ukladani obrazku PNG 8 bit bez dirttherace - tedy bez umeleho doplnovani a mixovani barev pri prepoctu z 24-bit do 8-bit barevne hloubce. PNG komprese maximalni (9). Absolutni optimalni komprese PNG je u kazdeho obrazku jina a muselo by se automaticky zkouset ze vsech moznosti, co je nejlepsi. Rozdil by byl stejne minimalni. 8bit hloubka PNG s maximalni kompresi bez bez dirttherace[ (dulezite) je optimalni reseni pro minimalni velikost souboru. Stary XnView umel dirttheraci vypnout, novy to neumi. Mam schovanou starou verzi. V Linuxu pak pouzivam automaticky ImageMagick - Convert v terminalu.
Zdrojova data jsou casto html stranky (napr. Ogimet, Tutiempo) a z velkeho mnozsti stranek se XTT data musi nejak dostat automaticky. Nejdri se samotne stranky musi stahnout postupne a s prodkevami, aby to nepretizilo server. Velke mnozsti html stranek jde snadno zabalit do maleho archivu pomoci 7zip (je i v prikazove radce v Linuxu). Z velkeho mnozstvi html stranek se musi dostat potrebna data. Webove stranky bez obrazku - to je HTML kod. A tento kod jde rozparsovat v Linuxu pomoci prikazu na zpracovani textu-retezce, jako gawk, sed, grep, cut, tr, tail Z bambilionu html stranek z Ogimetu si pak udelam jeden textovy CSV soubor z daty, ktery vlozim do Excelu ci Libre Office, nebo vytvorim grafy v Gnuplotu.
Pri vice-lete datove rade je problem jeste jeden - napsat vzorce pro desitky, stovky let nebo az tisice mesicu napr. v pripade Klementina. Snad to nikoho nenapadlo-nenapadne psat rucne. Vynalezavost a prikazova radka umoznuje vytvorit textovy soubor primo se vzorcema, ktery je vlozen do Excelu ci Libre Office tabulkoveho kalkulatoru.
Samozrejme, jakekoliv moje vytvorene predlohy a statistiky jsou k dizpozici. Aktualne nejde muj web, admina nemuzu chytit. Ulozto take nejde uz. Ale Webshare je stale pouzitelne a v tomto pripade jsou data zcela legalni (licence GNU).
Graf tak můžete dále obohatit.
