Du har säkert hört uttrycket ”Big data” i samband med Digitaliseringsprojekt. Vad jag vet så finns det ingen självklar svensk översättning av uttrycket. (Det kunde ju ha varit ”Stordata” vilket hade varit kul för nördar som undertecknad).
Det handlar ju självklart om stora informationsmängder – som Wikipedia sammanfattar det:
”Big data utgörs av digitalt lagrad information av sådan storlek, att det är svårt att bearbeta den med traditionella databasmetoder”.
Om du frågar en person som har verkat på teknisk nivå inom Geografisk IT (eller ”GIS”) så kommer denne troligen att nicka instämmande när det gäller hantering av digitala kartor. Digital kartinformation har så länge den funnits passat bra in på Wikipedias definition som ”Big data”. ”Traditionella databasmetoder” har sällan räckt till för att hantera den informationsmängd som egentligen krävs för ett någorlunda stort geografiskt område.
Därför präglas GIS-branschen av en uppsjö av special-format, både öppna och proprietära. (Detta är en av anledningarna att jag på 90-talet började intressera mig för verktyget FME© som kan hantera alla dessa varianter av ”konstiga” format).
Gränserna pressas
Vad som är en ”liten” datamängd idag var en stor datamängd ”igår”. När jag började inom branschen för 25 år sedan så jublade man när den kraftfulla arbetsstationen klarade av att visa två kartblad på skärmen samtidigt. (Vi pratar då om en dator som säkert kostade 100.000 SEK).
I dag kan du surfa in på Planets hemsida. Här kan du finna en satellit-bild var som helst på gjorden och som är uppdaterad i princip varje dag. Detta har man åstadkommit genom att skjuta upp ”mikrosatelliter”.
Med verktyg som FME kan du i realtid integrera denna data i kartsystem. Det är en ”himla massa” data…
Det krävs ”Big data klurighet” för information i den smarta staden
Så ”idag” handlar utmaningarna om hur vi hanterar data som täcker hela jorden i hög upplösning. ”Igår” handlade det om en stadsdel, kvarter eller möjligtvis stad i låg upplösning. ”Idag” så kopplar vi dessutom in sensor-information, statistik, sociala media och en uppsjö av andra datakällor som kan användas i den smarta staden.
Även om datorerna är kraftfullare idag så ger den ökade datormängden att samma ”klurighet” som behövdes ”igår” fortfarande behövs. Vi pressar hela tiden gränserna. Detta kräver erfarenhet och kluriga lösningar.
20 år med den äldsta klurigheten i kart-boken?
En klurighet som jag använde första gången på 90-talet var att dela upp kartinformation i färdiga smårutor över stora områden. Då kunde man blixtsnabbt visa kartor på den sk ”Webben”. Det fanns andra system men dessa var för långsamma. Dessa skulle hela tiden skulle hämta sin information från en databas och skapa dessa bilder när de efterfrågades. Detta tog ju tiiiiid.
Jag hade inget namn för detta trick på den tiden. Vi kallade så småningom verktyget ”MapSiteMaker (MsM) och det användes av flera organisationer som tex Falun och Malmö kommuner för att visa stadskartor på den där sk ”Webben”.
Exakt samma trick används idag som standard för att hantera gigantiska datamängder. (På planets hemsida så är det också färdiga smårutor som visas i bakgrunden). Idag kallas det ”Raster tiles”, ”Tilecache”, ”Bildpyramid”, ”Webmap tiles” eller dylikt.
Nostalgitripp med CD
Så för att fira 20 år med ”Raster tiles” inom kartor på Webben grävde jag fram en CD-skiva ur arkiven. Efter att ha fått hjälp av min kollega Anna (som fortfarande har en CD-läsare i en dator) väntade vi med spänning på om Kart-applikationen med Gröna Kartan fortfarande skulle fungera. Den applikationen var ju gjord när Webbläsarna hette ”Netscape” och ”Internet Explorer 1”.
Applikationen funkar fortfarande 🙂 Men nog ser det lite gammalt ut med dagens mått:
