Åh nei – excel tror tall betyr dato

Excel har en logikk som gjetter hva tall og tekst betyr når du importerer dato. Dessverre er funksjonen som gjetter på hva som er dato litt i overkant ivrig.

At excel tipper noe er en dato har skapt flere frustrerende problemer og blant annet medført at adskillige årsverk med forskning har gått i vasken. Genforskere bytter nå navn på gensekvenser for å omgå problemet, og adskillige forskningsartikler har måttet trekkes tilbake fordi dataene ble korrupte etter at excel hadde mistolket dem.

Dessverre er også csv-eksporten fra Vegkart til tider rammet – ikke ofte, men noen ganger. For eksempel sliter vi med at excel leser tallene våre for lengde og tolker dem som dato. (En dato i excel er nemlig et flyttall, så hvis du har et passe stort tall så er du i faresonen).

Workaround

  • Laste ned CSV-filen uten å åpne den.
  • Åpne Excel på normalt vis med en tom arbeidsbok.
  • Gå til Data-fanen, klikk på «Fra tekst/csv».
  • Finn CSV-filen du lastet ned og importer denne.
  • Se over at alt ser riktig ut i preview-vinduet.
  • Trykk «Last inn».
  • Du vil få CSV-data inn i et nytt ark. Du kan slette det tomme startarket.

Lengde skal nå se riktig ut. I tillegg får man den bonusen at Excel auto-formaterer CSV-filen inn tabellformat, slik at man kan sortere på kolonner.

Feil – noen søk mangler egengeometri

Vi har en feil i NVDB api som gir kjipe konsekvenser for Vegkart, Sinus Infra og Datafangst – og ikke minst registrering av nye data til NVDB. Denne feilen må vi dessverre leve med gjennom sommeren.

Visse typer søk viser data plassert på senterlinja selv om de egentlig har en fysisk plassering i terreng.

Nei, egengeometrien er ikke borte – det er kun feil i kartvisningen

Data med egengeometri er ikke endret i NVDB – det er kun kartvisningen.

Mer presist så serverer vi data med en ekstra geometri-egenskap når du (og vegkart, Sinus og datafangst) henter data fra NVDB api. Normalt så sjekker vi først om det finnes gyldig egengeometri for et objekt; i så fall er det disse dataverdiene som legges på geometri-feltet. Men hvis det ikke finnes egengeometri for et objekt så henter vi koordinater for vegnettet i stedet. Det er her vi gjør feil; logikken skal selvsagt ikke påvirkes av hvilke søkefiltre som brukes – men den gjør det!

Sjekker du detaljene vil du se at egenskapen Geometri, flate, Geometri, linje og Geometri, punkt er slik de skal være.

Konsekvenser

Konsekvensene er størst for dem som driver med registrering og ajourhold av data til NVDB, i for eksempel Sinus.infra eller datafangst, eventuelt med kontroll i Vegkart. Når du registrerer vegutstyr med egengeometri, tydelig plassert til side for vegen, så er det ekstremt forvirrende at objektet ikke dukker opp der du la det.

Det er veldig fort gjort å konkludere at her gikk noe galt, og registrere samme objekt en gang til. Eller kanskje du tror det er noe galt med geometrien, og prøver rette det opp.

Hvilke typer søk har dette problemet?

Alle søk som involverer bruk av vegnettet for å finne ting ser ut til å være påvirket. Det gjelder disse filtrene, muligens flere:

  • Vegsystemreferanse (f.eks E6, slik som vist over)
  • Kommune
  • Fylke

Trolig gjelder dette også en del søk som er mulig i NVDB api, men ikke i vegkart. Slik som overlappfilter.

Hvilke søk fungerer slik de skal?

Disse søkene fungerer slik det skal, og viser objektene med egengeometri

  • Søk med kartutsnitt

VegRefHistorikk – PCprogram for å finne gamle vegnummer

Stian Søberg Johansen, Innlandet fylkeskommune (og tidligere vegvesen-kollega) har laget et PC-program som hjelper deg å finne fram i gamle og nye vegreferanser. En vegreferanse har som kjent den leie egenskapen at de går ut på dato, fordi vegnettet endrer seg. Eller så har vi administrative påfunn, som å bytte vegnummer eller hvem som har ansvaret for vegen.

Vegrefhistorikk er et fint tilskudd til verktøykassa for å oversette mellom gamle vegreferanser og nye, og mellom de to referansesystemene.

Hovedfunksjoner

  • Klikk i kart / hent fra koordinat
  • Fritekstsøk
  • Import av regneark med gamle vegreferanser og oversette dem til nye (importtrans).

Her har du lenke til brukerveiledning og her kan du laste ned applikasjonen

VegRefHistorikk-startvinduet.png
VegRefHistorikk-startvinduet-bareKart.png

Workarounds: Eksport av data fra vegkart

NVDB api versjon 3 er under rivende utvikling: Vi jobber kontinuerlig med ytelse og feilretting. Dessverre må vi tære enda en stund på tålmodigheten til våre brukere før vi har den stabiliteten og kvaliteten i alle ledd som vi ønsker. Men vi nærmer oss!

Ett av problemene har vært eksport av data fra Vegkart, som CSV eller SOSI prikk (kun vegkart V3). Dette har vi jobbet mye med, og vi er nesten i mål. Oppskrifter finner du i vegkart brukerveiledning eller under «ofte stilte spørsmål«.

For å bruke CSV- eller SOSI eksport må du først utvide infoboksen med søkeresultatet ditt (høyrepil ved der det står antall objekter).

Dessverre vil noen av søkene dine gi feilmeldingen «Det har skjedd en ulykke» når du prøver å utvide resultatboksen (FIKSA 5.6.2020).

Feilen med crash og feilmelding «Det har skjedd en feil» når du prøver å utvide infoboksen om søket ditt skal nå være retta. Men hvis du fremdeles opplever problemer kan du prøve Versjon 2 av Vegkart (eller vegkart-2019, som den også kalles). CSV-eksporten derfra fungerer (krysser fingre). https://www.vegdata.no/ofte-stilte-sporsmal/hvordan-far-jeg-nvdb-data-inn-i-kartsystemet-mitt/

CSV eksport har rader du må ignorere

CSV-eksporten fra vegkart V3 vil ofte, men ikke alltid ha med noen rader som mangler verdi for fylke, kommune, geometri og vegsystemreferanser. Disse må du ignorere / filtrere ut.

For eksempel CSV-dump for søk etter skiltplate i Bjerkreim inneholder 2036 rader. 40 av disse radene mangler fylke, kommune, geometri og vegsystemreferanser. Ignorer disse, og du står igjen med 1996 gyldige rader.

Mer detaljer: https://www.vegdata.no/2020/04/22/csv-dump-fra-vegkart/

CSV-dump fra Vegkart

Vi har en feil i CSV-eksporten fra versjon 2 av vegkart (V2) som gjør at CSV-dumpen ikke inneholder geometri. Fiksa!

Ved CSV nedlasting fra vegkart V3, får du med en del rader med ugyldige data.

Vegkart versjon 3 med søk på trafikkmengde langs E10 og mulighet for nedlasting av data som Sosi eller CSV.

Som nevnt får du en del rader med ugyldige data. Disse mangler blant annet data om geometri, kommune og fylke. Dette kan du trygt ignorere.

Utdrag av tabell med trafikkmengde E10 lastet ned som CSV. Vi ser at fire av radene mangler data om kommune, fylke og geometri. Disse radene kan trygt ignoreres.

Utdrag av tabell med trafikkmengde E10 lastet ned som CSV. Vi ser at fire av radene mangler data om kommune, fylke og geometri. Disse radene kan trygt ignoreres.

Lenker til vegkart V2 og V3:

Vegkart.no med nytt referansesystem

Vegkart finnes i to ulike versjoner. En versjon med gammelt referansesystem og gammel kommune- og fylkesstruktur. Den omtaler vi ofte som Vegkart versjon 2 – v2. Den andre versjonen er Vegkart med nytt referansesystem, som da omtales som Vegkart v3.

Siden i november 2019 da vi produksjonssatte nytt referansesystem så har vegkart.no vært knyttet mot Vegkart v2 og Vegkart v3 har dere selv måttet finne fram til ved å angi v3 i URL’en.

Vi har nå gjort en endring slik at vegkart.no er knyttet mot Vegkart v3 med nytt referansesystem. Men siden de fleste har vegkart v2 liggende i bufferet/cachen i nettleseren sin, så vil det de fleste fortsatt oppleve å komme til Vegkart v2 idet man skriver vegkart.no.

For å tømme bufferet/cachen i nettleseren og dermed komme til Vegkart v3 med nytt referansesystem, så kan man gjøre følgende:

start Vegkart
tast Ctrl + Shift + I for å komme i inspisermodus
trykk på reload/refresh og velg «Tøm bufferet og kjør hard nyinnlasting» i Chrome, i Edge Beta velger du «Tøm hutrigbuffer og hard oppdatering»

Etter refresh vil vegkart.no gi deg Vegkart med nytt referansesystem. Fortsatt har du muligheten til å benytte Vegkart v2 ved å skrive https://www.vegvesen.no/nvdb/vegkart/v2/

Nytt referansesystem for høyder i NVDB

Vi bytter ikke koordinatsystem for morro skyld – men det har liten praktisk betydning med mindre du jobber med profesjonelt innmålingsutstyr for registrering til NVDB (nøyaktighet om lag et par cm). Detaljer her:

https://www.vegvesen.no/om+statens+vegvesen/presse/nyheter/nasjonalt/viktig-informasjon-til-alle-som-jobber-med-datafangst-til-nvdb

For alle oss andre:

  • Før brukte vi merkelappen EPSG:25833 om NVDB sitt koordinatsystem
  • Akkurat nå, fram til 15. mars, bruker vi merkelappen EPSG:6173
  • fremover vil vi bruke EPSG:5973

X og Y komponenten er den samme i alle de tre systemene (EPSG:25833, EPSG:6173, EPSG:5973), forskjellen er hvordan vi betrakter høydeverdien:

  • EPSG:25833 – udefinert
  • EPSG:6173 – høydemodell NN54 (fram til 15.3.2020)
  • EPSG:5973 – høydemodell NN2000 (fom 15.3.2020)

Forskjellen dreier seg om -15 til +35 cm. Om du jobber med vegnett så risikerer du at data tatt ut før 15.3 ikke henger 100% sammen i høyde med data tatt ut etter 15.3. Den enkleste og mest robuste løsningen er da å ta ut data på ny fra NVDB.

Om du ikke jobber med nettverkstopologi basert på geometri eller med innmåling med høy presisjon – så dreier dette seg kun om bytte av EPSG-kode.

Og dette gjelder kun høyder – dvs Z-koordinat. I kartplan (x,y – koordinater) er disse tre referansesystemene for alle praktiske formål identiske.