Webinar i Datafangst for entreprenører 27. mai 12.00-14.00

Fremhevet

Publisert av

Statens vegvesen og datafangstverktøyet inviterer entreprenører til webinar.

Datafangst er et webbasert verktøy som brukes i dataflyt til Nasjonal vegdatabank (NVDB) og Felles kartdatabase (FKB). Her mellomlagres data for kontroll og redigering før data sendes til NVDB.

På webinaret vil Torbjørn Gjendem (produkteier) og Kari Anne Midtvold (NVDB-forvalter) snakke om verktøyet. Her fokuseres det på praktisk bruk, tips og triks og svar på ofte stilte spørsmål rettet mot entreprenører. Det blir anledning til å stille spørsmål undervegs.

Agenda:

  • Velkommen
  • Innledning
    • Hvor finne informasjon og brukerveiledninger
    • Datakatalogen
  • Bruk av Datafangst i praksis
    • Å komme i gang
    • Hjelpemeny
    • Laste opp/sende inn data
    • Databehandling
  • Ofte stilte spørsmål
    • Tips og triks
  • Avslutning og videre utvikling av programvaren

Meld deg på webinaret

Kjende feil

Fremhevet

Publisert av

Vi har for tida følgande kjende feil i vår portefølge:

Feil no:

ProduktDatoProblem
Vegkart7/4 2021Når det er flere vegfilter (vegreferanser) lagt til og ett fjernes, blir alle borte.
Les (Vegkart/Rapporter)Kontraktområde vert ikkje oppdatert etter levering til NVDB i v3. Endringar i kontraktområde tek for lang tid å oppdatere no, så det vert gjort berre i helgene for å sleppe til andre jobbar på kvardagar.

Delvis løyst / Workaround:

ProduktDatoProblem
Datafangst19/2 2021Enkelte stadfestingar feilar. Forsøk med gamal stadfesting (aktiver i stadfestings-fane) før du melder sak.
Manuell forankring er no lagt til. Dette vil hjelpe or å manuelt rette feil. Vi vil fortsette arbeidet med å forbetre automatisk stadfesting.

Løyst:

ProduktDatoProblem
Datafangst12/4 2021Søk etter deltakarar feilar. Ved søk på namn feilar søket dersom det er 4 eller færre tegn i søket eller det inneheld spesialtegn.
Datafangst12/4 2021Mange får ikkje søk for å legge til personar i kontraktar.
NVDB Rapporter til driftskontrakterMars 2021Beregning av aggregert mengdeoversikt (V2/V3-rapportene) har for store verdier (teller objektene flere ganger). Detaljer.
NVDB Rapporter til driftskontrakterApril 2021Beregning av lengde for ÅDT og vinterdriftsklasse har for små verdier i aggregert mengdeoversikt (V2/V3-rapportene).
NVDB Rapporter til driftskontrakter5.5.2021Spesialregel Kantklippareal, årlig anbefalt areal feiler.

Om vegdata.no

Fremhevet

Publisert av

Nasjonal vegdatabank (NVDB) inneholder landets vegnett og hundrevis av fagdatatyper knyttet til vegen.

Det meste av denne informasjonen har Statens vegvesen gjort fritt tilgjengelig, og vi oppmuntrer publikum til å bruke datagrunnlaget på kreativt vis.

På nettstedet Vegdata.no vil vi fortelle om hvordan du kan finne frem i jungelen rundt NVDB, og fortelle om status på de verktøyene og produktene NVDB-miljøet tilgjengeliggjør rundt NVDB.

Trenger du hjelp?

Fremhevet

Publisert av

Les først dokumentasjon du finner under menypunktene eller ved å søke her på vegdata.no og vegvesen.no.

Finner du ikke svar, ta kontakt med NVDB igjennom kontaktskjemaet.

Melde feil i NVDB?

Informasjon i Nasjonal vegdatabank (NVDB) er registrert på en systematisk måte, og holder jevnt over høy kvalitet. Men trenger du like vel å melde feil i NVDB? Her finner du en oversikt over hvordan du melder fra.

NVDB-Skriv URL uten «atlas» legges snart ned

Publisert av

NVDB API Skriv har blitt etablert i nye driftsmiljøer på Atlas-plattformen hos Statens vegvesen. Vi har hatt begge miljøene opperative i en god periode nå og regner med mange har byttet til nye URLer. Vi vil nå starte prosessen med å stenge av de gamle URLene, og ber nå alle brukere om å se over at alle system er oppdatere med nye URLer.

Planlagt stenging av gamle URLer er 1. juli 2021.

Systemtestmiljø:
https://www.utv.vegvesen.no/nvdb/apiskriv/* => https://nvdbapiskriv-stm.utv.atlas.vegvesen.no/*

Akseptansetestmiljø:
https://www.test.vegvesen.no/nvdb/apiskriv/* => https://nvdbapiskriv.test.atlas.vegvesen.no/*

Produksjonsmiljø:
https://www.vegvesen.no/nvdb/apiskriv/* => https://nvdbapiskriv.atlas.vegvesen.no/*

I Atlas-miljøet brukes en ny autentiseringsmekanisme, basert på OAuth2 (OpenId Connect). Når klienter skifter over til nye URLer må derfor også autentiseringlogikken omprogrammeres. Hvordan dette kan gjøres er forklart på https://apiskriv.vegdata.no/autentisering.

Dersom det er spørsmål rundt dette, ta kontakt med nvdb@vegvesen.no.

Dersom det er behov for å holde det gamle miljøet oppe en stund til fremover må vi ha tilbakemelding om dette snarest med begrunnelse og dato for når det ikke er nødvendig lenger.

Hvordan vise skjermede data

Publisert av

Visning av skjerma data i Vegkart er det mange som etterlyser, men dette ligger nok et stykke frem i tid. Derfor må vi utforske andre løsninger.

Suverent enklest: Bruk QGIS

Innstaller QGIS, og følg oppskriften her for å installere pythonkode for å lese data fra NVDB via pythonkonsollet i QGIS. Deretter er det kun et par linjer for f.eks. å lese ut Vegros-data for Innlandet kommune

vegros=nvdbFagdata(895)
vegros.filter( { 'fylke' : 34, 'vegsystemreferanse' : 'Fv' } )
vegros.forbindelse.login( username='jajens', miljo='prodles', pw='***' )
nvdbsok2qgis( vegros)
Skjermdump fra QGIS som viser hvordan du leser inn data fra NVDB api LES med et par kjappe kommandoer i python-konsollet
Skjermdump fra QGIS, 895 Vegros lest inn til QGIS.

Når data er inne i QGIS kan man lagre til populære og moderne kartformater, eller eksportere til for eksempel Excel.

Alternativ løsning: Python, FME eller din egen løsning

De samme python-funksjonene som QGIS bruker er selvsagt tilgjengelig for en python-installasjon som står alene. (Vår anbefaling: Installer python distribusjon fra anaconda ). Vår anbefalte arbeidsflyt er å lese data inn i Pandas Dataframe, og eventuelt gjøre om denne til en GeoDataFrame. Derfra har du mange eksportmuligheter. I tillegg er (geo)dataframes i seg selv veldig kraftige analyseverktøy.

Akkurat i dag (14.04.2021) har vi ingen ferdige FME-workspace der påloggingsritualene er implementert, men det vil være en smal sak å implementere.

De samme påloggingsritualene kan du som utvikler også implementere i ditt favoritt programmeringsspråk. Enten for å lage din egen eksportrutine, eller for integrasjon i ditt favorittsystem.

Betingelser – hvilke rettigheter må man ha?

Tilgang til skjerma data i NVDB reguleres to – 2 – steder. (Jada, det er ett for mye, og vi jobber med det):

  • Du må ha definert riktige roller og tilganger i NVDB databasen
  • NVDB api LES har et eget system for hvilke skjerma data som blir tilgjengelig når du logger inn.

Rettighetene disse to stedene (NVDB databasen og i NVDB api LES) må selvsagt stemme overens.

Ny Datafangst ute

Publisert av

Datafangst versjon 3.1.0 er ut. Her er endringane som er gjort:

Datafangst 2021-3.1.0 (12. april)

  • Gruppe-admin og kontraktgruppe-admin skal også kunne legge til brukere på kontrakt
  • Mulig å endre navn på kontraktgruppe og å slette kontraktgruppe
  • Ingen error-melding skal dukke opp ved navigasjon ut fra innstillings-fanen

Utfasing av gamle NVDB-systemer

Publisert av

Som konsekvens av kommune- og regionreformen har det vært nødvendig å gjøre større grep i og rundt NVDB. Samtidig har vi også benyttet sjansen til å modernisere og fase ut løsninger som i nær framtid uansett måtte erstattes. Endringene omfatter vegreferansesystem, vegnettsmodell, programmeringsgrensesnitt (API) og verktøy/klienter rundt NVDB. Dette arbeidet har pågått over flere år. I “anleggsperioden” har vi kjørt parallelle løp der både eksisterende og nye løsninger har vært tilgjengelig. Nå nærmer det seg tidspunkt for å fase helt ut de løsningene som ikke skal videreføres.


Planen er som følger:

1. juni 2021: Nedstenging av «NVDB Klassisk» – verktøy for alle som ikke spesifikt ber om tilgang fram til 1.8. Alle «NVDB Klassisk» – brukere kontaktes direkte via epost.

NVDB klassisk omfatter verktøy som NVDB 123, Funkra, NVDB studio, Vegreg og noen flere.

1. august 2021: Full nedstenging av gamle systemer. Det gamle api’et fases fullstendig ut, og de gamle verktøyene kan ikke lengre brukes mot NVDB.

I dette notatet er det beskrevet mer i detalj hva som videreføres og hva som ikke lenger blir tilgjengelig for vegnett, programmeringsgrensesnitt og NVDB-verktøy / NVDB-klienter.

Info-Endringer-i-NVDB-fra-1-august-2021_V1Last ned

Ruteplandatasett fra geonorge

Publisert av

Det er visst litt i overkant kronglete å pakke ut ruteplan-datasettet lastet ned fra geonorge på esri fil-geodatabase (FGDB) formatHer er par tricks som gjør livet enklere.

ALLER FØRST: Vis filtype (fil-etternavn) når du jobber skal håndtere dette datasettet! Standard i windows er å skjule filtypene. Det er sikkert fint i andre sammenhenger, men her skaper det problemer.

  • Det du laster ned fra geonorge er en zip-fil med fil-etternavnet .zip, for eksempel Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB.zip
  • En Esri fil-geodatabase er ei mappe (katalog) som inneholder .gdb i navnet – altså et fil-etternavn (.gdb) på ei mappe, for eksempel Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB.gdb
  • Etter å ha «pakket ut» zip-fila så vil du ha en fil og en mappe med samme navn (f.eks Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB), kun fil-etternavnet skiller dem (.zip eller .gdb)
  • Hvis du ikke har aktivert visning av filtyper (fil-etternavn) så har du ingen som helst mulighet til å skille zip-fil fra FGDB-mappen.

I filutforskeren viser du filtype ved å velge «Visning» og huke av for «Filtyper»

Skjermdump som viser hvordan du kan vise filtyper i filutforsker.
I filutforskeren kan du vise filtyper (fil-etternavn) ved å velge fanen «Visning» og huke av for «Filtyper».

Derifra og ut er det vanlig utpakking av zip-fil, men med større kontroll.

I siste datasett (Samferdsel_0000_Norge_25833_NVDBRuteplanNettverksdatasett_FGDB) ser vi at mappen mangler fil-etternavnet .gdb. Dette er enkelt å fikse: Bare døp om mappen og føy til .gdb på slutten av filnavnet. Vi skal prøve å sikre at det blir riktig fil-etternavn på neste nettverksdatasett.

Hvor finner jeg vegnettsrapport?

Publisert av

Såkalte «Vegnettsrapporter» er blant de tingene våre flinkeste og ivrigste brukere er vant med å kunne ta ut via NVDB Studio eller NVDB 123, som jo termineres 1. august 2021.

Vi har laget en ny vegnettsrapport i systemet «NVDB rapporter«, i den modulen som er skreddersydd for drift og vedlikehold av vegene (såkalte «driftskontrakter»). Den er ikke identisk med de gamle vegnettsrapportene, men den er såpass lik at de fleste kjenner seg igjen.

Bruksanvisning – last ned vegnettsrapport.

Gå til https://nvdb-vegnett-og-objektdata.atlas.vegvesen.no/generisk/

Velg Vegnettsrapport (V1)

Velg geografisk område: fylke eller kommune – minst én, men gjerne flere. Eventuelt kontraktsområde, hvis det er riktig for deg

Du kan også filtrere på vegkategori (eksempel: E) og vegnummer (eksempel: Ev39) i boksen vegfilter.

Skjermdump av meny for uthenting av vegnettsrapport.
Søkeinnstillinger for vegnettsrapport

Når du har valgt rapporttype og geografisk område skifter «Hent data» – knappen farge fra grå til blå og lar seg trykke på.

Skjermbilde av knapp for å starte produksjon av vegnettsrapport.

Når du trykker på «Hent data» får du ei stoppeklokke som viser at systemet setter sammen en rapport til deg. Når rapporten er ferdig byttes stoppeklokka ut med teksten «Rapporten er klar til nedlasting» og en knapp for å laste ned rapporten.

Skjermdump som viser hvordan det vises når rapporten er ferdig. Vi viser teksten "Rapporten er klar til nedlasting" og en knapp for nedlasting og en knapp for nytt søk.
Slik ser det ut når vegnettsrapporten er klar!

Nedetid for VisVegInfo

Publisert av

Det er nødvendig med oppdatering og påfølgande restart av server som køyrer VisVegInfo. Tenesten og alle produkt og tenestar som brukar VisVegInfo er vena å vere ustabile og utilgjengelege i periodar i kved og i natt.

Vi ber om årsaking for kort varsel her. Det kjem som ei følge av ei uventa hending som er årsak til ei rekke interne feil i våre tenestar, og oppdatering er nødvendig for å rette opp dette.

Friskmelding vinterdriftsklasse og ÅDT i NVDB rapporter

Publisert av

I NVDB rapporter for driftskontrakter har vi et par måneder slitt med feil i lengdeberegning av vinterdriftsklasse og ÅDT. Våre utviklere er nå sikre på at de har løst problemene og at systemet nå regner riktig – men at noen av testene feiler.

Hva mener du, feil i testene våre?

Våre tester – fasiten, om du vil – er ingen ferdiglaget fasit, men en separat opptelling hvor vi ut fra V4-rapporten (detaljert mengdeoversikt) regner ut antall, lengde og areal som sammenlignes med tallverdiene i V2- og V3-rapportene (aggregert mengdeoversikt, sum per vegkategori eller per vegnummer) . Det er i denne opptellingen utviklerne nå påpeker en svakhet som gjør at testopptellingen vår blir for upresis for noen av verdiene.

For kontraktsområdet 9305 Sunnfjord er utviklerne for eksempel skråsikre på at opptellingen av ÅDT-verdier mellom 0 og 500 kjøretøy per døgn nå er riktig i produksjonssystemet – men for upresis i vår testopptelling.

Utdrag fra testrapport for 9305 Sunnfjord. Vi har 15% skyldes feil i testopptellingen vår, mens systemet nå gir riktige tall for ÅDT og vinterdriftsklasse i V2 og V3-rapportene.

Hva kan vi gjøre?

P.t. ser vi disse to alternativene:

  • Stole på utviklerne når de sier at de går god for de nye beregningene, men at «fasiten vår» ikke er perfekt, og at vi derfor kan begynne å bruke systemet
  • Avvente til vi har finregnet på ny fasit og forbedret testene våre

Å forbedre testene tar tid, trolig minst en uke eller to. Vi har derfor valgt å produksjonssette og gå ut med denne informasjonen. Dermed kan du selv best vurdere om avvikene som gjenstår er til å leve med – eller om du heller venter en stund til.

Kan jeg se testrapportene?

Selvsagt! De ligger her! En fil per kontraktsområde som er testet (p.t. 6 stykker), samt en felles testrapport som oppsummerer de verste resultatene fra alle kontraktsområdene.

Hva betyr fargeverdiene?

  • Grønt betyr identisk antall eller mindre enn 0.5 prosent avvik på lengde og areal.
  • Gult betyr inntil 1 stykk avvik på antall eller mellom 0.5 og 2 prosent avvik på lengde og areal
  • Rødt betyr mer enn 1 stykk feil på antall eller mer enn 2 prosent avvik på lengde og areal