Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Scholia som exempel på funktionalitet #10

Open
gjonor opened this issue Oct 1, 2022 · 21 comments
Open

Scholia som exempel på funktionalitet #10

gjonor opened this issue Oct 1, 2022 · 21 comments

Comments

@gjonor
Copy link
Collaborator

gjonor commented Oct 1, 2022

Scholia verkar vara ett intressant projekt att använda som förebild.
Finns det kanske verktyg i det projektet som kan återanvändas?

Scholia Öppna data borde kunna översättas till allt som kommuner / myndigheter producerar

  • senaste publicerat av kommuner/ myndigheter inom ett visst område...
    senaste publicerat
  • Hur mycket myndigheterna /kommunerna har skrivit inom det här området senaste åren
    publicerat per år
  • Vilka myndigheter/kommuner har skrivit något inom det området
    vem har skrivit
  • Skapa citations graph att man har metadata vilka rapporter som citerar andra rapporter/författningar --> ger kanske ett mått på vad som är viktigast
    citeringar
  • Konferanser Workshops då man pratat om detta ämne eller hålla koll på vilka från olika myndigheter som går på event,...
    Events

Originally posted by @salgo60 in #9 (comment)

@salgo60
Copy link
Owner

salgo60 commented Oct 1, 2022

Det är bara SPARQL(exempel) mot Wikidata... dock ett galet jobba att matcha saker... wikibase kan användas och snart kommer nog en gratis variant wikibase.cloud där WIkimedia Tyskland tror jag hostar den...

  • det snygga är att ORCID används för att identifiera skribent dvs. persistent identifierare
  • har DOI dvs. persistent identifierare för dokument oberoende var dom ligger....

video

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 1, 2022

Ok, då börjar kanske processen i #8 hänga ihop lite tydligare.

CSV -> Import: OpenRefine? -> KG: Wikibase -> API: SPARQL -> Presentation: web site, e.g. Scholia

Alt. skapa RSS-flöden och sådant för konsumtion. Gör man det direkt från Wikibase eller via SPARQL query API?

Om jag vill provköra första steget för övnings skull, lämpligen i wikibase cloud eller egen WB instans?

@salgo60
Copy link
Owner

salgo60 commented Oct 1, 2022

  1. det stora steget är att fundera över ämnesord är min tro...
    1-1) @Ainali @SchermanJ gör det för motioner och där har man inget kontrollerad vokabulär på gott och ont
    1-2) @dpriskorn Dennis har skapat ett verktyg som mass uppladdar ämnesord se dpriskorn/ItemSubjector

Open refine.... för Wikidata är det bara att köra....

Min tro är att man skall testa lite olika vägar.... känns som NOSAD är det enda vettiga projektet i denna röra så det kanske är där det går att ha en dialog.... vet inte om dom har något genomslag

  • gissar att alla dessa foliehattar som skall leverera digitallösningar genom att bara skriva pdf:er eller jobba utan helpdesk id:n och backlogs kan stoppa det mesta.... 😃
    • badplats specen blev jag galen... för att dom ville inte ha en metod eller ett strukturerat tänk....
      • känns Öppna data blir lätt fel när det inte finns någon som styr och ställer nu är det massa buzzword som kulturresor och årlig fakturering > 3 miljoner per konsult tycker jag mig sett...

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 1, 2022

Ok, från mitt perspektiv ser det ut att vara ett primärt problem att de flesta förstår vad en CSV-fil eller en webbsida är men väldigt få vet vad en kunskapsgraf är och hur processen ser ut att gå från det ena till det andra. Man står som sagt och stampar i en rundgång med PDF-filer, webbdesign där man flyttar runt sidor och namnändrar i URL:er, och ett och annat kalkylark i Excel utan användbara identifierare för informationsposter. Tror det handlar om en allmän brist på förståelse/erfarenhet av hur databaser och kopplingar fungerar. Office-paketen innehåller programvara för ordbehandling, presentation, kalkylark och databas, men det är bara de tre förstnämnda som används. Kanske vi får se en grafdatabas dyka upp i office-tjänsterna i en framtid och ta plats jämte eller framför Excel, men det tar väl några år.

Vet inte om jag tänker fel, men jag skulle gärna vilja ha tillgång till någon form av "sandlåda" för att lära mig funktionaliteten. Det känns lite konstigt att skicka in låtsas-data till Wikidata för att se vad som händer i studiesyfte utan att veta riktigt vad jag gör, och jag känner inte att jag förstår vad som händer när jag trycker på export-knappar i OpenRefine. Funderar över hur en testplattform eller process kan se ut. Att sätta upp en lokal graf-databas förefaller ganska tekniskt avancerat, åtminstone när det gäller Wikibase. Wikibase.cloud är inte allmänt tillgängligt i dagsläget. Har Wikidata kanske något motsvarande sandlådan på Wikipedia?

@salgo60
Copy link
Owner

salgo60 commented Oct 1, 2022

Det finns hur mycket data som heist att leka med som platsar på Wikidata

Annars är det nog bara att registrera ett konto på "min" Wikibase.cloud instans sweopen...

Jag var i Visby på Almedalsveckan och ställde frågan till Digg Anna om kunskapsgrafer och hon förstod inte frågan... bara det att inte säga det där vet jag inget om utan bara babbla på är för mig early warning...

Det finns massa utmaningar

  • organisationer som inte är vana att prata med varandra
  • känns inte som lärande organisationer - bara att hantera en diskussionsgrupp verkar vara för avancerat
  • det jag ser i spretiga Wikivärlden är att många inte fattar Wikidata MEN det finns några extremt duktiga personer som man kan luta sig emot....
  • varför dog Rättsinformationssystemets , jag har inte hittat en analys verkar mer som ett dåligt samvete man mörkar....

Känns inte bra att DIGG mer blivit diskussionsgruppsadministratörer och DIGG Anna presenterade i Almedalen ingen vision mer än att man skall bli fler och fler vill ha DIGG med på sina möten....

Även om man hoppar på KG så är det nog en tuff resa... jag la upp en artikel från Über och där fick jag känslan att deras väg in i KG inte varit spikrak....

@salgo60
Copy link
Owner

salgo60 commented Oct 2, 2022

@gjonor aktivera EasyQuery så kan du enkelt i Wikidata skapa grafer vilket ger lite mer en känsla av möjligheterna se salgo60/SkansenWikidata#9

@dpriskorn
Copy link
Collaborator

Ok, från mitt perspektiv ser det ut att vara ett primärt problem att de flesta förstår vad en CSV-fil eller en webbsida är men väldigt få vet vad en kunskapsgraf är och hur processen ser ut att gå från det ena till det andra. Man står som sagt och stampar i en rundgång med PDF-filer, webbdesign där man flyttar runt sidor och namnändrar i URL:er, och ett och annat kalkylark i Excel utan användbara identifierare för informationsposter. Tror det handlar om en allmän brist på förståelse/erfarenhet av hur databaser och kopplingar fungerar. Office-paketen innehåller programvara för ordbehandling, presentation, kalkylark och databas, men det är bara de tre förstnämnda som används. Kanske vi får se en grafdatabas dyka upp i office-tjänsterna i en framtid och ta plats jämte eller framför Excel, men det tar väl några år.

Vet inte om jag tänker fel, men jag skulle gärna vilja ha tillgång till någon form av "sandlåda" för att lära mig funktionaliteten. Det känns lite konstigt att skicka in låtsas-data till Wikidata för att se vad som händer i studiesyfte utan att veta riktigt vad jag gör, och jag känner inte att jag förstår vad som händer när jag trycker på export-knappar i OpenRefine. Funderar över hur en testplattform eller process kan se ut. Att sätta upp en lokal graf-databas förefaller ganska tekniskt avancerat, åtminstone när det gäller Wikibase. Wikibase.cloud är inte allmänt tillgängligt i dagsläget. Har Wikidata kanske något motsvarande sandlådan på Wikipedia?

Kul att du är intresserad 😀
Har du telegram? Där händer mycket av kommunikationen som pågår mellan de olika frivilliga och man får snabbt svar på frågor som din ovan om sandlåda.
Se https://meta.m.wikimedia.org/wiki/Telegram#Wikidata

Jag började modellera de största svenska IT fiaskon och anti-pattern för ett tag sen på Magnus' sweopendata Wikibase.

Jag jobbar en del med vandringsleder och lägerplatser. Vad intresserar dig?

@dpriskorn
Copy link
Collaborator

dpriskorn commented Oct 3, 2022

Ok, från mitt perspektiv ser det ut att vara ett primärt problem att de flesta förstår vad en CSV-fil eller en webbsida är men väldigt få vet vad en kunskapsgraf är och hur processen ser ut att gå från det ena till det andra. Man står som sagt och stampar i en rundgång med PDF-filer, webbdesign där man flyttar runt sidor och namnändrar i URL:er, och ett och annat kalkylark i Excel utan användbara identifierare för informationsposter. Tror det handlar om en allmän brist på förståelse/erfarenhet av hur databaser och kopplingar fungerar. Office-paketen innehåller programvara för ordbehandling, presentation, kalkylark och databas, men det är bara de tre förstnämnda som används. Kanske vi får se en grafdatabas dyka upp i office-tjänsterna i en framtid och ta plats jämte eller framför Excel, men det tar väl några år.

Den här analysen passar bra ihop med mina erfarenheter. Det tog mig ett tag att komma in i tänket med grafer. Jag kommer ihåg att jag inte begrep skillnaden mellan att något är en instans och att något är en underklass till annat.
Tex. min bilmodell 320i är en underklass till BMW bilmodell. Själva bilen är en instans av 320i och unik med ramnummer och färg och har en historik med olika ägare.

Liknande är vandringsleden grottstigen i Smitingen-Härnöklubb en instans av vandringsled. Den har även kvaliteten att ligga i ett specifik svenskt naturreservat.
Tyvärr är det inga på myndigheterna som vill göra jobbet och beskriva alla leder i alla reservat som unika instanser.
De ritar in dem i en databas bara och bryr sig inte om att beskriva den där med god metadata som en led med namn och identifierare och länka till reservatet den är i.
De informerar inte heller för varje led eller reservat om när underhåll utförts eller när leden tillkom.
På så vis bliver det nästintill omöjligt att hålla ordning på alla olika geodata för oss frivilliga. Ibland hittar vi skyltade leder som helt saknas i datamängder som är tillgängliga.
Det ger samlat sett intrycket att hela turism/rekreationsområdet är väldigt styvmoderligt behandlat.

Jämför man detta med tex data från staten New York så bliver det väldigt tydligt att vi i Sverige ligger efter.
Se tex denna metadata
image
De skulle kunna förbättra genom att ha things istället för bara strings, men där finns en massa värdefull information som klart höjer kvaliteten över vilken som helst svensk datamängd på samma område.

I 🇺🇸 finns det till och med hela webbplatser för varje reservat där myndigheterna publicerar nyheter, varningar, kartor, m.m.

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 11, 2022

Jag började modellera de största svenska IT fiaskon och anti-pattern för ett tag sen på Magnus' sweopendata Wikibase.

Jag jobbar en del med vandringsleder och lägerplatser. Vad intresserar dig?

Jag är kanske i nuläget mest intresserad av frågeställningar om resursfördelning, styrning och beslutsgångar i samhället, var pengarna går och hur de utnyttjas, t.ex. hur mycket som satsas på utveckling av öppen källkod och öppna data i jämförelse med vad som läggs på proprietär programvara och tjänster. Jag har märkt att det verkar tämligen svårt att få tag på sådan information, och att myndigheter är förvånansvärt ostrukturerade vad gäller att hålla sina medborgare uppdaterade, så jag har börjat undra lite varför det är på det viset. Allmänt kan jag kanske säga mig vara intresserad av sådant som faller under kategorin samhälls- och vetenskapsjournalistik, och av möjligheter att utveckla och förbättra IT-tjänster och infrastruktur till stöd och gagn för medborgare att delta och informera sig.

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 11, 2022

@gjonor aktivera EasyQuery så kan du enkelt i Wikidata skapa grafer vilket ger lite mer en känsla av möjligheterna se salgo60/SkansenWikidata#9

Tack för tipset. Alltså:

User page > Preferences > Gadgets: Wikidata-centric: Easy Query
https://www.wikidata.org/wiki/Special:Preferences#mw-prefsection-gadgets
"EasyQuery: A tool to add an icon for finding items with same statements easier."

Ser hur det funkar med grafen med relaterade entiteter, förstår dock inte riktigt vad som menas egentligen med "finding items with same statements"?

Gadgets verkar inte finnas på wikibase.cloud.

@salgo60
Copy link
Owner

salgo60 commented Oct 11, 2022

Tror du kan kopiera om det är Javascripts koden till Wikibase

Ofta är gadgets sådant man lägger i sin common.js men formaliserats till en gadget

Den guru du skall följa är Magnus Manske som är en egen klass att koda

https://twitter.com/magnusmanske

Blog http://magnusmanske.de/wordpress/

Mer features https://wikidata.org/wiki/Wikidata:Tools/Enhance_user_interface

Sedan kan man kolla olika super users common.js och kopiera deras

Om user scripts https://en.wikipedia.org/wiki/Wikipedia:User_scripts

Annat coolt verktyg är Wikishootme som visar Wikidata objekt på en karta så man kan enkelt kan ladda upp bilder

Ex. Wikishootme anpassad med Sparql fråga som visar utegym om dom har bilder eller ej

https://wikishootme.toolforge.org/#lat=59.389979118110176&lng=14.580380916595463&zoom=6&layers=wikidata_image,wikidata_no_image&sparql_filter=%3Fq%20wdt%3AP6104%20wd%3AQ107186275&worldwide=1

image

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 11, 2022

Bra tips, tackar.

@jonassodergren
Copy link
Collaborator

Sorry! Stängde av misstag. =) Nu öppen igen.

@salgo60
Copy link
Owner

salgo60 commented Oct 12, 2022

@jonassodergren det är väl bara att stänga.... känns kanske som den skulle legat i diskussion...

@salgo60
Copy link
Owner

salgo60 commented Oct 12, 2022

Bra tips, tackar.

@gjonor det är en heltids sysselsättning att hänga med på alla script/ verktyg.... jag gjorde en video med några..

  1. Tror det behövs verktygsutvecklare som skapar nya verktyg för att saker som att koppla ihop domäner som olika myndigheter är skall fungerar... ser inte att det finns inom staten plus ovana att kommunicera plus ovana att jobba ihop plus ovana att någon tar på sig hatten att vara tankeledare.,...

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 23, 2022

Håller med, jag tror det behövs fler verktyg och programvaror som gör det enkelt och effektivt att jobba med data.

@salgo60
Copy link
Owner

salgo60 commented Oct 24, 2022

@gjonor tycker detta lilla GITHUB repository visar så är inte kommunikation så svårt heller bara man vågar använda de verktyg som finns jag SWIB18 - felet är att få vågar (inlägg skrivna DIGG communityn/ besökare känns mest en lekstuga för WIki människor som ändå snackar på Telegram,,,,)

  • tänk dig ett kommersiellt företag som får frågan vem ansvara för att publicera erat Öppna data och inte bjuder till dans jmf myndighets svar vad kul att du är intresserad, vad vill du göra, här kan du prata med oss, tycker Jobtech varit föredömliga och gissar lesson learned är lite att även om man bjuder upp till dans så är det svårt att dansa ihop @jonassodergren rätta mig om jag har fel

Nästa steg att beskriva mer komplexa saker som vad olika lagar handlar om och ha samma som för alla lagar i Europa kräver ett helt annat mindset/laguppställning... tycker dock att Wikidata pekar på att tekniken finns och även en spretig community klarar av enklare saker utan att alltid vara domänspecialister

  • lyssnar man på Google så inser man att en KG expert är en ny kompetens... att tro att befintligt lag kan leverera tycker jag tom ett "nybyggt lag" men troligen felbyggt lag som DIGG inte ens kan...

Intressant på Wikipedia är hur extremt aktiva användare inte inser varför Wikidata/strukturerad data behövs.... gissar att det är 100 ggr svårare att förklara strukturerad data för DIGG eller andra myndigheter... där saknas samma vilja att jobba ihop, vana att kunna pinga alla andra, vana att diskutera allt med alla, vana att agera då något är fel hos någon annan myndighet är min sorgliga bild....

Jag har aldrig förstått denna fascination så många visar för Wikidata; är det verkligen bättre att behöva gå till Wikidata för att editera en källänk?.... Själv drar jag mig tillbaka från artikeln för att drömma litet om 2007, den ljuva tiden för 15 år sedan, då Wikidata inte fanns

image

@gjonor
Copy link
Collaborator Author

gjonor commented Oct 24, 2022

Förhållandet mellan narrativt, kontextuellt länkat innehåll och fakta-baser är intressant och något som jag själv inte är riktigt klar över ännu, men det borde ju vara högst relevant för behandling av lagtexter och offentliga handlingar.

@salgo60
Copy link
Owner

salgo60 commented Oct 24, 2022

Förhållandet mellan narrativt, kontextuellt länkat innehåll och fakta-baser är intressant och något som jag själv inte är riktigt klar över ännu, men det borde ju vara högst relevant för behandling av lagtexter och offentliga handlingar.

Inte jag heller men utmaningen tror jag är att göra saker Findable primärt. Kollar man på ELI Technical Guide så rekommenderar dom Eurovoc (WD Property:P5437) vilket känns som ett bra steg 1 och här borde det finnas med redan i Riksdagens Öppna data dels SFS men även motioner etc... dom pratade om det 2019 när jag träffade Riksdagen men det händer inte mycket...

image

Kollar man vad en tidigare projektledare av Rättsinformationssystemet funderade över så känns det att mycket mer borde kunna göras hans "graduate theses" "Towards a theory of jurisprudential relevance ranking Using link analysis on EU case law" ....

image

image

OT @gjonor såg du dagens svar från Regeringskansliet på frågan om Öppna data ansvarig? request/vem_arbetar_med_oppna_data#incoming-4532 - andra som svarat på samma fråga - dom skall enligt lag svara skyndsamt nu tog det 12 dagar....

image

@salgo60
Copy link
Owner

salgo60 commented Oct 25, 2022

@salgo60
Copy link
Owner

salgo60 commented Oct 28, 2022

Scholia verkar vara ett intressant projekt att använda som förebild.
Finns det kanske verktyg i det projektet som kan återanvändas?

Finns massa coola verktyg Magnus Manske blog har skrivit > 300 verktyg, jag har skrivit en integration med Svenskt Porträttarkiv

Ett coolt verktyg är mix-n-match där > 5000 externa kopplingar finns till webscrapade databaser --> dom är inte kopplade till WIkidata men man kan göra det för hand...

importScript( 'User:Magnus_Manske/mixnmatch_gadget.js' );
--> att jag för förslag till kopplingar när jag kolla på ett Wikidata objekt,...

Exempel Oswald https://oswald.wikibase.cloud/wiki/Item:Q117 samma som WD Q104785244

image

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants