Die Bevölkerungsdichte von Deutschland. Experimente mit Raster-Daten und ggplot2. Stark inspiriert von
@geokaramanis
, der unglaublich beeindruckende plots und Karten erstellt. Eine erste Version scheiterte an der Konversion der Rasterdaten, deswegen eine weit niedrigre Auflösung.
My advice, following
@dr_xeo
's great tutorial: Don't worry too much about extracting the correct XML file with the download link to the buildings. Just STRG+F the municipality & click the link below the list:
view-source:
Offene Daten sind, neben anderen Bedingungen, nur dann offen, wenn sie a) allen (und nicht nur einem Unternehmen) zu Verfügung gestellt werden und b), nicht nur ausschließlich auf Anfrage heraus gegeben werden.
@SenUMVKBerlin
Berlin eine von fünf Städten weltweit, in denen
@GoogleMaps
Detailinfos im Radrouting angibt. Wir stellen die Geo-Daten den Radrouting-Anbietern bereit, damit diese ihr Angebot für Radfahrende verbessern - und so Radverkehr fördern.
#OpenData
Mehr dazu:👉
The number of days with extreme heat in Germany is steadily increasing each year. I recreated this plot idea from
@SPIEGEL_Data
with
#ggplot2
. And to be honest, it took me some time. Thanks to
@shinysci
from whose open source code I was influenced a lot.
#ClimateCrisis
#RStats
Ich habe den OpenAI Code Interpreter heute mit dem Auto-Datensatz für Berlin getestet und dabei gebeten, mir die wichtigsten Erkenntnisse aus dem Datensatz zu liefern. Könnte man den Code zukünftig benutzen, Datensätze automatisch zu analysieren?
Script:
@ThomasSorheim
Simply not a major leak at all. Owen Yin was granted legal access by Microsoft, all screenshots are openly published here in his hacker forum called, uhm, Medium.
Wer hätte gedacht, dass ein Post über den Bundeshaushalt so viele Reaktionen hervorruft? An alle neuen Follower: Willkommen! Hier geht es weiterhin um sachliche Themen wie Open Data, Datenjournalismus, AI und Sprachmodelle, und ja, manchmal auch um schicke Visualisierungen.
Interessantes Langzeit-Projekt von
@TUDarmstadt
: 24 Jahre lang wird die Verbreitung von deutschen (und weiteren) Nachnamen in verschiedenen Kartenformaten festgehalten. Mehr dazu in der Projektbeschreibung.
I did not realize
@milos_agathon
had his own Youtube-channel up until now. So, take a look at his great R tutorials and buy this man a coffee if you can afford it!
I've written a detailled tutorial how one can systematically identify and visualize missing data points in
#Openstreetmap
data with the help of Python/Pandas and a bit of geo-datascience. The data I'm using to compare are health departments in Germany.
Was wäre, wenn man versuchen würde die bisher noch ungezählten
#Parkpl
ätze in Berlin zu berechnen? Irgendwie ja auch passend zur heute beginnenden
#30DayMapChallenge
, Day 1: Points.
Mit der grafischen Opulenz von guten Grafikern wird man sich nicht messen könnten, dennoch könnte man viele Infografiken mit Python automatisiert erstellen lassen, gerade wenn es um jährliche Daten wie den Haushalt geht. Komplexer ist die Datenextraktion.
Erste Schritte mit
#ChatGPT
zur Entwicklung eines informativen
#OpenData
Chatbots. Der Bot bezieht sein Wissen aus dem Berliner Open Data Handbuch und liefert Antworten auf Fragen zum Thema Offene Daten in der Hauptstadt.
@OpenDataBerlin
Experimenting with different color palettes and increasing the plot's details when zooming in. I am working to release the code in R, hopefully quite soon. Essentially, the process of dl and visualizing the data is not so different from
#prettymaps
or
@rcityviews
.
#RStats
#GIS
Ich habe versucht die Open Data Portale der Bundesländer zusammen zu googeln, wen hab ich vergessen?
🔵 Baden-Württemberg:
🔵 Bayern:
🔵 Berlin:
🔵 Brandenburg:
1/3
Blogs über Daten und deren Analysen sind im deutschsprachigen Raum selten (man sollte sie eigentlich mal kuratieren), aber der Blog
#Datengraben
ist eine Fundgrube an interessanten Themen. Besonders den Artikel zur Dichte von Regionalzeitungen empfinde ich als sehr gelungen.
I updated the data for chronotrains, including (finally!) the Paris Eurostar, missing stations (e.g. Millau), and many other schedules that I missed in the original dataset.
Anything you still see missing? Let me know!
Ein Blick auf die Tabelle von kostenlosen Arztpraxen für ukrainische Flüchtende ist ernüchternd: Viele Fehler und keine Koordinaten für Kartendarstellung. Ich hab das mal gefixed. Als CSV, GeoJSON, als Berlinkarte. Alle Rechte KV Berlin.
#ukrainerefugees
Kaum angemerkt, schon umgesetzt! Der Datenjournalist
@Joh_Christ
hat der Karte mit der Verschiebung der klimatischen Bedingungen von deutschen Städten deutlich mehr Übersicht und Interaktivität verpasst!
@alicanglobal
@bpb_de
Würde
@bpb_de
die Daten des Wahlomat in einem offenen Format anbieten, könnten sehr einfach Übersetzungen erstellt und veröffentlicht werden. Letztendlich verzichtet die BpB freiwillig auf mehr Nutzer und größere Vielfalt. Man kann nur hoffen, dass sich das in Zukunft ändert.
Mit dem
#elevatr
R package lassen sich die Höhendaten von unterschiedlichen Ländern abrufen. Die höchste Detaildichte zwang RStudio in die Knie aber auch niedrigere Werten produzieren ein okayes, wenn auch weniger detailliertes Ergebnis. Dank an
@milos_agathon
für sein Tutorial.
The single most undervalued fact of linear algebra: matrices are graphs, and graphs are matrices.
Encoding matrices as graphs is a cheat code, making complex behavior simple to study.
Let me show you how!
DALLE-3 has a limitation of generating only 4 images at once, correct? Well, it's both yes and no. You can bypass this restriction by employing grid-based prompts. This allows you to showcase a variety of content, from films to album covers, in a gallery-style layout.
I go out on a limb here and say the data in 3D plots is harder to process, it's understandable data journalists stick to other visualizations. On the other hand, being able to turn the object around, zoom in/out makes one spend more time on the plot and thus the data.
#rayshader
latitude/longitude locations with
#rayvista
, countries, states, cities, also ggplot objects, historic map overlays,
#rayshader
offers it all. And you can export the data into blender or integrate it into your website with
#threejs
.
Dank den offenen Daten des DWD kann man für jeden d. Ort (hier: Potsdam) einen
#Klimastreifen
erstellen. Für den Download der Daten empfiehlt sich das R-Paket rdwd (), für die Visualisierung des Durchschnitts das Tutorial von
@dr_xeo
"Hinz und Kunz" bezeichnet im Deutschen ein Synonym für Jedermann. Allerdings leben in Deutschland viele Menschen, deren Nachnamen tatsächlich so lauten. Die Hinz (in rot) scheinen häufiger im Nordosten Deutschlands zu leben, die Kunz (in blau) dagegen häufiger im Südwesten.
Die Hamburger Liegenschaftskarte von 2023, das sind 12,1 Gigabyte XML-Daten und 350 Einzeldateien, aus denen ich die Geometrie und das Baujahr extrahieren konnte.
Heute ist der
#hackday
2021 in Moers, sowohl in Präsenz als auch digital. Es folgen Vorträge zu
#OpenStreetMap
und Künstlicher Intelligenz. Wer von Zuhause aus zusehen möchte, kann sich über BigBlueButton dazu schalten.
#oddmo21
Drosten: Die Antwort auf eine Pandemie wird immer besser sein, wenn man bessere Daten hat. [...] Da ist Deutschland eindeutig zu schwach: Die Data-Science, die Wissenschaft, haben wir zwar, uns fehlt jedoch der Zugang zu den Daten.
A road network isn't simply a road network.
#OpenStreetMap
lets you choose precisely which types of roads to include in the dataset, even coming down to car escape ramps. This map includes motorway, trunk, primary and secondary. Thanks to
@issa_madjid
for the example.
#RStats
I have to confess, I was hoping for more aesthetic pleasure from adapting
@issa_madjid
's
#30DayMapChallenge
contribution from Africa to Germany. But, ohm, I guess German airports are just packed more densely and hey, on the bright side, the lines look like a sleeping pig.
#Rstats
Don't kid yourself, everyone makes mistakes. Even the pros are just trying stuff out stuff and the early iterations of your beautiful plot will most likely look like a total mess. Like this map of river systems in Germany (or rather not in Germany).
#RStats
#ggplot2
Neues Projekt: Bei
@zeitonline
zeigen wir, wo Deutschlands Spitzen- und Geringverdienende wohnen und wie sich die Gehälter in allen Gemeinden seit 20 Jahren entwickelt haben. (Z+) (1/5)
Absolutely loved Robin Rohwer's (
@RobinRohwer
) cherry blossom tree plot 🌸! Decided to recreate it using her code from Twitter (). Had to use OCR, Photoshop & ChatGPT to fix errors, but it was worth it!
#DataViz
#RStats
The code:
Just wanted to experiment a bit with
@shinysci
|s street data project for different cities and get back into R, now it feels like writing a whole package, including writing scripts, try-catch error handling and writing docs (basically just for myself not to forget anything).
2022 war so heiß wie angenommen. Ein Update von
@shinysci
's "small multiples" Raster-Plot der Anzahl der heißen Tage über 30 Grad seit 1951 pro Kreis/Stadt.
Original-Code:
@FvCastell
@zeitverlag
@DIEZEIT
Eine fast identische Story gab es 2019. Media: "Der Redakteur, der Verzicht und Verbote predigt und die Leser bei einer Luxus-Kreuzfahrt bespaßt, während der Dampfer tüchtig Schweröl-Abgase oben rauspustet – das fanden dann ein paar Leute bigott [...]"
Diese Grafik würde immens von einer digitalen Darstellung profitieren: Einfach das Gewirr an Pfeilen durch eine einzelne Auswahl von Städten ersetzen. Durch einen Zoom könnte man den jeweiligen Zielort genauer betrachten und zusätzlich Plots und Infos zu dessen Klima einblenden.
Mit kann man aus Tutorial-Videos auf Youtube eine kurze und übersichtliche Schritt-für-Schritt Anleitung erstellen. So spart man Zeit und erfährt dennoch das Wichtigste aus dem Video.
Das zusammengefasste Video:
Das Spannungsfeld zwischen zentral erhobenen Daten und einer heterogenen Landschaft von unterschiedlichen Akteuren zeigt sich besonders eindrücklich an den Bemühungen, eine Liste offener Daten der Berliner
#Stolpersteine
zu finden. Ein ausgeuferter Thread (1/10).
Bsp. autofr.Friedrichstraße: Woher weiß man so genau, wie oft eine Einkaufsstraße von Passanten frequentiert wird? Das Unternehmen "What a location?" erfasst anonymisiert die Bewegung von 53 Millionen Mobiltelefonen u. sammelt täglich 60 Mrd. Datenpunkte.
@ProfNoahGian
Wouldn't that mean even more kudos to
@OpenAI
, simply because they had the guts to release LLM to the public in a reasonably safe way as a smaller company, while a multi-billion-dollar behemoth like Google with all its available resources failed to do so?
📝 Not sure when exactly it happened, but ChatGPT can now efficiently create entire user interfaces using ASCII art. Need the code? Feel free to ask for it in the next question.
Mochte den Berliner Tram-Linien Post von
@fneukirchen
und dachte, das baue ich mal inklusive der (hier roten) ehemaligen Deutschen Grenze nach, um die Geographie zu verdeutlichen. Die gefilterten Tramlinien wirken nicht ganz vollständig, weiß da jemand in Bezug auf OSM mehr?
Looking at the HuggingFace leaderboard data so far.
Curious observation. You have to go far to get to the first non-Llama and commercially viable model.
Gpt4all-j is the best fully open model so far. Many unevaluated; personally waiting for flan-t5 numbers.
@andriy_mulyar
Der Copyright-Filter von DALLE ist recht streng und zeigt eine Zukunft auf, die das Web deutlich restriktiver machen könnte, was das Remixen von bekannten Inhalten angeht. Umgehen kann man den Filter, indem man Vokale oder Konsonanten der Original-Marke einfach austauscht.
#Aldi
is offering more than 500 electronic charging stations for vehicles in the south of Germany. Though not all Aldis offer a charging point yet (roughly 1/4 in the south), the number is sufficient to see the "border" (so-called Aldi-equator) between Aldi Nord and Süd.
#Rstats
Wer mit sich gleich mal die Rohdaten zur Verteilung von Knöllchen in Magdeburg ansehen möchte, findet hier den Link zu FragdenStaat.
#Falschparken
#Strafen
Adding
#OpenStreetMap
road and path data to a 3D matrix works just perfectly with R Rayshader. Coloring is completely independent of OSM, so one could go for any color palette. The next step is the addition of color to a matrix that has 3D buildings and more man-made objects.
Wer die österreichische Tankstellen-API testen möchte, hier die Parameter:
latitude = frei wählbar
longitude = frei wählbar
fuelType = DIE (Diesel) oder Sup (Super 95) oder Gas (CNG Erdgas)
includeclosed = true oder false (geschl. Tankstellen einbeziehen)
Und wie könnte
@derspiegel
in Zukunft aussehen, wenn jeder Artikel 📰 auch ein Gesprächsangebot an den Leser wäre 🗨️ ? Und auch damit eine direkte Verbindung zum wenig genutzten SPIEGEL Archiv 🗄️oder weiteren, noch das Thema vertiefenden Texten?
Bild: terrible photoshop
Interessant, wie
@CedScherer
für den SPIEGEL-Bestseller "Triggerpunkte" viele Grafiken erstellen durfte.
Fast noch interessanter ist die Ästhetik der Plots und Graphen: Die Reduktion auf Graustufen hat sicher einiges an Überlegung für die optimale Darstellung gekostet.
Baldiges Update zur Darstellung von Straßennetzwerken einer Stadt inspiriert von
@shinysci
. Man kann frei wählen, ob nur die Straßen, die Kombination aus Rosendiagramm + Straßen oder nur das Diagramm dargestellt werden soll. Zudem sind die Städte und ihre Anzahl frei wählbar.
Working through Rayshader tutorials again. Lidar data of Miami beach with no coloring. Shadows are already baked in. Waterdepth is 3 feet. Can we add an
#OpenStreetMap
overlay in the future to add colors?
Für den Komplexitätsgrad von
#blender
beim ersten Ausprobieren ist der Import von Geodaten erstaunlich simpel. Die Höhendaten wirken beim Import wenig eindrucksvoll, allerdings lässt sich das 3D-Modell in jede beliebige Richtung strecken, in diesem Fall auch die
#Zugspitze
.
@AndySch64494719
Wäre es nicht fair, beim Verwenden fremder Bilder und Inhalte nicht wenigstens am Ende des Threads die entsprechenden Quellen zu nennen, vor allem wenn die Autoren viel Arbeit in ihre Erstellung gesteckt haben?
Hier sind u.a. Bilder von
@WarMonitor3
@Pouletvolant3
@War_Mapper
Wie erhofft entstehen zu den geöffneten Berliner
#Fahrraddiebstahl
-Daten von
@polizeiberlin
erste Webseiten und Auswertungen aus der Zivilgesellschaft, wie . Auf der Seite lassen sich die Daten nach Zeitraum abrufen und räumlich darstellen.
#OpenData
Im Sommer stehen in Berlin dank
@wasserbetriebe
ganze 203 Trinkbrunnen zur Erfrischung für durstige Städter bereit. Als Open Data verfügbar sind die Brunnenstandorte aber nicht - und das, obwohl die offizielle Website sogar eine hilfreiche Karte aufbietet.
@urbandigitalDE
Dabei werden die Daten ausschließlich Google zu Verfügung gestellt. Andere Anbieter und Startups, die händeringend nach diesen Daten suchen, gehen leer aus. Dabei könnte die Stadt die Daten ebenso gut unter offenen Standards veröffentlichen. So wird fairer Wettbewerb verhindert.
Als Anfänger:in Berliner Geodaten über das Portal FIS-Broker abzurufen, ist ein fast unmögliches Unterfangen. WFS-Links sind kaum zugänglich, die Dokumentation versteckt sich oft in einer tief verschachtelten XML-Datei. Am einfachsten ist da noch der Download mit QGIS. 1/3
Eine der wichtigsten ungeklärten Fragen in OpenStreetMap ist es, wie umfassend ausgewählte Bereiche kartiert sind. Um staatliche Daten mit Wikimedia-Daten (Wikipedia, Wikimedia Commons, Wikidata) und OSM abzugleichen, gibt es jetzt ein Tool von
@tordans
Noch nicht so häufig "in Produktion" gesehen: Basis der Karte ist eine R
#shiny
App. Dafür lädt die Applikation erstaunlich schnell. Und der Code dazu steht auch online.
#RStats
Im Bereich experimenteller Daten veröffentlicht
@destatis
den MikroSimulatoR – wie 🇩🇪 in Zukunft innerhalb unterschiedlicher Szenarien aussehen könnte (z.B. Bevölkerungsentwicklung, Pflegebedürftige). Gerne selber testen:
@markus_zwick
@JannekMuhlhan
Im Blogbeitrag
#OutinTheOpen
Oktober rund um das Thema Offene Daten geht es diesmal u. a. um eine Magdeburger Karte von 84.000 Bäumen von
@JensWinter
, durchsuchbare Parlaments-Videos von
@OpenParlTV
und eine digitale 3D-Karte Deutschlands von
@BKG_Bund
.
Usually things are more complicated than they seem. Managed to create a hexagonal
#heatmap
of rental data in Berlin in R, but the rental data is stretching beyond Berlin's borders and isn't yet weaven into the background map of Berlin. Still some way to go.
#RStats
#dataviz
🎉 Ein erster Chatbot ist online! Aufsetzend auf dem Open Source "Handbuch Öffentliches Gestalten", beantwortet der Bot Fragen zum Thema
#Innovation
#Verwaltung
. Das Projekt ist mein Testballon, und das Handbuch von
@citylabberlin
erwies sich als passende Ressource.
1/2
Meldet man im
#OpenData
Portal von New York einen fehlenden oder fehlerhaften Datensatz, kann man seine E-Mail Adresse angeben und erhält auf Wunsch über ein Ticketsystem konstant Updates, wie es um den Stand der Anfrage aktuell bestellt ist.
Die heißen Tage in Deutschland nehmen zu, aber die die sehr kalten Tage, Tage unter -10 Grad Celcius, auch ab? Der Trend ist nicht ganz so deutlich. Ein extrem warmer Winter scheint 2020 gewesen zu sein. Wegen eines Fehlers in der Legende musste ich den Graphen neu erstellen.
Existiert irgendwo eine komplette Liste der Open Data Portale auf Bundeslandebene? Ich kann gerade nicht fassen, dass ich nur einen Teil der Daten in einer veralteten csv-Datei finden kann.
@dunkelmunkel
Frage mit Zusatz:
// This could be a trick question! So be careful and explain your reasoning step by step. Use Python if needed as a calculator.
"Sie haben uns um Übersendung einer Übersicht der öffentlichen Papierkörbe/Mülleimer gebeten [...] Hierzu ist festzustellen, dass [...] in unserem Haus lediglich Ortsbeschreibungen und keine Geodaten erfasst werden"
@spatialthoughts
You could try the method outlined here and calculate the width by its geometry. Some datasets in Berlin, Germany do include the street width to check the results.
Liebe
#dataviz
#rstats
bubble, gibt es eine in R verwendbare Deutschlandkarte mit den deutschen Landkreisen als Hexagon-grid, vergleichbar dieser Wahlkreis-Karte von
@CedScherer
und
@_ansgar
?
🐼YOLOPandas: pandas DFs +
@LangChainAI
Use LLMs to write code for interacting with your dataframe object
Set `yolo=True` to execute it blindly 😉
`pip install yolopandas`
Thinking about programming an automated twitter bot that detects great data journalism articles and asks one question and one question only in the comments: "Could you please, please also release the underlying data publicly?"
Weil der Weihnachtsmarkt-Finder Open Source ist, steht der Code nun offen auf Github und ist für andere Orte
oder Events einsetzbar. Mit einigen Änderungen lassen sich jegliche Orte visualisieren, von Eisdielen über Bürgerämtern bis hin zu Musikbühnen.
Dank der OpenSource-Vorlage von gibt es nun auch den
#Weihnachtsmarkt
-Finder für
#Leipzig
- Wem es in der Innenstadt zu voll ist, kann auf zahlreiche andere Märkte im Stadtgebiet und im Umland ausweichen. Einen schönen 🕯️. Advent!
Die Aufbereitung der Hamburger Gebäudedaten ist kompliziert: Da sind brauchbare INSPIRE-Daten, die kein Baujahr enthalten. Liegenschaftsdaten in Standardformaten, die sich aber nicht von QGIS öffnen lassen. Und funktionierende Datensätze, die sich in 250 Einzeldateien aufspalten