Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Ondersteuning voor InfluxDB 2.x #1380

Closed
wderuijter opened this issue May 7, 2021 · 22 comments
Closed

Ondersteuning voor InfluxDB 2.x #1380

wderuijter opened this issue May 7, 2021 · 22 comments
Labels
backwards-incompatible Backwards incompatible break
Milestone
DSMR-reader v5.0

Comments

@wderuijter
Copy link

wderuijter commented May 7, 2021 •
edited
Loading

@dennissiemensma wordt influxDB 2.0 ook ondersteund?

Ik krijg een foutmelding wanneer ik ter test het script aanroep:
./manage.py dsmr_influxdb_export_all_readings --to-influx-database export-test-2 --max-batches 100

Namelijk een 401:
raise InfluxDBClientError(err_msg, response.status_code) influxdb.exceptions.InfluxDBClientError: 401: {"code":"unauthorized","message":"Unauthorized"}

Zelfs wanneer ik de influxdb admin account credentials invul in de dsmr-reader config.

Ik zie dat er in dsmr-reader geen config veld is om een influxdb 2.0 token op te slaan. Dus misschien ben ik wel iets aan het proberen wat (nog) niet ondersteund wordt in dsmr-reader :)

https://docs.influxdata.com/influxdb/v2.0/security/
@wderuijter wderuijter added the review Not sure yet whether to implement this label May 7, 2021
@dennissiemensma
Copy link
Member

Bedankt voor je vraag. De integratie met Influx is vrij beperkt. Als ik het zo lees schijnt er de mogelijkheid te zijn om legacy auth in te schakelen.

Je zou dit kunnen proberen:

@dennissiemensma dennissiemensma added this to the Some future release milestone May 7, 2021
@wderuijter
Copy link
Author

@dennissiemensma bedankt voor je suggestie, ik heb de legacy auth ingeschakeld maar de rechten daarin gaan volgens mij niet verder dan read/write op een of meer buckets. De 401 is daarmee opgelost maar dan loop ik aan tegen:
influxdb.exceptions.InfluxDBClientError: not implemented: CREATE DATABASE.

@dennissiemensma
Copy link
Member

dennissiemensma commented May 8, 2021 •
edited
Loading

Je zou nog kunnen proberen om de database met de hand aan te maken. Wellicht is dat een eenmalige actie.

@dennissiemensma
Copy link
Member

dennissiemensma commented May 8, 2021 •
edited
Loading

Het lijkt er trouwens op dat de huidige InfluxDB client in DSMR-reader niet compatible is met 2.x. Er is wel een opvolger, maar die is weer niet compatible met versies ouder dan 1.8.

Ik kan het daardoor niet zomaar opgraden. Dat zou met een volgende major DSMR-reader release moeten. Deze staat sowieso al wel op de planning voor ergens in de komende maanden, maar daar heb je op dit moment dus weinig aan.

@dennissiemensma dennissiemensma added backwards-incompatible Backwards incompatible break and removed review Not sure yet whether to implement this labels May 8, 2021
@dennissiemensma dennissiemensma modified the milestones: Some future release, 5.0 May 8, 2021
@dennissiemensma dennissiemensma changed the title Ondersteuning voor InfluxDB 2.0? Ondersteuning voor InfluxDB 2.x May 8, 2021
@wderuijter
Copy link
Author

Thanks voor je duidelijke toelichting @dennissiemensma

@brainkiller
Copy link

Even volgen omdat ik hier ook gebruik van wil maken

@dennissiemensma dennissiemensma mentioned this issue Jun 4, 2021
Closed
@dennissiemensma dennissiemensma mentioned this issue Sep 19, 2021
Closed
@dennissiemensma
Copy link
Member

dennissiemensma commented Nov 17, 2021 •
edited
Loading

Ik zal kijken of ik nog forward-compatibility kan doen voor Influx 1.8+, gezien dat erin zit, in de nieuwe influx 2.x Python client:

Dat zeggende hebben moet het niet te veel moeite kosten, want dan steek ik liever tijd in gewoon Influx 2.x config in DSMR-reader.

@dennissiemensma
Copy link
Member

Aardig eindje gekomen, maar ik denk dat het te complex is om zowel InfluxDB 1.8+ als 2.x te ondersteunen. Het was leuk geweest, maar te veel edge-cases en restricties. Plus dat ik dan in theorie weer een jaar of langer dat in stand moet houden voordat 1.x definitief weg kan.

Het is namelijk nog steeds een experimentele/oppervlakkige integratie in DSMR-reader, dus ik denk dat het beter een geforceerde upgrade kan worden naar InfluxDB 2.x voor gebruikers. Scheelt tevens legacy en ik vermoed dat de meeste gebruikers van InfluxDB hun weg wel vinden in hoe te migreren naar een nieuwe Influx.
Dit geldt overigens ook voor oude PostgreSQL/MySQL gebruikers met DSMR-reader, die moeten ook handmatig upgraden voordat ze naar DSMR-reader 5.x gaan.

dennissiemensma added a commit that referenced this issue Nov 21, 2021
@dennissiemensma
Reworked InfluxDB integration, upgraded to v2.x support, dropped v1.x…
608cfef 
… support, added timeouts to all HTTP calls #1380
@dennissiemensma
Copy link
Member

Klaargezet als onderdeel van v5 in 608cfef.

Mag nog wel wat beter getest worden in de praktijk, al zou het in de basis niet veel anders moeten zijn. Goede reden om later voor v5 eerst een release candidate te doen.

@dennissiemensma
Copy link
Member

DSMR-reader v5 is bijna klaar voor release. Daar zit dus ook deze feature in.

Echter gebruik ik zelf geen InfluxDB, dus is er iemand hier die op korte termijn de integratie wil testen/uitproberen? Dat betekent wel een vroegtijdige upgrade naar v5, maar die zal inhoudelijk toch niet meer veranderen. Hooguit op bugfixes na.

@dennissiemensma
Copy link
Member

Ik draai overigens uiteraard nu eerst zelf even v5, maar dat is meer vanuit sanity dat DSMR-reader uberhaupt blijft werken. InfluxDB is daar een relatief klein onderdeel van

@M1cN
Copy link

M1cN commented Jan 30, 2022

Ik wil het graag testen.

@dennissiemensma
Copy link
Member

Thanks! Ik kom later deze week bij je terug. Als je trouwens Docker draait, zal ik eerst met Xirixiz een docker image moeten maken bedenk ik me net.

@M1cN
Copy link

M1cN commented Jan 30, 2022 via email

@dennissiemensma
Copy link
Member

Voor nu alvast even een TODO gemaakt in xirixiz/dsmr-reader-docker#264

@M1cN
Copy link

M1cN commented Feb 2, 2022

Ik draai momenteel de develop versie ik ga er even mee spelen en kijken of ik bijzonderheden tegen kom.

@dennissiemensma
Copy link
Member

dennissiemensma commented Feb 3, 2022 via email

@dennissiemensma
Copy link
Member

@webnar ben je inmiddels nog wat wijzer geworden of de integratie met InfluxDB 2.x goed genoeg is?

@M1cN
Copy link

M1cN commented Feb 4, 2022 via email •
edited by dennissiemensma
Loading

@dennissiemensma
Copy link
Member

Bedankt voor je snelle update! In dat geval vertrouw ik er wel op dat het werkt, want inhoudelijk zijn er verder ook geen wijzigingen geweest, puur de verbinding/authenticatie.

@M1cN
Copy link

M1cN commented Feb 5, 2022 •
edited
Loading

De geschiedenis importeren werkt niet, of is het commando alleen voor influx 1.* ?

  • Export draait zonder enige foutmelding.

  • Bucket wordt gecreëerd

  • Metingen (tabellen) worden gecreëerd

  • Maar geen waardes zijn geïmporteerd

Draai het commando vanuit de container zoals vermeld:
./manage.py dsmr_influxdb_export_all_readings --to-influx-bucket dsmrreader-export

image

@dennissiemensma
Copy link
Member

Dank voor de terugkoppeling! Als het goed is werkt het juist alleen nog voor InfluxDB-2, maar ik heb puur het exporteren getest.

Wat geeft dsmr_influxdb_export_all_readings aan tijden het draaien? Of zie je geen output?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
backwards-incompatible Backwards incompatible break
Projects
None yet
Milestone
DSMR-reader v5.0
Development

No branches or pull requests
4 participants
@wderuijter @brainkiller @M1cN @dennissiemensma