[v.gallo]

Ciao a tutti,

Sono nuovo nel forum e più in generale nel mondo di Raspberry Pi. 
Sto realizzando una rete sensoriale, e vorrei avere il vostro supporto per un problema riscontrato.

Prima di porvi qualsiasi quesito vi illustro la situazione:

Tramite una rete Xbee fornita dalla Digi avente come coordinatore la Connect Port X4, acquisisco dati da una serie di sensori "XBEE Digi Sensors adapter L/T/H", che visualizzo su una piattaforma web, la "Digi Device Cloud".

Quindi ho i dati in cloud, ma non posso scaricarli o elaborarli, solo vederli.

Da qui la volontà di passarli ad un altra piattaforma, in particolare a Raspberry, per poterli elaborare.
Sono in possesso di una Raspberry Pi2 model B+, con OS Raspbian Jessie.

Ed ecco il problema: come posso passare i dati a Raspberry??

Nello specifico:

> E' possibile "interrogare"  una piattaforma web per ricevere i dati da essa o "leggerli " direttamente con Raspberry ?
> Su google, molti parlano di Thingspeak (o applicazioni simili) per fare questo. E' la strada giusta?

Spero di essere stato abbastanza chiaro nell'esporre la situazione.

Confidando nel vostro aiuto,
Vito

[Zzed]

Thingspeak (o simili) sono servizi web come quello che usi tu, ma che oltre a farti vedere i dati, ti permettono di elaborati in cloud o scaricarli. Sei assolutamente sicuro che tu possa silo vederli in tempo reale? Mi sembra assai limitante.
Se non vuoi cambiare piattaforma web, si può sempre fare "alla tedesca" : RaspberryPi può interrogare la pagina ogni tot secondi, leggere i dati presentati, e poi elaborati come vuoi (scraping).
Il primo programma che ho scritto in Python, faceva proprio quello (prendeva i dati dalla pagina web locale di un inverter per fotovoltaico) quindi non dovrebbe essere così complicato.

[v.gallo]

Grazie del supporto,

l'idea di leggere i dati tramite python (dalla pagina web) mi sembra la soluzione migliore.
Potresti darmi qualche dritta? Girarmi una guida o qualcosa del genere?

Saluti,
Vito

P.S. Anche uno spezzone del tuo codice sarebbe di aiuto.

[Zzed]

E' complicato darti indicazioni senza conoscere come funziona il sistema che hai in essere.
I dati sono aggiornati ogni quanto? La pagina si aggiorna automaticamente?
Prova a salvare il sorgente della pagina e a allegarlo qui, sperando non sia fatto con tecnologie troppo esoteriche..

qui una prima bozza del programmino citato, ma tutto dipende da come è strutturata la pagina da leggere

Codice:

Si collega alla pagina web dell' inverter e prende i dati # ogni tot secondi e li scrive in un file csv # Vers 0.3 : ciclo e gestione erroi import urllib2,re,datetime,time # importo le librerie # url = '192.168.0.191' # indirizzo da interrogare file = "192.168.0.191.htm" # file locale da lavorare intervallo = 3 # intervallo di tempo, in secondi giorno = datetime.date.today().strftime( "%d%m%Y" ) #cilco while giorno == datetime.date.today().strftime("%d%m%Y"): try: # Prova a.. #carica url # f = urllib2.urlopen(url) # abilitare questa riga per il sito f = open(file,"r") # abilitare questa riga per il file sito = f.read() f.close() # cerca le stringhe m = re.findall(r'[\d\.]+\s\w(?=" type="text")',sito) # CREA UNA LISTA! mm = re.findall(r'(?<=value=")[\d\.]+',sito) Etot = re.findall('..........(?<=KWh)',sito) # le RE sono tutte da sistemare :-) sono fatte proprio male! # ottimizzazioni da fare: compilare le RE # sostituire i . con , tramite le RE t = datetime.datetime.now().strftime("%d-%m-%Y %H:%M:%S") # Scrive un file. out_file = open("giorno" + giorno +".csv","a") # apre file.csv Append out_file.write(t + ";") # scrive data e ora e ; out_file.write(m[0] + ";") # scrive GRID VOLTAGE out_file.write(m[3] + ";") # scrive PHOTOVOLTAIC CURRENT out_file.write(m[4] + ";") # scrive Power out_file.write(m[7] + ";") # scrive Current out_file.write(m[10] + ";") # scrive PV1 Voltage out_file.write(mm[0] + ";") # scrive Temperature out_file.write(Etot[0] + "\n") # scrive Energy total e va a capo out_file.close() # chiude il file except: # se il "Prova a" non funziona, allora.. continue # intercetta gli errori e dice di continuare comunque time.sleep(intervallo) #qui il resto del programma (mandare il file via email ad esempio)

[v.gallo]

Grazie,

Spero che queste info possano aiutarti (e aiutarmi):

La pagina web su cui leggo i dai necessita di una fase di autenticazione iniziale (username e password), di cui sono in possesso.

La struttura della pagina da cui "prendere" i dati è mostrata nel video:
Device Cloud Query


L'aggiornamento della pagina avviene ogni volta che viene interrogata.

Grazie ancora per il supporto,
Vito

[Zzed]

Il filmato aiuta poco.
Esiste una pagina in cui hai i valori numerci che ti servono?
Se si, salvarne l'html e postalo.
In sostanza python deve prendere il tuo in una sorta di macro : carica la pagina, copia i valori che oi servono, scrivili in un file.
L'autenticazione potrebbe essere un problema, dipende come è fatta.

[v.gallo]

[attachment=520][attachment=520]Si infatti credo sia la fase di autenticazione il problema principale.

Url è il seguente:http://devicecloud.digi.com/ws/DataStrea...nsor_5.xml (dove lth_sensor_5 è il nome del sensore interrogato)

Compare come la tendina:
https://ibb.co/jJmUT7

dopo aver inserito : id e password

la pagina che compare ,in cui sono mostrati i valori numerici di interesse, è la seguente:

Codice:

[/font][/color][/size] [size=small][color=#333333][font=Arial]This XML file does not appear to have any style information associated with it. The document tree is shown below.[/font][/color][/size] [size=small][color=#333333][font=Arial]<result>[/font][/color][/size] [size=small][color=#333333][font=Arial]<resultSize>4</resultSize>[/font][/color][/size] [size=small][color=#333333][font=Arial]<requestedSize>1000</requestedSize>[/font][/color][/size] [size=small][color=#333333][font=Arial]<pageCursor>b18ad5ec-4-983a3988</pageCursor>[/font][/color][/size] [size=small][color=#333333][font=Arial]<DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<cstId>21009</cstId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/humidity[/font][/color][/size] [size=small][color=#333333][font=Arial]</streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataType>DOUBLE</dataType>[/font][/color][/size] [size=small][color=#333333][font=Arial]<forwardTo/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<id>0a635274-12fc-11e8-b143-0a406a6369ba</id>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestamp>1518773435014</timestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestampISO>2018-02-16T09:30:35.014Z</timestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestamp>1518773435014</serverTimestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestampISO>2018-02-16T09:30:35.014Z</serverTimestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<data>31.4139729859</data>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<quality>0</quality>[/font][/color][/size] [size=small][color=#333333][font=Arial]</currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<units>%</units>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataTtl>2678400</dataTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]<rollupTtl>2678400</rollupTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]</DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<cstId>21009</cstId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/light[/font][/color][/size] [size=small][color=#333333][font=Arial]</streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataType>DOUBLE</dataType>[/font][/color][/size] [size=small][color=#333333][font=Arial]<forwardTo/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<id>0a62fcf6-12fc-11e8-b143-0a406a6369ba</id>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestamp>1518773435011</timestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestampISO>2018-02-16T09:30:35.011Z</timestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestamp>1518773435014</serverTimestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestampISO>2018-02-16T09:30:35.014Z</serverTimestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<data>267.0</data>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<quality>0</quality>[/font][/color][/size] [size=small][color=#333333][font=Arial]</currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<units>brightness</units>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataTtl>2678400</dataTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]<rollupTtl>2678400</rollupTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]</DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<cstId>21009</cstId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/low_battery[/font][/color][/size] [size=small][color=#333333][font=Arial]</streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataType>STRING</dataType>[/font][/color][/size] [size=small][color=#333333][font=Arial]<forwardTo/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<id>f553b3bc-1251-11e8-9cb4-0ac5fe70dafe</id>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestamp>1518700385235</timestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestampISO>2018-02-15T13:13:05.235Z</timestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestamp>1518700385271</serverTimestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestampISO>2018-02-15T13:13:05.271Z</serverTimestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<data>False</data>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<quality>0</quality>[/font][/color][/size] [size=small][color=#333333][font=Arial]</currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<units/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataTtl>2678400</dataTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]<rollupTtl>2678400</rollupTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]</DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]<cstId>21009</cstId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/temperature[/font][/color][/size] [size=small][color=#333333][font=Arial]</streamId>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataType>DOUBLE</dataType>[/font][/color][/size] [size=small][color=#333333][font=Arial]<forwardTo/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<id>0a62aed5-12fc-11e8-b143-0a406a6369ba</id>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestamp>1518773435009</timestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<timestampISO>2018-02-16T09:30:35.009Z</timestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestamp>1518773435014</serverTimestamp>[/font][/color][/size] [size=small][color=#333333][font=Arial]<serverTimestampISO>2018-02-16T09:30:35.014Z</serverTimestampISO>[/font][/color][/size] [size=small][color=#333333][font=Arial]<data>21.32</data>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<quality>0</quality>[/font][/color][/size] [size=small][color=#333333][font=Arial]</currentValue>[/font][/color][/size] [size=small][color=#333333][font=Arial]<description/>[/font][/color][/size] [size=small][color=#333333][font=Arial]<units>C</units>[/font][/color][/size] [size=small][color=#333333][font=Arial]<dataTtl>2678400</dataTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]<rollupTtl>2678400</rollupTtl>[/font][/color][/size] [size=small][color=#333333][font=Arial]</DataStream>[/font][/color][/size] [size=small][color=#333333][font=Arial]</result>

Che ne pensi?


Vito

[Zzed]

questo non è un html..
comunque, quali sono i numeri che ti servono qui?

Codice:

4 1000 ca9fdc58-4-56b9a4e2 21009 dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/humidity DOUBLE 0e361602-12fc-11e8-b143-0a406a6369ba 1518773441428 2018-02-16T09:30:41.428Z 1518773441429 2018-02-16T09:30:41.429Z 31.5372928665 0 % 2678400 2678400 21009 dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/light DOUBLE 0e35c7e1-12fc-11e8-b143-0a406a6369ba 1518773441426 2018-02-16T09:30:41.426Z 1518773441429 2018-02-16T09:30:41.429Z 365.0 0 brightness 2678400 2678400 21009 dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/low_battery STRING f553b3bc-1251-11e8-9cb4-0ac5fe70dafe 1518700385235 2018-02-15T13:13:05.235Z 1518700385271 2018-02-15T13:13:05.271Z False 0 2678400 2678400 21009 dia/channel/00000000-00000000-00409DFF-FF506669/lth_sensor_5/temperature DOUBLE 0e3552b0-12fc-11e8-b143-0a406a6369ba 1518773441423 2018-02-16T09:30:41.423Z 1518773441429 2018-02-16T09:30:41.429Z 21.32 0 C 2678400 2678400

[v.gallo]

Ciao, grazie di tutto ho risolto.
Appena ho un pò di tempo, inserisco la guida che ho seguito.