Šiame straipsnyje aptarsime duomenų perdavimo srautus, jų tipus ir technologijas, naudojamas tiek žemės ūkyje, tiek interneto tinkluose. Nagrinėsime, kaip šie srautai yra valdomi ir kokią naudą jie teikia vartotojams.
Duomenų srautų schema
Duomenų Perdavimas Žemės Ūkyje
Modernios žemės ūkio mašinos turi galimybę siųsti ir saugoti įvairią informaciją „debesyse“. Ariant, prižiūrint laukus ar nuimant derlių, žemės ūkio mašinos siunčia informaciją apie esamą padėtį ir begalę įvairiausių kitų duomenų. Visi šie duomenys keliauja į „debesiją“ ir ten yra išsaugomi.
Žemės ūkio technikos gamintojų asociacijos dirba su duomenų paketų platformomis, kuriose stengiamasi išsaugoti kuo didesnį šios informacijos kiekį. Ji, asociacijų įsitikinimu, yra labai naudinga klientams, galintiems stebėti ir analizuoti ūkio techninius ir ekonominius rodiklius, taip pat dalytis savo pasiekimais per įvairius socialinius tinklus arba lyginti tarpusavyje skirtingų ūkių charakteristikas.
Tačiau patys klientai neretai kritikuoja tokias gamintojų užmačias ir skeptiškai vertina duomenų rinkimą. Įvairių kompanijų specialistai kol kas gali sutarti tik dėl kelių punktų, susijusių su duomenų apsauga. Ši įstatymais apibrėžta dalis labai apriboja duomenų rinkimą, naudojimą ir platinimą. Bet kuriuo atveju savo duomenų karaliumi lieka vis dėlto galutinis vartotojas - ūkininkas.
Telemetrija ir Telematika
Kad nepasiklystume terminuose, reikia juos aptarti. Telemetrija - tai įvairių procesų matavimas ir gautų rezultatų perdavimas nuotoliniu būdu realiu laiku arba periodiškai sukaupus duomenų paketą. Duomenų srautai gali keliauti viena arba dviem kryptimis. Pirmuoju atveju žemės ūkio technika duomenis siunčia į „debesis“ (serverius). Antruoju atveju žemės ūkio technika gali ir priimti iš „debesų“ (serverių) siunčiamą informaciją: įvairius technikos nustatymo variantus, užduotis, trąšų normas ir pan.
Jei duomenų siuntimas iš technikos paprastai vyksta be sutrikimų, tai duomenų priėmimas praktikoje dažnai būna su trikdžiais. Telematika - nuotolinis informacijos apdorojimas, saugojimas ir perdavimas naudojantis kompiuteriais. Telematika ir telemetrija viena nuo kitos nedaug skiriasi.
Duomenų panaudojimo deriniai ir galimybės - tai atskira aštrios diskusijos verta tema. Be vartotojo (ūkininko) žinių ir supratimo apie gautus duomenis, reikalinga dar ir patirtis bei nuojauta ūkininkaujant. Naujoji technika gali tik pagelbėti plečiant ūkio ribas.
Duomenų Surinkimo Metodai
Dauguma technikos gamintojų taiko tokius pačius ar panašius duomenų surinkimo metodus. Mašinoje sumontuotas modemas surenka informaciją iš CAN (angl. Controller Area Network), variklio valdymo bloko (ECU) ir ISOBUS sistemų. Ši informacija renkama skirtingais laiko intervalais ir išsiunčiama. Atskiri technikos gamintojai taiko skirtingą duomenų išsiuntimo strategiją: kas kelias sekundes, kas valandą ar kas dieną.
Duomenų paketai per mobilaus ryšio operatorių tinklą paprastai pasiekia serverius. Serveriai gali priklausyti patiems technikos gamintojams ar tokias paslaugas teikiančioms kompanijoms. Šios internetines paslaugas teikiančios kompanijos surinktus duomenis apdoroja ir perduoda technikos gamintojams. Duomenų perdavimas iš žemės ūkio mašinų dėl apkrautų mobiliojo ryšio tinklų arba ne viso vietovės padengimo gali sutrikti. Tam naudojamos daugiakortelinės sistemos, kurios bando jungtis ne prie vieno mobiliojo ryšio operatoriaus tinklo. Šios mobilaus ryšio kortelės žemės ūkio mašinose dar naudojamos korekciniam signalui gauti, kai dirbama su automatine vairavimo sistema. Duomenų paketo dydis per parą svyruoja nuo 1 iki 5 MB.
Ne retu atveju technikos gamintojai perima ir mobiliojo ryšio operatoriaus mokesčius. Jie yra suinteresuoti visų naujų telemetrinių sistemų diegimu ir naudojimu savo mašinose. Techniką gaminančios įmonės nuolat tobulina savo produkciją. Tai leidžia išsilaikyti rinkoje. Tačiau kai kurie defektai pasireiškia tik po ilgo mašinos naudojimo periodo.
Jau ilgą laiką žemės ūkio mašinos saugo duomenis iš CAN tinklo (temperatūras, slėgius, įvairius sūkius, degalų sąnaudas, darbo laiką ir kita). Šuos duomenis galima matyti tik su diagnostine serviso įranga ir tik tos konkrečios mašinos. Jei daugelio mašinų duomenys yra siunčiami į serverį, gaunamas duomenų paketas. Naudojantis šio paketo informacija galima gana anksti pastebėti trikdžius, gedimus ar darbo sutrikimus. Dėl šios priežasties daug technikos gamintojų į savo produkciją, kaip standartinę įrangą, montuoja telemetrines sistemas duomenims kaupti ir rinkti.
Duomenų Apsaugos Lygiai
Technikos gamintojai siūlo skirtingus duomenų apsaugos lygius:
- 0 pakopa: technikos savininkas jokiais būdais nepageidauja dalytis techniniais mašinų darbo rodiklių parametrais. Net ir anonimiškai nesutinka to daryti. Tokiu atveju mašinoje turi būti numatyta galimybė visiškai išjungti telemetrinę sistemą išimant SIM kortelę ir (ar) atjungiant duomenų perdavimo modemą.
- 1 pakopa: anoniminis duomenų pateikimas. Tokia galimybė taip pat turi būti raštiškai suderinta tarp technikos savininko ir gamintojo. Taip duomenys nebus niekaip siejami su klientu ir jo mašina. Duomenys iš mašinos bus siunčiami į serverį, tačiau pagal juos nebus galima nustatyti mašinos serijinio numerio ir geografinės padėties. Praktikoje visi duomenys keliauja į „debesis“ ir ten mašinos serijinis numeris bei technikos buvimo šalis yra ištrinami.
- 2 pakopa: klientas sutinka dalytis duomenimis. Technikos gamintojas turi aiškiai informuoti, kokius duomenis jis naudos. Jei dirbant traktoriumi atsiranda trikdžių, techninis personalas gali tuoj pat reaguoti. Tačiau tam reikia būti sutarus, kad mechanikai galėtų sekti technikos parametrus, vadinasi, telemetriniai duomenys turi būti prieinami. Žinoma, kad mechanikai gali ir be telemetrijos nuskaityti mašinos atmintyje išsaugotus duomenis ir imtis priemonių techniniams gedimams pašalinti.
- 3 pakopa: šiuo atveju yra prieinami ir agronominiai duomenys. Žinoma tikroji mašinos padėtis lauke, trąšų išbėrimo normos, kitų rodiklių vidurkiai ir pan. Naudojant 2 ir 3 pakopas, klientas sprendžia, kas ir kokius duomenis gali matyti.
Duomenų Panaudojimas ir Nauda
Kas nutinka su duomenimis ir kokią naudą iš to gali turėti klientas? Daug duomenų yra pateikiami iš karto apdoroti, susisteminti ir su reikalingomis maksimaliomis, minimaliomis ar vidutinėmis reikšmėmis. Tai mašinos apkrova, apkrovos pasiskirstymas laiko atžvilgiu, degalų sąnaudos. Pagal šias reikšmes galima ieškoti būdų, kaip pagerinti vienus ar kitus rodiklius. Kaip stipriai skiriasi skirtingų vairuotojų darbo pobūdis. Gal yra reikalingi vienokie ar kitokie vairuotojų mokymai?
Tolesni telemetriniai duomenys apima atlikto darbo visumą. Kol kas dar tik svajonė, kad reikalingi duomenys iš karto patektų į buhalterinę apskaitą ir lyjant lietui tų duomenų nereikėtų suvedinėti į kompiuterį rankiniu būdu. Pirmosiose sistemose vairuotojas ar ūkio valdytojas visuomet turėjo prieš darbo pradžią paleisti užduotį (nustatyti darbo rūšį, laiką, įjungti duomenų rinkimo įrenginį). Sunkumų kildavo, jei šiuos pradinius nustatymus kas nors pamiršdavo atlikti. Šiandien tai galima eliminuoti, kai pati mašina kaupia visus duomenis ir vėliau galima pagal jos buvimo vietą (padėtį) atsirinkti, kur, kiek ir kokiame lauke buvo dirbta. Jei ant duomenų paketo yra sukeliami laukų žemėlapiai, tai mašina vėliau pati atpažįsta, kokiame lauke dirba.
Paprastai visi surinkti duomenys turėtų keliauti į atskiras dėtuves (failus ar direktorijas) pagal laukus ar kitus kriterijus. Paprastojoje versijoje surenkami tiesiog statistiniai duomenys, pvz., ritinių skaičius, darbo laikas, degalų sąnaudos, plotas. Sudėtingesnėje versijoje sudaromi laukų derlingumo žemėlapiai, skaičiuojami vidurkiai. Iš pradžių duomenys į kompiuterį buvo perkeliami naudojantis USB raktu. Naudojantis telemetrija, visa informacija perkeliama realiu laiku. Siekiant apsaugoti duomenis nuo pašalinių ir užtikrinti jų tinkamą saugojimą, klientas privalo šiuos duomenų paketus perkelti į kompiuterį.
Agronominiai duomenys įdomūs ne tik ūkio darbuotojams. Šiais duomenų paketais galima nesunkiai dalytis, persiųsti. Tad duomenų apdorojimas turi būti nesusietos su technikos gamintojo programinės įrangos platforma ar jo interneto svetaine. Duomenų naudojimas remiasi gautais matavimais. Sudaromi derlingumo, dirvos struktūros, dirvos mėginių žemėlapiai. O pagal šiuos duomenis nustatomos tręšimo, sėklos normos. Tokiu atveju duomenys iš mašinos yra ne tik išsiunčiami, bet ir priimami. Duomenų perdavimas vyksta abiem kryptimis.
Techniką pasiekia informacija apie prijungtą agregatą, laukų kraštų ribas, technologines vėžes, reikalingus medžiagų (sėklų, trąšų) kiekius pagal padėtį lauke. Taip pat šia informacija pasidalijama su keliais skirtingais darbuotojais, atliekančiais kitas operacijas. Jei mašina gali priimti duomenis, tai techninis personalas gali atlikti reikiamas nustatymų korekcijas. Dažnai praktikoje pasitaikanti situacija, kai mašina neveikia tinkamai tik dėl reikiamoje programos vietoje neuždėtos / nuimtos žymėjimo varnelės. Šiuos nustatymus gali kontroliuoti ir keisti techninis personalas nuotoliniu būdu. Tačiau galutinį nustatymų pakeitimą patvirtinti gali tik mašinoje (traktoriuje) esantis vairuotojas. Tai neatsiejama saugaus darbo dalis.
Interneto Tinklai ir Duomenų Perdavimas
Internetu naudojamės kasdien, tačiau dažnai sutinkami terminai - IP, DNS, HTTP, SSL/TLS, LAN, maršrutizavimas, protokolai, prievadai - ne visada intuityvūs. Šis gidas parengtas taip, kad plačiam skaitytojų ratui nuosekliai, aiškiai ir be perteklinio žargono paaiškintų pagrindines sąvokas ir jų ryšius.
Pagrindinės Sąvokos
- Tinklas: Tai tarpusavyje sujungtų įrenginių visuma, leidžianti keistis duomenimis. Ryšio terpė gali būti laidinė (pvz., Ethernet), belaidė (Wi-Fi, „Bluetooth“, IR), mobilioji ar paremta telefono linijomis.
- Internetas: Tai „tinklų tinklas“ - milžiniškas daugybės atskirų tinklų junginys. Jo nekontroliuoja vienas subjektas: veikimą užtikrina atviri standartai ir protokolai, leidžiantys skirtingų gamintojų įrangai susišnekėti.
- OSI ir TCP/IP modeliai: Tinklų pasaulyje procesai skaidomi į sluoksnius: fizinį (signalai), tinklinį (adresavimas ir maršrutai), transporto (patikimumas, srautai) ir taikomųjų programų (naršyklės ir pan.). Klasikinis - OSI 7 sluoksnių modelis, o praktikoje dominuoja supaprastintas TCP/IP keturių sluoksnių modelis.
- LAN: Vietinis tinklas aprėpia nedidelę erdvę - namus, biurą, klasę. Būdingas didelis greitis, galimybė dalintis bendrais resursais (NAS, spausdintuvai).
- WAN: Tinklas dideliems atstumams - miestams, šalims, žemynams. Jis remiasi operatorių infrastruktūra (optika, palydovai, povandeniniai kabeliai). Pavyzdys - pats internetas.
- Maršrutizatorius: Jungia skirtingus tinklus ir pagal IP parenka kelią paketams.
- Modemas: Moduliuoja/demoduliuoja signalus konkrečiam perdavimo kanalui (DSL, kabelinė, FTTH/ONT, 4G/5G).
IP Adresai ir Domenų Vardai
- IP adresas: IP („Internet Protocol“) adresas - unikalus numeris, pagal kurį maršrutizatoriai nukreipia paketus tinkamu keliu. IPv4 - 32 bitai (pvz., 192.168.0.10), ~4,3 mlrd. adresų. Dėl trūkumo naudojamas IPv6 - 128 bitų (pvz., 2001:db8::/32).
- Privatūs IP intervalai: Privatūs IPv4 intervalai - 10.0.0.0/8, 172.16.0.0/12, 192.168.0.0/16 - skirti viduje ir internete nemaršrutuojami.
- Statinis viešasis IP: Statinis viešasis IP nekinta (patogu serveriams).
- MAC adresas: Aparatinis 48 bitų identifikatorius (pvz., 00:1A:2B:3C:4D:5E).
- Domenų vardai: Žmonėms patogūs vardai (pvz., vz.lt) atitinka IP adresus.
- DNS: DNS - paskirstyta, hierarchinė sistema. Užklausa keliauja nuo talpyklų ir rezolverio per šakninius serverius į TLD serverius ir galiausiai į autoritetingus serverius, grąžinančius A/AAAA įrašus (IP). Taip pat egzistuoja MX, CNAME, TXT, NS ir kt.
Tinklo Protokolai
- TCP: Jungtinis protokolas su sekomis, patvirtinimais, retransliacijomis ir srautų valdymu. Tinka, kai svarbu, kad visi duomenys atkeliautų tvarkingai (HTTP(S), el. paštas).
- UDP: Nejungtinis, be pristatymo garantijų - naudojamas realaus laiko scenarijuose (VoIP, transliacijos, žaidimai, DNS).
- HTTP: Hiperteksto perdavimas užklausos-atsako principu: naršyklė klausia, serveris atsako statuso kodu, antraštėmis ir turiniu. Evoliucija: HTTP/1.x → HTTP/2 (daugiakanaliai srautai, antraščių glaudinimas) → HTTP/3 (QUIC virš UDP).
- HTTPS: HTTPS - HTTP per TLS: šifravimas, vientisumas, serverio autentifikavimas per sertifikatus (CA). „Rankos paspaudimo“ metu susitariama dėl raktų, toliau srautas šifruojamas simetriniu būdu.
- FTP: Istorinis, be šifravimo (21 prievadas + atskiras duomenims).
- El. paštas: Perdavimo protokolas tarp serverių - SMTP (25/465/587), o gavimui - POP3 (110/995) ar IMAP (143/993).
- SSH: Saugus prisijungimas prie serverių (22 priev.). Taip pat - tuneliavimas, SCP/SFTP.
- Kiti protokolai: „WebSocket“ realiam laikui, „BitTorrent“ P2P, SNMP įrangos valdymui, LDAP katalogams, REST/SOAP žiniatinklio paslaugoms ir t.t.
HTTP ar HTTPS?
HTTPS šifruoja srautą (TLS), autentifikuoja serverį, pagal nutylėjimą naudoja 443 prievadą ir reikalauja galiojančio sertifikato. HTTP - nešifruotas (80 priev.).
Maršrutizavimas ir Komutavimas
- Kiekvienas maršrutizatorius turi „žemėlapį“, nurodantį, per kurį kaimyną pasiekti konkrečius IP prefiksus. Tinklai kinta, todėl maršrutizatoriai dalijasi informacija: OSPF - viduje, BGP - tarp autonominių sistemų.
- Komutatorius dirba kanalo lygmenyje (MAC) viename tinkle; maršrutizatorius jungia skirtingus tinklus pagal IP.
- NAT leidžia daugeliui privačių adresų dalintis vienu viešuoju IP, kelyje „išverčiant“ adresus. PAT (prievadų adresų vertimas) atskiria srautus pagal prievadus.
Prievadai ir Ugniasienės
- Prievadas: 16 bitų numeris (1-65535), identifikuojantis konkrečią paslaugą įrenginyje. 1-1023 - rezervuoti (HTTP 80, HTTPS 443, SSH 22, DNS 53, SMTP 25, FTP 21, POP3 110, IMAP 143 ir kt.).
- Ugniasienė: Ugniasienė filtruoja pagal IP/prievadus/protokolus. Jei naudojate NAT, viešam pasiekiamumui reikia „port forwarding“.
- Taikomos taisyklės srautui filtruoti: pagal IP, prievadus, protokolus, net turinio požymius. Gali būti aparatinė (perimetre) arba programinė (kompiuteryje).
VPN
- Client-to-site: darbuotojas prisijungia prie įmonės tinklo nuotoliniu būdu.
- Site-to-site: sujungiami du biurai.
- Vartotojų VPN: srautas keliauja per paslaugos tiekėjo serverį, slepiant jūsų viešą IP ir šifruojant ryšį iki VPN mazgo.
- Pliusai: konfidencialumas, vientisumas, prieiga prie vidinių resursų.
VPN veikimo schema
Duomenų Srautų Apskaitos Sistema
Tinklo duomenų srautų analizės ir apskaitos sistema atlieka keletą pagrindinių funkcijų: duomenų srautų informacijos surinkimas, jos analizė, apdorojimas, saugojimas ir pateikimas vartotojui. Sistemos funkcijoms atlikti reikalingi trys pagrindiniai komponentai: duomenų srautų informaciją eksportuojantis įrenginys, šią informaciją priimantis, apdorojantis, saugojantis bei pateikiantis vartotojams įrenginys ir vartojo įrenginys, skirtas rezultatų apžvalgai.
Duomenų Eksportavimo Metodai
Šio projekto esmė yra matuoti tinklu praėjusių duomenų kiekius, todėl aktyvų metodą naudoti netikslinga. Pasyvios metodologijos esmė yra ta, kad įrenginiai, naudojami srautams stebėti, nesikiša į paties srauto tėkmę, o tiesiog analizuoja arba tiesiog skaičiuoja praeinančius paketus.
Populiariausios technologijos:
- Nuotolinis stebėjimas (RMON)
- Paprastas tinklo stebėjimo protokolas (SNMP)
- NetFlow
Projektuojamai duomenų srautų analizės sistemai tikslingiausia naudoti NetFlow metodą. Jis sukurtas ir pritaikytas būtent tokio tipo sistemoms, todėl atitinka visus funkcinius reikalavimus. Jis pakankamai paprastas, todėl neapkrauna tiek tinklo, tiek jo įrenginių, o minimalus tarnybinis srautas užtikrina, kad srautų matavimai bus tikslūs. Jis turi didelį įvairių tinklo parametrų rinkinį, todėl gali būti nesunkiai praplečiamas, atsiradus naujiems tinklo analizės reikalavimams. Jo duomenų tipai sumodeliuoti taip, kad srautų informaciją būtų patogu ir optimalu saugoti vėlesnei analizei, o projektuojamoji sistema kaip tik ir atlikinės tokio tipo analizę.
Duomenų Saugojimo ir Analizės Programinė Įranga
- Cflowd: programa, skirta Cisco Catalyst maršrutizatorių eksportuojamiems srautams kaupti.
- Flow-Tools: paketas, kuris gali kaupti bei dalinai analizuoti eksportuojamus srautus. Flow-tools gali apdoroti NetFlow informaciją, generuojamą Cisco ir Juniper maršrutizatorių.
Duomenų Perdavimo Tinklų Principai
Kompiuterių tinklo paskirtis - duomenų perdavimas. Kiekvienas įrenginys kompiuterių tinkle vadinamas mazgu. Mazgai gali būti kelių metrų ar kelių tūkstančių kilometrų atstumu. Kompiuterių tinklų dydis matuojamas pagal jų apimamą geografinį plotą.
- Lokalūs tinklai (LAN) jungia netoliese esančius kompiuterius.
- Globalūs tinklai (WAN) - tai tarpusavyje sujungti lokalūs tinklai, apimantys skirtingus miestus ar valstybes.
Kompiuterių tinklas turi pasižymėti plečiamumo (scalability) savybe, t.y. tinklas gali būti plečiamas prijungiant naujus įrenginius ar tinklo vartotojus, neįtakojant tinklo našumo ar paslaugų. Norint apsisaugoti nuo gedimo padarinių taikomas pertekliškumo principas, kuris sako, kad sugedus sistemai ar jos komponentui, jo darbą turi perimti kitas (perteklinis) to pačio funkcionalumo komponentas. Tokiu būdu duomenų perdavimas nenutrūksta.
Duomenų perdavimo tinkluose norėdami suteikti pirmenybę svarbesniems duomenims, naudojamas prioritizavimo principas. Suteikdami prioritetus duomenų srautams, galime realizuoti sutartą duomenų perdavimo paslaugos kokybę (QoS). Duomenų perdavimo tinklai turi būti saugūs.
Duomenų Perdavimo Terminai
- Paketas (packet): tai suformuota duomenų aibė, perduodama duomenų tinklais.
- Grandis (link): tai tinklo segmentas tarp dviejų gretimų tinklo mazgų, kuriuo perduodami duomenys.
- Kanalas (channel): tai grandies pralaidumo dalis. Keletas kanalų sudaro grandį.
- Grandinė (circuit): tai kelias tarp dviejų tinklo mazgų.
Kanalų Komutacija
Kanalų komutacija - tai toks dviejų mazgų sujungimo tipas, kai sukomutuojamas fizinis kanalas iš atskirų segmentų komutatorių pagalba.
Privalumai:
- Tinkami pastovaus greičio duomenų perdavimui.
- Nedidelis perteklinės informacijos kiekis.
- Greitas sujungimas.
Trūkumai:
- Esant netolygiam duomenų perdavimui, neišnaudojamas visas kanalo pralaidumas.
Virtualus kanalas - tai sukomutuotas fizinis kanalas, skirtas paketų perdavimui. Kanalas formuojamas specialiu paketu, kuris siunčiamas tinklu (per komutatorius) gavėjui. Paketai turi specialias žymes, rodančias priklausomybę konkrečiam virtualiam kanalui.
Maršrutizatoriai, atpažinę paketą, neanalizuoja paketo antraščių, o persiunčia juos tiesiai virtualiu kanalu.