50 de studii demonstreaza: 5G si semnalul WiFi pot fi utilizate ca radar pentru persoane
Ne pot monitoriza pana si gesturile marunte, oriunde, oricand, fara sa stim
“Sistemul propus poate îndeplini nevoile viitoare de monitorizare a activității sănătății la domiciliu și este o alternativă viabilă pentru monitorizarea sănătății publice și a bunăstării.” - Nature Magazine
Oare ce alte minuni mai poti face, daca ai capacitatea de a asista batranii si persoanele cu handicap prin monitorizarea de la distanta, fara camere si contact, doar prin citirea campului electromagnetic emis de antenele 5G si wifi?
Detectia activata 5G, fara contact, pentru mai multi subiecti, a prezentei si activitatii, pentru asistarea vietii independente
James Watt School of Engineering, Universitatea din Glasgow, Glasgow, G12 8QQ, Marea Britanie
Publicat de Nature Magazine, 02 septembrie 2021 - https://www.nature.com/articles/s41598-021-96689-7
Fragmente extrase si subliniate de SILVIEW.media
Sensiunea wireless este tehnica de ultimă generație pentru monitorizarea activității sănătății de generația următoare. Casele inteligente și centrele de sănătate au o cerere pentru monitorizarea activității sănătății pe mai multe subiecte pentru a răspunde cerințelor viitoare. Senzorialitatea 5G cuplată cu modele de învățare profundă a permis sisteme inteligente de monitorizare a sănătății, care au potențialul de a clasifica mai multe activități pe baza variațiilor informațiilor privind starea canalului (CSI) ale semnalelor wireless. Este propus primul sistem compatibil 5G care funcționează la 3,75 GHz pentru monitorizarea activităților de la domiciliu din perspectiva sănătatii, pe mai multe subiecte, după cunoștințele autorilor. Sunt clasificate activitățile din viața de zi cu zi efectuate de până la 4 subiecți, în 16 categorii. Sistemul propus combină numărul de subiecte și activitățile desfășurate în diferite clase împreună, rezultând identificarea simultană a numărului de ocupare și a activităților efectuate. Amplitudinile CSI obținute de la 51 de subpurtători ai semnalului wireless sunt procesate și combinate pentru a capta variațiile datorate mișcărilor simultane ale mai multor subiecte. O rețea neuronală convoluțională de deep learning este proiectată și antrenată pe datele CSI pentru a diferenția activitățile cu mai multe subiecte. Sistemul propus oferă o precizie medie ridicată de 91,25% pentru mișcările unui singur subiect și o precizie generală ridicată pentru mai multe clase de 83% pentru 4 subiecți și 16 categorii de clasificare. Sistemul propus poate îndeplini nevoile viitoare de monitorizare a activității sănătății la domiciliu și este o alternativă viabilă pentru monitorizarea sănătății publice și a bunăstării.
Introducere
În ultimii ani, tehnologiile bazate pe 5G, care indică integrarea perfectă a lumii într-un singur sistem, au făcut inovații semnificative în numeroase implementări în lumea reală și au introdus astfel posibilități comerciale semnificative pentru mai multe domenii, cum ar fi sănătatea și conservarea energiei. În domeniul sănătății, 5G creează deja noi oportunități pentru domenii precum imagistica medicală, analiza datelor, îngrijirea vârstnicilor, diagnosticarea și prognosticul datorită latenței sale ultra-scăzute, Massive-Machine Type Communication (mMTC), managementului inteligent și gestionării Big Data 1 . Cu toate acestea, Human Activity Recognition (HAR) a primit o atenție din ce în ce mai mare datorită numeroaselor aplicații în domenii precum securitatea, îngrijirea sănătății și utilizarea inteligentă a resurselor, dar nu a fost introdusă cu tehnologiile bazate pe 5G. HAR și clasificarea nu numai că aduc numeroase beneficii îngrijirii persoanelor vârstnice 2 , 3, dar reprezintă și o cheie de bază în furnizarea de informații adecvate la nivel superior, cum ar fi pozițiile, activitățile, ocuparea și identitățile într-un mediu interior, care pot fi utile pentru îngrijirea sănătății, sursă. utilizarea, securitatea și economisirea energiei.
Riscurile de emisii mari de carbon asupra mediului au crescut nevoia de soluții, în toate domeniile societății, pentru a atinge neutralitatea carbonului. Unul dintre punctele cheie care trebuie luate în considerare este reducerea risipei de energie, adică consumul de energie doar când și dacă este necesar 4 . Sistemele de detectare a prezenței și a activității pot juca un rol vital în acest sens și pot completa cazurile de utilizare a Internetului lucrurilor (IoT) pentru orașele inteligente, cum ar fi înregistratorul de date wireless pentru energie electrică introdus în 5 , pentru a controla sistemele consumatoare de energie în casă, cum ar fi luminile, electrocasnice și așa mai departe.
Mai multe studii din literatură au discutat și evidențiat relația dintre ocuparea clădirii și consumul de energie. De exemplu, un studiu a fost raportat în 6 care arată că consumul de energie prognozat poate fi denaturat cu până la 300% dacă nu s-a luat în considerare ocuparea. Un alt studiu 7 a confirmat acest lucru, arătând că consumul real ar putea fi de până la trei ori mai mare decât simularea și unul dintre factorii care contribuie la acest mare decalaj este comportamentul ocupanților și numărul acestora 8 , 9 . Prin urmare, este corect să spunem că există o corelație puternică între gradul de ocupare și nivelurile de consum de energie 10 , ceea ce constituie un argument convingător pentru sistemele de monitorizare a ocupării și impactul lor pozitiv asupra mediului.
În ultimii ani, atenția față de monitorizarea/detecția fără contact a activității umane a crescut foarte mult și au fost raportate o mulțime de lucrări de cercetare promițătoare în acest domeniu. Monitorizarea/detecția fără contact a activității umane utilizează tehnici precum ultrasunete 11 , vibrații 12 , 13 , 14 , smartphone 15 , radar 16 și detectarea prin radiofrecvență (RF). Principalele dezavantaje ale utilizării sistemelor de detectare cu ultrasunete, vibrații și radar sunt costul și configurarea echipamentelor suplimentare. Utilizarea smartphone-urilor poate fi benefică datorită faptului că dispozitivele mobile cu putere mai mare devin tot mai disponibile, dar nu pot fi considerate complet fără contact, deoarece utilizatorii trebuie să-și poarte dispozitivul tot timpul. Utilizarea senzorului RF abordează aceste dezavantaje, deoarece semnalele RF sunt deja prezente în casă cu utilizarea Wi-Fi și este complet fără contact. Metodele bazate pe detecția RF 17 , 18 câștigă o popularitate considerabilă datorită caracteristicii lor prietenoase cu confidențialitatea și pentru că sunt fără contact în comparație cu sistemele convenționale, fie bazate pe camere sau senzori portabili 19 , 20 , 21 , 22 și, prin urmare, o introducere a 5G. HAR-based și clasificarea vor revoluționa cu siguranță acest domeniu de cercetare.
În general, sistemele HAR existente bazate pe detectarea RF diferă unele de altele pe baza diferiților factori, cum ar fi specificațiile hardware, frecvența radio de operare, tehnicile de clasificare, numărul de activități de monitorizat și numărul de subiecți care efectuează acele activități. Sistemele HAR disponibile fie utilizează Indicatorul de intensitate a semnalului primit (RSSI) 23 , 24 , 25 sau Informația de stare a canalului (CSI) 26 , 27 , 28 , în scopul recunoașterii activității. Cu toate acestea, studii, cum ar fi 29 , sugerează că CSI este mai robust pentru mediile complexe, deoarece CSI este cu granulație fină și este măsurat pe multiplexarea ortogonală cu diviziune în frecvență (OFDM) din fiecare pachet, în timp ce RSSI conține informațiile grosiere care sunt o singură valoare pe fiecare pachet. pachet. Acest lucru face CSI mai stabil pentru a fi utilizat pentru localizare și recunoașterea activității. În plus, datorită progreselor recente, sistemele bazate pe CSI nu necesită ca utilizatorul să poarte dispozitive portabile și nu depind de iluminare. De asemenea, poate detecta comportamentul uman prin perete și situații complexe. Făcându-le o alternativă bună pentru sistemele de recunoaștere bazate pe RSSI.
Recent, multe abordări bazate pe CSI și învățarea automată au fost propuse pentru a detecta și număra cu precizie persoanele dintr-o anumită zonă de acoperire a unei rețele Wi-Fi. De exemplu, în 26 autorii au propus o metodă de recunoaștere a gesturilor multi-utilizator bazată pe Wi-Fi pentru a recunoaște 6 gesturi diferite efectuate de 10 voluntari. O abordare similară bazată pe CSI a fost propusă în 30 pentru numărarea mulțimilor. Ambele studii folosesc 1 transmițător (Tx) și 3 antene de recepție (Rx) și folosesc placa de rețea fără fir Intel. Cu toate acestea, cardul de interfață de rețea (NIC) prezintă de obicei numeroase limitări. De exemplu, transmițătorul utilizat în aceste sisteme trimite un grup de 56 de subpurtători, cu toate acestea, NIC-ul raportează doar 30 de subpurtători, aproape 46% din informațiile pierdute în acest caz. Autorii din 31 exploatează CSI-ul Wi-Fi pentru a detecta activitățile mai multor subiecți. Acest sistem a aplicat un sistem trifazat Wi-multi pentru a recunoaște trei activități diferite efectuate în paralel, inclusiv într-un mediu zgomotos. Au obținut o precizie de aproximativ 96% folosind 2 antene Tx și 3 Rx. Într-un alt studiu 32 , autorii au prezentat o metodă de numărare a mulțimilor bazată pe CSI extras de pe un dispozitiv Wi-Fi cu 2 antene Tx și 3 Rx. Metoda propusă exploatează atât informațiile de amplitudine, cât și de fază ale semnalului CSI pentru a efectua numai numărarea mulțimii și nu se ocupă de recunoașterea activității. Lucrarea prezentată în 33 a folosit date CSI ale dispozitivului Wi-Fi cu 2 antene Tx și 3 Rx pentru a detecta șaisprezece exerciții diferite efectuate de zece subiecți diferiți. Cu toate acestea, autorii nu s-au ocupat de activitățile desfășurate în paralel. 5G a fost folosit în 34 , 35 pentru a detecta ratele respiratorii ale persoanelor care suferă de cetoacidoză diabetică (DKA). Sistemul propus folosește senzorul în bandă C care funcționează la 4,8 GHz. Comunicarea în bandă C este o componentă importantă a comunicației 5G. 4,8 GHz a fost, de asemenea, folosit în munca lui 36 pentru a detecta înghețarea mersului (FOG), care este un model anormal de mers care însoțește boala Parkinson. Această lucrare a folosit spectrul 5G pentru a detecta și clasifica FOG prin detectarea mișcărilor umane. Lucrarea lui 37 a folosit frecvența 5G de 3,45 GHz pentru a detecta prezența umană și viteza de mers folosind senzorul RF.
Scurta prezentare a literaturii, prezentată mai sus, sugerează câteva perspective importante. De exemplu (i) majoritatea studiilor implică date CSI extrase de pe dispozitive Wi-Fi comerciale, cum ar fi NIC-urile, care raportează un număr limitat de subpurtători de date și provoacă o pierdere de informații și, prin urmare, afectează negativ performanța clasificării. Mai mult, NIC-urile sunt utilizate în principal pentru funcții de rețea, prin urmare, fiabilitatea sa poate fi afectată semnificativ dacă a fost utilizată simultan pentru detectare. Prin urmare, pentru a asigura acuratețe și fiabilitate ridicate, această lucrare prezintă un sistem care utilizează dispozitive Universal Software Radio Peripheral (USRP), în care hardware-ul poate fi controlat prin intermediul software-ului, iar parametri precum numărul de subpurtători pot fi controlați și complet utilizate. Platforma USRP permite, de asemenea, modificarea puterii transmise și recepționate și a oscilației frecvenței de operare, prin care sistemul poate fi ușor configurat pentru a funcționa în banda 5G (< 6 GHz). În plus, ușurința în implementarea algoritmilor de procesare a semnalului și capacitatea de a reutiliza hardware-ul încurajează cercetătorii să aleagă dispozitivele USRP pentru aplicațiile lor. (ii) Toate studiile menționate mai sus utilizează mai mult de o antenă Tx și Rx pentru a capta informațiile maxime, în timp ce în această lucrare rezultatele experimentale arată că metoda propusă a obținut performanțe și mai bune în recunoașterea mai multor activități efectuate în paralel cu un Tx și Antena Rx.
Restul acestei lucrări este structurat după cum urmează: În „ Metodologie și cadru ” detaliile metodologiei propuse, instrumentele și aspectele de proiectare experimentală sunt descrise în detaliu; „ Rezultate și discuție ” continuă cu detalii despre experimentele efectuate, rezultatele obținute și discuția lor; iar în final, în „ Concluzii și lucrări viitoare ” lucrarea este încheiată.
Contribuții și motivarea studiului În această lucrare este prezentat un nou sistem de detectare a prezenței și activității activat de 5G, pentru mai mulți subiecți. Sistemul de detectare RF propus a fost conceput pentru a funcționa în banda de frecvență 5G, în special la 3,75 GHz. Scopul final este de a permite încorporarea sistemelor neinvazive de monitorizare a activității la domiciliu bazate pe 5G în comunitatea noastră pentru a maximiza utilizarea oportunităților oferite de 5G și de tehnologiile sale compatibile. Contribuțiile din această lucrare pot fi rezumate la următoarele, cu motivația din spatele fiecăruia descrisă după fiecare punct:
1.
Prezența și detectarea activității mai multor subiecți care desfășoară diferite activități în paralel. Recunoașterea activității pentru un singur subiect a fost foarte explorată de mai multe studii din literatura de specialitate 38 , 39 , 40 , 41 , 42 . Echipa de cercetare care a prezentat această lucrare a condus mai multe studii privind recunoașterea activității folosind radiouri definite de software 43 , 44 , 45 , ceea ce i-a motivat să treacă la nivelul următor și să efectueze unul pentru a explora capacitatea tehnologiei de a face acest lucru pentru mai mulți subiecți. . Prin utilizarea tehnologiei de detectare RF și a Inteligenței Artificiale (AI), este prezentat un singur sistem care poate monitoriza simultan ocuparea, adică număra numărul de persoane dintr-o cameră și poate detecta activitățile paralele ale tuturor subiecților. Contribuția aici are două părți, prima ținând cont de o combinație de trei activități diferite care au loc în paralel, între patru subiecte diferite. În al doilea rând, variația introdusă în datele de antrenament prin introducerea variației intraclase, adică antrenarea sistemului să clasifice aceeași activitate sau combinație de activități desfășurate în diferite poziții în interiorul sălii și de diferiți subiecți de testare, ca aceeași clasă. Acest lucru a fost realizat pentru a consolida modelul de învățare automată și pentru a îmbunătăți acuratețea detectării acestuia.
2.
Detecție activată pentru 5G, adică sistemul de detecție RF propus a fost proiectat să funcționeze în banda 5 G , în special la 3,75 GHz. Din câte cunoștințele autorilor, utilizarea 5 G pentru aplicații de detectare multi-utilizator nu a fost luată în considerare în altă parte în literatură. Motivul și scopul final pentru utilizarea acestei frecvențe este de a utiliza tehnologia 5G cu ratele sale ridicate de date și capabilitățile de latență ultra-scăzută în dezvoltarea activității neinvazive în timp real și a sistemelor de detectare a prezenței pentru locuințe asistate. Mai mult decât atât, constatările primare din experimentele efectuate în această lucrare au arătat că CSI, care reflectă activitățile efectuate de un subiect de testare, surprinse folosind frecvența 5G 3,75 GHz sunt mult mai evidente în model în comparație cu cele capturate la frecvența Wi-Fi. Pentru a confirma acest lucru, configurația experimentală, prezentată mai târziu în „ Metodologie și cadru ”, a fost utilizată pentru a colecta probe CSI la ambele frecvențe pentru „Activitatea în picioare” și pentru „Camera goală” la frecvența Wi-Fi 5.00 GHz . Toate cele trei capturi pot fi găsite în Fig. 1 , unde Fig. 1 a și 1 b, sunt ale unei „Activități permanente” capturate la 5 GHz și, respectiv, 3,75 GHz. În timp ce Fig. 1c , reprezintă o captură a unei „Camere goale”, la 5,00 GHz . Modelul evident din CSI capturat, cum ar fi cel din Fig. 1 b este mai probabil să crească acuratețea clasificării, în comparație cu cel din Fig. 1 a, în special într-un sistem în timp real când sunt capturate cantități masive de date și prelucrate.
3.
Seturile de date colectate pe parcursul experimentelor, prezentate în această lucrare, sunt puse la dispoziția publicului prin intermediul acestui link 46 . Lipsa unui set cuprinzător de date pentru acest tip de activități a motivat echipa de cercetare să facă disponibile datele și să beneficieze comunitatea mai largă cu acest set bogat de date care acoperă o gamă largă de activități. Cercetătorii pot folosi setul de date pentru a aplica diferite tehnici de procesare, pentru a reproduce experimentul și pentru a colecta mai multe date pentru marcare. Setul de date online conține un total de 1777 de eșantioane împărțite în 16 clase, așa cum este detaliat mai târziu în „ Proiectare experimentală ”.
Metodologie și cadru
Această secțiune detaliază metodologia și cadrul adoptat pentru a efectua experimentele și a obține rezultatele raportate. Începe prin prezentarea specificațiilor etapei de proiectare hardware, urmată de o schiță detaliată a etapei de proiectare experimentală, inclusiv variabile experimentale, colectarea datelor, procesarea datelor, instruirea sistemului și testarea. Conceptualizarea sistemului și blocurile principale sunt prezentate în Fig. 2 .
Specificații de proiectare hardware
Experimentele efectuate și raportate în această lucrare au folosit două dispozitive USRP echipate fiecare cu antenă omnidirecțională VERT2450. Un USRP este folosit ca transmițător și al doilea USRP este folosit pentru receptor. Fiecare USRP este conectat la un PC separat care folosește procesoare Intel(R) Core (TM) i7-7700 3,60 GHz și are o memorie RAM de 16 GB. Sistemul folosește mașini virtuale pentru a furniza sistemul de operare Ubuntu 16.04. Pe mașinile virtuale Ubuntu, Gnu Radio este folosit pentru a comunica cu USRP-urile. Gnu Radio permite crearea de diagrame de flux pentru desfășurarea funcției USRP. Aceste diagrame de flux pot fi apoi convertite în scripturi Python. Un script Python este creat pentru a transmite date și un alt script este configurat pentru a primi datele de la transmițător. Transmițătorul transmite numere aleatorii între 0 și 255 folosind OFDM. Partea receptorului este configurată să primească semnalul de transmisie de la transmițătorul USRP. Scriptul a rulat pe partea receptorului apoi trimite numărul complex CSI către terminal. Această ieșire este apoi procesată pentru a extrage valorile amplitudinii din numerele complexe CSI. Principalii parametri de configurare ai sistemului sunt prezentați în Tabelul 1 .
…
Antrenamentul sistemului
Modulul de instruire a sistemului al arhitecturii de clasificare propuse se bazează în principal pe cele trei componente majore (vezi Fig. 4 ): (i) Colectarea datelor, (ii) Procesarea datelor și (iii) CNN 1-D. Achiziția datelor CSI a fost efectuată utilizând configurația prezentată în Fig. 3 . Pentru a pregăti datele CSI capturate pentru clasificarea ulterioară, sarcinile sunt efectuate în modulele de colectare a datelor și, respectiv, de prelucrare a datelor. În timp ce a treia componentă se ocupă de formarea și învățarea modelului CNN 1-D. O discuție detaliată despre fiecare dintre aceste componente este prezentată în secțiunile următoare.
Colectarea datelor Colectarea datelor pentru instruirea propusă a sistemului a implicat cinci pași, în care patru voluntari efectuând fiecare trei activități diferite, „Șezut”, „În picioare” și „Mers” într-un mediu de laborator, cu configurația prezentată în Fig. 3 b. Configurația a fost replicată în două medii diferite de laborator ca mijloc de introducere a diferitelor niveluri de dezordine, ceea ce crește variabilitatea datelor și întărește și mai mult modelul. Cu toate acestea, datele pentru o anumită clasă colectate în ambele medii au fost tratate ca același set de date, adică nivelul dezordinei datorat mediului nu a fost o variabilă măsurată în experimentele efectuate.
…
Activitățile „Șezut” și „În picioare” sunt reprezentări ale acțiunii de a efectua aceste activități și nu postura sau poziția persoanei în starea șezând/în picioare. Mai mult, în timp ce capturau datele de activitate, voluntarii nu au fost stresați sau forțați să mențină partea superioară a corpului nemișcată și statică, astfel încât atât datele despre activitățile „Șezat”, cât și „În picioare” au inclus micile variații ale corpului superior.
În prima etapă de colectare a datelor, datele CSI pentru un singur subiect au fost colectate separat pentru toate cele trei activități, adică „Șezut”, „În picioare” și „Mers”, unde au fost colectate un total de 420 de eșantioane. Pentru a introduce o variație maximă în setul de date, trei subiecți diferiți au participat la această fază de colectare a datelor. Fiecare subiect a contribuit în mod egal la colectarea datelor, adică fiecare participant a fost implicat în colectarea a 140 de eșantioane, împărțite între cele trei clase de activitate. Pentru fiecare mostră de date CSI, sunt transmise 1200 de pachete în trei secunde.
Al doilea pas a implicat colectarea datelor pentru doi subiecți care desfășoară cele trei activități menționate mai sus, unde au fost colectate un total de 400 de eșantioane, așa cum este evidențiat în Tabelul 2 . Aceiași trei participanți au fost implicați în această etapă de colectare a datelor, cu contribuții egale din partea fiecăruia, adică fiecare participant a fost implicat în colectarea a cel puțin 33 de eșantioane pentru fiecare dintre cele patru clase identificate pentru această etapă de colectare a datelor.
În a treia și a patra etapă de colectare a datelor, trei și patru participanți au fost recrutați pentru a participa la colectarea datelor pentru trei și patru subiecți care desfășoară activități, așa cum este prezentat în Tabelul 2 . Participanții recrutați pentru aceste etape de colectare a datelor au fost fixați pe tot parcursul. În acești doi pași, au fost colectate 540 și, respectiv, 300 de eșantioane de date. Pe lângă datele de activitate, au fost colectate 117 eșantioane de date pentru clasa „Gol” care reprezintă starea sălii atunci când subiecții sunt absenți din aceasta. Toate cele 16 clase sunt prezentate în Tabelul 2 . Unele dintre eșantioanele de date reprezentând diferite activități sunt prezentate în Fig. 5 . Variația între clase în eșantioanele de date ale diferitelor clase de activitate este evidentă și poate fi exploatată în procesul de clasificare ulterior pentru a obține rezultate mai bune.
...
Rețeaua neuronală convoluțională 1-D CNN 47 este una dintre cele mai utilizate rețele neuronale profunde (DNN) în scopul clasificării modelelor atât din imaginile 2-D, cât și din semnalele de date 1-D. CNN-uri 1-D care au fost introduse recent și au câștigat multă popularitate în abordarea problemelor de clasificare legate de semnalele 1-D 48 . Motivați de ratele sale mari de acuratețe în aplicațiile de clasificare 49 , în această lucrare, am adoptat și un CNN 1-D cu 19 straturi pentru a recunoaște activitățile umane multiple efectuate de mai mulți subiecți în paralel. Structura CNN 1-D propusă este compusă din 6 blocuri de straturi convoluționale și un bloc de straturi complet conectate. Din cele 6 blocuri de straturi convoluționale, primul bloc conține un strat convoluțional și un strat de pooling, în timp ce fiecare dintre celelalte 5 blocuri conține 3 straturi convoluționale și un strat de pooling. În cele din urmă, blocul de straturi complet conectate conține 3 straturi. Arhitectura completă a rețelei este prezentată în Fig. 7 , în timp ce detaliul diferiților parametri utilizați este prezentat în Tabelul 3 . Odată ce toate datele sunt preprocesate și CNN-ul 1-D este antrenat, modelul antrenat este stocat pentru faza ulterioară de testare pentru a clasifica semnalul CSI de testare primit într-una dintre clasele de activitate.
…
Etică
Studiul actual a fost aprobat de consiliul de etică al Universității din Glasgow (numărul cererii: (300190109). Toate experimentele au fost efectuate în conformitate cu liniile directoare și reglementările relevante și a fost solicitat consimțământul informat de la toți participanții înainte de efectuarea experimentelor.
Rezultate și discuții
Sistemul de monitorizare a activității umane propus a fost evaluat folosind două tipuri diferite de experimente. Primul set de experimente s-a concentrat pe determinarea acurateței sistemului de a număra numărul de persoane care efectuează anumite activități într-o cameră (vezi Fazele 1 și 2 din Tabelul 4 ). În timp ce al doilea set a fost efectuat pentru a măsura acuratețea sistemului în identificarea diferitelor posturi/activități ale mai multor persoane din aceeași cameră. Ambele tipuri de experimente au fost efectuate în cadrul unei strategii de împărțire de tip antrenare și testare, 80% din datele aleatorii au fost considerate date de antrenament, în timp ce restul de 20% au fost luate ca date de testare. În plus, fiecare experiment a fost repetat de 10 ori pentru a obține ratele medii de precizie pentru ambele seturi de experimente. Arhitectura CNN 1-D propusă constă din 100 de epoci și Adamax ca optimizator cu o rată de învățare de 0,001. O discuție detaliată asupra rezultatelor experimentale legate de ambele experimente este dată în următoarele subsecțiuni.
Prezența multi-utilizator
Scopul acestui experiment este de a determina numărul de persoane într-un cadru interior. Experimentul se face în mai multe faze pentru a încorpora treptat diferite activități, așa cum se arată în Tabelul 4 .
În prima fază, experimentul implică doar activitate în picioare efectuată de un număr diferit de subiecți în paralel. Datele sunt împărțite în 5 clase, inclusiv clasa „Gol”, care reprezintă „fără subiect în cameră”, așa cum se arată în Tabelul 4 . Pentru această fază a experimentului, numărul total de eșantioane de date utilizate este de 557, dintre care 80% (adică 445 de eșantioane) sunt selectate aleatoriu pentru a antrena modelul, iar restul de 20% (adică 112 eșantioane) sunt folosite pentru a testa sistemul. .
A doua fază implică doar datele privind activitatea de șezut ale tuturor subiecților. Din nou, numărul total de eșantioane este de 557, iar datele sunt împărțite în 5 clase, 4 clase de activitate în șezut și 1 clasă „Gol”.
În cea de-a treia fază, datele privind activitatea stând și în picioare pentru fiecare număr de subiecți sunt îmbinate pentru a forma cele 4 clase de activitate și 1 clasă „Gol”. Prin urmare, numărul total de eșantioane de date devine 1417 din care 80% (adică 1133 eșantioane) sunt utilizate pentru a antrena sistemul, în timp ce restul de 20% (adică 284) eșantioane sunt utilizate în scopul testării. Aceste date includ și datele pentru activități mixte, cum ar fi un subiect stând și unul în picioare.
În mod similar, în cea de-a patra fază, datele de șezut, în picioare și mers sunt utilizate împreună pentru a face 4 clase de activitate plus 1 clasă „Gol”. În această fază, numărul total de eșantioane de date utilizate este de 1777 (1421 de eșantioane de antrenament și 356 de eșantioane de testare). Aceste date includ, de asemenea, date de activitate mixtă, așa cum s-a descris anterior.
Preciziile procentuale medii de clasificare pentru toate fazele din toate cele 10 repetări ale fiecărui experiment sunt prezentate în graficul cu bare din Fig. 8 . Se observă că, în general, sistemul propus funcționează bine pentru toate cazurile. Cu toate acestea, funcționează mai bine atunci când activitățile stând și în picioare (Faza-1 și Faza-2) sunt utilizate separat pentru a forma clasele de activități. În timp ce datorită creșterii variației intraclasă și scăderii variației între clase, atunci când activitățile stând și stând în picioare sunt îmbinate în Faza-3 și o nouă activitate „mersul” este introdusă împreună cu celelalte activități mixte în Faza-4 , precizia generală arată o scădere.
O analiză suplimentară a matricelor de confuzie, prezentată în Fig. 9 , dezvăluie că clasificările greșite maxime se datorează clasei cu 3 subiecte sau clasei cu 4 subiecte. Acest lucru se poate datora mai multor subiecți într-un spațiu relativ mai mic, care provoacă mai mult zgomot în datele USRP. Performanța poate fi îmbunătățită în continuare prin schimbarea mediului experimental. În acest experiment, scopul este de a clasifica activitatea umană într-una dintre cele 16 clase prezentate în Tabelul 2 . Pentru acest experiment, se utilizează 80-20% de validare și toate cele 1777 de eșantioane de date sunt împărțite în date de antrenament (80%) și de testare (20%), iar experimentul se repetă de 10 ori pentru a obține rezultatele medii de performanță. Procentul mediu de precizie pentru toate cele 10 repetări este de 79,5% (± 2,6), ceea ce este foarte promițător, având în vedere un număr mare de clase și o mulțime de variații în cadrul datelor. Figura 10 prezintă matricea de confuzie normalizată cu cea mai mare acuratețe, care este de 83% pentru experimentul de recunoaștere a activității. Aici, numerele reprezintă cele 16 clase date în Tabelul 2 , respectiv.1,2,…,16
Recunoașterea activității
Se poate observa în matricea de confuzie normalizată dată că, în general, performanța de clasificare este bună pentru majoritatea activităților, cu excepția câtorva clase. Matricea de confuzie normalizată oferă cea mai mare precizie pentru gol (clasa 1), 1 subiect stând (clasa 2) și 1 subiect mers (clasa 4) de 100%, 90% și, respectiv, 93%. Cu toate acestea, există o asemănare în variațiile CSI în activitățile de șezut și în picioare, deoarece acestea sunt mișcări similare. Totuși, 1 subiect în picioare a fost clasificat greșit ca fiind în picioare în 14% dintre eșantioane, rezultând o precizie mai mică de 82%. În general, după cum era de așteptat, activitățile cu 1 subiect oferă acuratețe mai mari datorită variațiilor mai mici ale datelor CSI în comparație cu activitățile cu mai multe subiecte.
În cazul cu mai multe subiecte, unele activități au modele similare și sunt greu de diferențiat, cum ar fi „1 așezat + 1 în picioare” (clasa 5), „2 stând” (clasa 7) și „2 în picioare” (clasa 8). Deoarece mișcările stând și în picioare duc la mișcări destul de asemănătoare, fie că se mișcă în sus sau în jos. De asemenea, „1 așezat + 1 în picioare” are cel puțin 1 subiect care efectuează o mișcare similară cu „2 așezat” și „2 în picioare”, rezultând o rată de clasificare greșită de 15% și 10% a activității „1 așezat + 1 în picioare” ca „2 așezat”. și, respectiv, „2 în picioare”.
Mai mult, „1 mers + 1 șezut” (clasa 6) și „1 mers + 2 șezut” (clasa 10) au ca rezultat o rată de clasificare greșită mai mare între cele două activități cu precizie de 80%, respectiv 75%. După cum se ilustrează în matricea de confuzie, 21% din activitatea „1 mers + 2 stând” este clasificată greșit ca „1 mers + 1 șezut” și 15% din activitatea „1 mers + 1 șezut” este clasificată greșit ca activitate „1 mers + 2 stând” rezultând în scăderea preciziei clasei respective. În mod similar, „2 așezați + 1 în picioare” (clasa 11) și „3 șezați” (clasa 12) seamănă între ele datorită acelorași activități desfășurate de cel puțin doi subiecți. În plus, statul în picioare, așa cum s-a menționat mai sus, este destul de asemănător cu statul în termeni de mișcare similară, ceea ce duce la o clasificare greșită de 20% a eșantioanelor din clasa 11 ca clasa 12. De asemenea, există modele CSI similare între „4 așezat” și „2 așezat + 2 în picioare”.
Datorită motivelor menționate mai sus și a mai multor clase care desfășoară activități în șezut și în picioare cu un număr diferit de materii, clasa 5 care reprezintă două subiecte (1 șezând și 1 în picioare) și clasa 11 care reprezintă trei subiecte (1 șezând și 2 în picioare) oferă cele mai mici rate de precizie de 60% și, respectiv, 50% în modelul nostru de clasificare a învățării profunde.
Concluzii și lucrări viitoare
În această lucrare, a fost prezentat un nou sistem de detectare RF fără contact, activat pentru 5G, pentru a monitoriza prezența umană și pentru a detecta activitatea paralelă a mai multor utilizatori folosind semnale CSI. Frecvența de funcționare a sistemului a fost de 3,75 GHz, care se încadrează în banda de 3,4 până la 3,8 GHz a 5G și, după cunoștințele autorului, niciun alt studiu nu a implementat până acum 5G-sensing. Ideea principală a lucrării a fost de a prezenta un sistem non-invaziv bazat pe senzor 5G, care este capabil să detecteze prezența și activitățile mai multor utilizatori în aceeași cameră. În plus, rezultatele prezentate mai devreme în lucrare au arătat că, combinând tehnologia de detectare RF cu algoritmi standard de învățare automată, cum ar fi CNN, este posibilă detectarea diferitelor activități umane, inclusiv numărarea numărului de persoane din cameră cu o precizie ridicată. Sistemul a fost testat pentru a-și evalua capacitatea de numărare, precum și pentru a detecta activități paralele între un număr variabil de subiecți, adică între 0 și 4, așa cum se subliniază în „ Prezența multi-utilizator”, respectiv. Experimentul de numărare a subiecților a raportat rezultate de mare acuratețe între aproximativ 86% și 95%, acuratețea scăzând odată cu creșterea variațiilor între clase. Pe de altă parte, experimentul de recunoaștere a activității a raportat o acuratețe de aproximativ 80% în recunoașterea mai multor activități efectuate între toți subiecții de testare. Acuratețea raportată în experimentul de recunoaștere a activității a fost foarte influențată de variația intra-clasă introdusă în date. cu toate acestea, variația a fost introdusă pentru a instrui sistemul cu privire la combinația maximă posibilă de activități de intrare, pentru a imita un scenariu din viața reală. Rezultatele obținute în această lucrare sunt promițătoare și au un potențial ridicat de îmbunătățire prin colectarea mai multor date și implementarea diferiților algoritmi de învățare. În plus, întrucât obiectivul principal al acestei lucrări este de a arăta semnificația și eficacitatea detecției 5G în capturarea variațiilor datelor CSI cauzate de activitățile umane, prin urmare lucrarea se concentrează în prezent pe un cadru mic, cum ar fi camerele dintr-o casă de îngrijire, cu patru persoane care desfășoară trei activități majore și comune și anume „Șezut”, „În picioare” și „Mers”. În viitor, scopul este să-l extindă pentru a acoperi cea mai mare parte a spectrului activității umane efectuate de un grup mai mare în mai multe camere. Mai mult, implementarea actuală a sistemului propus se bazează pe o pereche de antene emițător/receptor și oferă performanțe mai bune în comparație cu majoritatea lucrărilor existente în care au fost utilizate mai mult de o antenă emițător și receptor în același scop. Mai mult, și având în vedere că sistemul actual este o dovadă de concept cu accent pe arătarea semnificației și eficacității benzii de frecvență 5G în capturarea variației datelor CSI, în viitor vor fi efectuate experimente pentru a evalua impactul numărului de camere față de numărul de camere. antene emițător/receptor privind performanța sistemului propus, precum și diferite înălțimi și poziții pentru dispozitivele emițător și receptor. În plus, și după cum sa menționat mai devreme, setul de date utilizat pentru a obține rezultatele raportate anterior este pus la dispoziția publicului, la 46 , pentru a încuraja alți cercetători și comunitățile mai largi să ducă acest sistem un pas mai departe.
Referințe
West, DM Cum tehnologia 5g permite internetul lucrurilor pentru sănătate. Brookings Center Technol. Innov. 3 , 1–20 (2016).
Cook, DJ, Schmitter-Edgecombe, M. & Dawadi, P. Analizarea comportamentului activității și a mișcării într-un mediu naturalist folosind tehnici de casă inteligentă. IEEE J. Biomed. Sănătate Informare. 19 , 1882–1892 (2015).
Dehbandi, B. et al. Utilizarea datelor de la Microsoft Kinect 2 pentru a determina stabilitatea posturală la subiecții sănătoși: un studiu de fezabilitate. PLoS ONE 12 , e0170890 (2017).
Taha, A., Wu, R., Emeakaroha, A. & Krabicka, J. Reducerea costurilor cu electricitatea în NHS medway prin inducerea unui comportament pro-mediu folosind tehnologia persuasivă. Orașele Viitorului Mediu. 4 , 1–10. https://doi.org/10.5334/fce.46 (2018).
Barakat, B. şi colab. Oportunități 6G care decurg din cazurile de utilizare a internetului lucrurilor: o lucrare de revizuire. Internetul viitor 13 , 1–12. https://doi.org/10.3390/fi13060159 (2021).
Taha, A. şi colab. Proiectarea unei unități de monitorizare a ocupării: O soluție de numărare a persoanelor bazată pe termoviziune pentru sisteme socio-tehnice de economisire a energiei din spitale. În 2019 11th Computer Science and Electronic Engineering (CEEC) , 1–6, https://doi.org/10.1109/CEEC47804.2019.8974311 (2019).
Fabi, V., Andersen, RV, Corgnati, SP & Olesen, BW O metodologie pentru modelarea comportamentului uman legat de energie: Aplicație la comportamentul de deschidere a ferestrelor în clădiri rezidențiale. Construi. Simul. 6 , 415–427. https://doi.org/10.1007/s12273-013-0119-6 (2013).
Calì, D., Osterhage, T., Streblow, R. & Müller, D. Diferența de performanță energetică în locuințele germane renovate: lecție învățată dintr-un test de teren. Construire de energie. 127 , 1146–1158. https://doi.org/10.1016/J.ENBUILD.2016.05.020 (2016).
Andersen, RV, Toftum, J., Andersen, KK și Olesen, BW Sondaj privind comportamentul ocupanților și controlul mediului interior în locuințele daneze. Construire de energie. 41 (1), 11–16. https://doi.org/10.1016/j.enbuild.2008.07.004 (2009)
Martinaitis, V., Zavadskas, EK, Motuziene, V. & Vilutiene, T. Importanța informațiilor despre ocupare atunci când se simulează cererea de energie a unei case eficiente energetic: un studiu de caz. Construire de energie. https://doi.org/10.1016/j.enbuild.2015.04.031 (2015).
Caicedo, D., Pandharipande, A., & Willems, FMJ Analiza performanței de detectare a unui senzor de prezență cu ultrasunete. În 2013, IEEE International Conference on Acoustics, Speech and Signal Processing , 2780–2784. https://doi.org/10.1109/ICASSP.2013.6638163 (2013).
Pan, S. şi colab. Footprintid: Identificarea pietonilor din interior prin detectarea vibrațiilor structurale ambientale. Proc. ACM Interact. Mobile Wearable Ubicuous Technol. 1 , 1–31 (2017).
Poston, JD şi colab. Către localizarea în interior a pietonilor prin intermediul senzorului inteligent al vibrațiilor clădirii. În 2015 Conferința internațională privind localizarea și GNSS (ICL-GNSS) , 1–6. https://doi.org/10.1109/ICL-GNSS.2015.7217137 (2015).
Pan, S. şi colab. Recunoaștere fină a activităților vieții de zi cu zi prin vibrații structurale și detecție electrică. În Proceedings of the 6th ACM International Conference on Systems for Energy-Efficient Buildings, Citys, and Transportation , 149–158. https://doi.org/10.1145/3360322.3360851 (2019).
Gani, MO şi colab. Un sistem ușor de recunoaștere a activității umane, bazat pe smartphone, cu precizie ridicată. J. Netw. Calculator. Appl. 141 , 59–72. https://doi.org/10.1016/j.jnca.2019.05.001 (2019).
Taylor, W. şi colab. Detecție radar pentru clasificarea activităților la persoanele în vârstă care exploatează semnăturile micro-doppler folosind învățarea automată. Senzori 21 , 3881 (2021).
Scholz, M., Sigg, S., Schmidkte, HR și Beigl, M., Provocări pentru recunoașterea activității bazate pe radio fără dispozitiv. În Proceedings of the 3rd Workshop on Context Systems Design Evaluation and Optimization (CoSDEO) (2011).
Woyach, K., Puccinelli, D. și Haenggi, M. Senzori fără senzor în rețelele fără fir: implementare și măsurători. În 2006, al 4-lea Simpozion Internațional de Modelare și Optimizare în Rețelele Mobile, Ad Hoc și Wireless , 1–8. https://doi.org/10.1109/WIOPT.2006.1666495 (2006).
Aggarwal, JK & Ryoo, MS Analiza activității umane: o revizuire. ACM Comput. Surv. 43 , 1–43 (2011).
Han, S. & Lee, S. Un cadru de captare și recunoaștere a mișcării bazat pe viziune pentru managementul siguranței bazat pe comportament. Autom. Construi. 35 , 131–141 (2013).
Ertin, E. şi colab. AutoSense: suită de senzori purtători discret pentru a deduce debutul, cauzalitatea și consecințele stresului în teren. În SenSys 2011 - Proceedings of the 9th ACM Conference on Embedded Networked Sensor Systems , 274–287. https://doi.org/10.1145/2070942.2070970 (2011).
Yatani, K., & Truong, KN BodyScope: Un senzor acustic purtabil pentru recunoașterea activității. În Proceedings of the 2012 ACM Conference on Ubiquitous Computing , 341–350. https://doi.org/10.1145/2370216.2370269 (2012).
Xu, C. şi colab. SCPL: Numărarea și localizarea mai multor subiecte fără dispozitive de interior folosind puterea semnalului radio. În 2013, ACM/IEEE International Conference on Information Processing in Sensor Networks (IPSN) , 79–90. https://doi.org/10.1145/2461381.2461394 (2013).
Depatla, S., Muralidharan, A. & Mostofi, Y. Estimarea ocupării utilizând numai măsurători de putere wifi. IEEE J. Selectați. Zone Comun. 33 , 1381–1393 (2015).
Wu, F.-J. și Solmaz, G. Vă auzim activitățile prin semnale Wi-Fi. În 2016 IEEE 3rd World Forum on Internet of Things (WF-IoT) , 251–256. https://doi.org/10.1109/WF-IoT.2016.7845478 (2016).
Venkatnarayan, RH, Page, G. și Shahzad, M. Recunoașterea gesturilor cu mai mulți utilizatori folosind WiFi. În Proceedings of the 16th Annual International Conference on Mobile Systems, Applications, and Services , 401–413. https://doi.org/10.1145/3210240.3210335 (2018).
Tan, S., Zhang, L., Wang, Z. și Yang, J. MultiTrack: Urmărirea multi-utilizator și recunoașterea activității folosind WiFi-ul de marfă. În Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems , 1–12. Asociația pentru Mașini de Calcul. https://doi.org/10.1145/3290605.3300766 (2019).
Li, Q. şi colab. Recunoașterea activității multi-utilizator: provocări și oportunități. Inf. Fusion 63 , 121–135 (2020).
Yang, Z., Zhou, Z. & Liu, Y. De la rssi la csi: localizare în interior prin răspunsul canalului. ACM Comput. Surv. 46 , 1–32 (2013).
Xi, W., Zhao, J., Li, X.-Y., Zhao, K., Tang, S., Liu, X. și Jiang, Z. Electronic frog eye: Counting crowd using WiFi. În IEEE INFOCOM 2014 - IEEE Conference on Computer Communications , 361–369. https://doi.org/10.1109/INFOCOM.2014.6847958 (2014).
Feng, C., Arshad, S., Zhou, S., Cao, D. & Liu, Y. Wi-multi: Un sistem trifazic pentru recunoașterea activității umane multiple cu dispozitive wifi comerciale. IEEE Internet Things J. 6 , 7293–7304 (2019).
Li, J., Tu, P., Wang, H., Wang, K. & Yu, L. O nouă metodă de numărare fără dispozitiv, bazată pe informațiile despre starea canalului. Senzori 18 , 3981 (2018).
Guo, L. şi colab. Wiar: Un set de date publice pentru recunoașterea activității bazate pe wifi. IEEE Access 7 , 154935–154945 (2019).
Yang, X., Fan, D., Ren, A., Zhao, N. și Alam, M. Sensing centrat pe utilizator pe baza 5g la banda c. IEEE Trans. Ind. Inf. 15 , 3040–3047 (2019).
Haider, D. şi colab. Folosind un spectru de 5 g pentru îngrijirea sănătății pentru a detecta tremorurile și activitatea respiratorie pentru scleroza multiplă. Trans. Emerg. Telecomun. Tehnol. 29 , e3454 (2018).
Tahir, A. şi colab. Wifreeze: Scalograme multirezoluție pentru înghețarea detectării mersului în boala Parkinson, utilizând spectrul de 5 g cu învățare profundă. Electronics 8 , 1433 (2019).
Gholampooryazdi, B. și Sigg, S. Recunoașterea vitezei de mers din sistemul prototipului 5G. În 2017, IEEE International Conference on Pervasive Computing and Communications Workshops (ateliere PerCom) , 34–37. https://doi.org/10.1109/PERCOMW.2017.7917515 (2017).
Wang, Y. şi colab. E-Eyes: identificarea activității orientată către locație fără dispozitiv, folosind semnături WiFi cu granulație fină. În Proceedings of the 20th Annual International Conference on Mobile Computing and Networking , 617–628. https://doi.org/10.1145/2639108.2639143 (2014).
Wang, S. & Zhou, G. O revizuire a recunoașterii activității bazate pe radio. Sapă. comun. Netw. 1 , 20–29. https://doi.org/10.1016/j.dcan.2015.02.006 (2015).
Adib, F. & Katabi, D. Vedeți prin pereți cu wifi!. SIGCOMM Comput. comun. Apoc. 43 , 75–86. https://doi.org/10.1145/2534169.2486039 (2013).
Adib, F. și Katabi, D. (2013). Vedeți prin pereți cu WiFi! În Proceedings of the ACM SIGCOMM 2013 Conference on SIGCOMM , 75–86. https://doi.org/10.1145/2486001.2486039 (2013).
Pu, Q., Gupta, S., Gollakota, S. și Patel, S. Recunoașterea gesturilor pentru întreaga casă folosind semnale wireless. În Proceedings of the 19th Annual International Conference on Mobile Computing & Networking , 27–38. https://doi.org/10.1145/2500423.2500436 (2013).
Taylor, W. şi colab. Un sistem inteligent non-invaziv de recunoaștere a activității umane în timp real pentru asistența medicală de ultimă generație. Senzori https://doi.org/10.3390/s20092653 (2020).
Ashleibta, AM, Zahid, A., Shah, SA, Abbasi, QH & Imran, MA Banc de testare bazat pe radio definit de software flexibil și scalabil pentru mișcarea corpului la scară largă. Electronică https://doi.org/10.3390/electronics9091354 (2020).
Abbasi, QH, Abbas, HT, Alomainy, A. & Imran, MA Backscattering și RF Sensing for Future Wireless Communication (Wiley, 2021).
Ashleibta, AMA, Taha, A., Taylor, W., Imran, M. & Abbasi, Q. Detectarea prezenței și activității multi-utilizator fără contact cu 5g pentru viață asistată independentă. Res. Date https://doi.org/10.5525/gla.researchdata.1151 (2021).
Krizhevsky, A., Sutskever, I. & Hinton, GE Clasificare Imagenet cu rețele neuronale convoluționale profunde. Adv. Neural Inf. Proces. Syst. 25 , 1097–1105 (2012).
Azodolmolky, S. şi colab. Demonstrarea experimentală a unui instrument de planificare și operare a rețelei conștient de deficiențe pentru rețele optice transparente/translucide. J. Lightwave Technol. 29 , 439–448 (2010).
Kiranyaz, S. şi colab. 1d rețele neuronale convoluționale și aplicații: un sondaj. Mech. Syst. Procesul semnalului. 151 , 107398 (2021).
Daca va trebuie, mai gasesc 50 de studii, dupa ce le citim pe astea.