Jedním z klíčových úkolů v naší moderní společnosti je vytvoření a poskytování bezpečné dopravní infrastruktury. Správci odpovídající za tuto infrastrukturu musejí dodržovat předpisy, které vyžadují, aby byly velké infrastrukturní celky periodicky kontrolovány na možné poškození a aby se toto zjistilo dříve, než se to stane bezpečnostním rizikem. Použitím nových technologií lze provést objektivnější a rychlejší kontrolu konstrukcí, a to za nižší cenu.
Při standardní kontrole konstrukcí cestuje stavební technik se speciální kvalifikací k objektu, aby jej na místě zkontroloval. Připraví si poznámky, náčrtky a fotografie pro následnou zprávu. Tito inspektoři se mnohdy musejí dostat na obtížně přístupná místa pomocí zvláštní těžké inspekční techniky. Během takového testu nelze objekt používat buď vůbec, nebo jen částečně, což má za následek přerušení nebo zdržení dopravy, dopravní zácpy a tím i značné náklady z důvodů nedostupnosti takové části infrastruktury.
V posledních letech se stále častěji objevují postupy využívající ke kontrole konstrukcí dronů. Tyto postupy jsou omezeny na vizuální kontrolu vytvořených optických snímků.
Aby se dosáhlo nejvyšší možné úrovně automatizace, vlastní zkouška se již neprovádí na reál-ném objektu, nýbrž na digitálním dvojčeti dané konstrukce. Vyhodnocení poškození a hlášení se provádějí automaticky.
Kontroly staveb dopravní infrastruktury
Stavební konstrukce musí splňovat požadavky, pokud jde o jejich periodické kontroly prováděné v co nejpravidelnějších intervalech. Ve všech průmyslových zemích existují v této souvislosti zákony a nařízení. Např. v Německu to jsou DIN 1076 a RI-EBW-Prüf a v Rakousku jsou to dokumenty RVS řady 13.03.XX a dokument 06.01.02 údržba//plán údržby společnosti ÖBB Infrastruktur AG.
V tomto pojednání je předložena koncepce a implementace pilotního projektu týkajícího se použití inovativních technologií při inspekci konstrukcí. Servisní podpora na bázi bezpilotních leteckých prostředků (UAV – Unmanned Aerial Vehicles, tj. dronů) a dalších platforem, jakož i technologií digitálního zpracování obrazu, zejména metod umělé inteligence, by měly být dány k dispozici pro kontrolu stavebních konstrukcí. Cílem je zajistit konkretizovanou a pochopitelnou detekci poškození, a to při minimalizaci nákladově náročného procesu (uzavírka silnic, uzavírka pro nákladní dopravu, inspekční jednotky pohybující se pod mostní konstrukcí atd.).
Jako vedlejší produkt aplikace těchto technologií a postupů je vytvořeno digitální dvojče dané reálné konstrukce, které lze rovněž použít pro další aplikace, např. pro digitalizaci existující konstrukce, BIM modely skutečného provedení, řízení postupu konstrukce, plánování údržby apod.
Využití pro správce infrastruktury
Během vývoje koncepce pilotního projektu se účastníci věnovali základním úvahám týkajícím se použití UAV v procesu kontroly konstrukce. Očekávané výhody této technologie jsou shrnuty v následujícím textu.
Výhody
Sběr dat
– Rychlé, bezpečné a kompletní zachycení objektů.
– Účinná kontrola (inspekce) těžko dostupných konstrukcí (jako jsou velké viadukty).
– Minimální nebo dokonce žádná provozní omezení v průběhu inspekce (zejména pokud není nutné létat přímo nad místem, kde probíhá provoz).
– Omezení provozu, jsou-li požadována, mohou být významně zkrácena díky menším časovým nárokům kontroly.
– Úplný záznam a přesná lokalizace dat týkajících se stavu konstrukce.
Vyhodnocení dat
– Na automatizaci založená, konkretizovaná a kompletní klasifikace poškození konstrukce.
– Na místě výskytu nezávislé vizuální vyhodnocení stavu konstrukce experty na základě dat získaných pozorováním ze vzduchu.
– Georeferenční posouzení získaných dat s možností vyhodnocení na základě dat odvozených od polohy, a to skrze dočasné změny poškozených oblastí konstrukce, anomálie apod.
– Bezpečná a poloautomatická detekce a kvantifikace změn stavu a poškození, a to periodickými prohlídkami konstrukce.
– Objektivní a opakovatelná detekce poškození.
Vizualizace a dokumentace dat
– Pracovní základna pro klienta, nezávislé zkušební techniky a pro účtování základních prostředků.
– Softwarově nezávislé web-GIS mapování a přísun BIM dat.
– Strukturované archivování a možnosti vyhledávání dat o existující konstrukci a dat o stavu konstrukce.
– Rozhraní pro integraci dat pro plánování.
– Použití trojrozměrné prezentace konstrukce jako plánovací základny pro nezbytná opatření týkající se renovace a údržby.
– Snadná tvorba přesných plánů konstrukce ze získaných výsledků.
– Neomezená (nebo klientem definovaná) skupina uživatelů.
– Data představují základ pro řízení životního cyklu.
Inovace a další rozvoj
Pořizování dat – Pořizování záznamu konstrukcí s nulovým či jen minimálním dopadem na jejich používání v momentě záznamu se provádí optickými a multispektrálními snímači s přesností dostatečnou k jasnému vyhodnocení i k jiným plánovaným úlohám. Získané informace se kombinují tak, aby vytvořily trojrozměrný digitální obraz dané konstrukce s použitím fotogrammetrických metod. Tento trojrozměrný model vytváří základ pro další plánované úkoly.
Informace získané při pořizování dat jsou georeferenční. Veškeré informace týkající se stavu dané konstrukce mohou být jasně a kontinuálně přiřazovány ke konkrétním pozicím. Je tak možné vytvořit hodnocení současného vývoje stavu konstrukce.
Vyhodnocování dat – Editování informací o stavu konstrukce. Nástroje k editaci zobrazení a k analýze se automaticky používají ke zjišťování stavu konstrukce. Vedle vizuálně zjistitelných poškození konstrukce (např. změna barvy, praskliny, geometrické anomálie, které umožňují usuzovat na průnik vody, růst mechu, odloupávání betonu nebo sulfátovou degradaci betonu apod.) může být fyzický stav materiálu také vyhodnocován z informací získaných multispektrálními metodami. Dodatečná komprese dat týkajících se místního stavu konstrukce se může provádět na základě přesně lokalizovaných informací získávaných dalšími fyzikálně-chemickými snímači/analýzami.
Vizualizace a řízení dat – Finální produkt přístupný pro klienta prostřednictvím web-GIS nezávislého softwaru může být jako modul integrován do existujících databází pro správu konstrukce pomocí linků nebo jako samostatný modul. Systém autorizace zajišťuje kontrolu dostupnosti informací dle konstrukce, a tím i důvěrnost dat.
Úvodní stránka web-GIS umožňuje klientovi zvolit si požadovanou konstrukci s podobnou funkčností jako Google Maps. Kliknutím na konstrukci zobrazenou jako objekt umístěný na mapě se otevře trojrozměrné fotorealistické zobrazení, které lze zvětšovat (přibližovat/vzdalovat) a otáčet ve třech dimenzích.
Na zaznamenaném nebo automaticky vytvořeném záznamu, jako jsou fotografie s defekty, se mohou uplatnit filtrační funkce (časový filtr, vrstva) nebo kliknutím na odpovídající pozici na 3D objektu z podkladové databáze a zhodnoceny expertně/komentovaně/kategorizačně (tagged – s příznakem). Příslušná informace je rovněž uložena v podkladové databázi a lze ji vyhledat strukturovaným způsobem s použitím filtračních funkcí.
Cíle pilotního projektu
Pilotní projekt byl uskutečněn v průběhu společného výzkumného projektu s ÖBB. Hlavním cílem tohoto pilotního projektu bylo vyhodnocení rozsahu, v němž může být inspekční proces u ÖBB podpořen použitím UAV (dronů) na reálném mostním objektu – mostu Falkensteinbrücke. V průběhu tohoto projektu se uskutečnila demonstrace pořizování dat pomocí UAV.
Popis techniky a metody použité v pilotním projektu
Dron
Jako nosná platforma byla použita moderní multikoptéra. Volba leteckého bezpilotního prostředku je založena na zvolených palubních snímačích (kamerách). Řízení letu dronu se provádí automaticky, poloautomaticky nebo ručně v závislosti na situaci. Soulad trajektorie s plánem letu se primárně dosahuje použitím GPS-RTK a pomocí snímačů vzdálenosti. Zejména v omezených prostorech (např. pod mostní konstrukcí, mezi pilíři) se stabilní letové podmínky doplňkově zajišťují přímým ovládáním pilotem.
Plánování letu a průzkum ze vzduchu
Pro vytvoření přesného 3D modelu založeného na fotografiích je nezbytné získat snímky obsahující co nejvíce informací. Proto hraje klíčovou roli přesné plánování letu. Plánování letu pro průzkum mostu ze vzduchu se může provést dvěma způsoby – s využitím již dříve provedeného 3D plánovaného letu, nebo plánováním letu na místě v terénu. Volba metody závisí na dostupných údajích, které se mohou lišit vzhledem k pracovnímu zatížení. K 3D plánování letu je nezbytný již existující 3D model. Ten umožní průzkum ze vzduchu poloautomatizovat a identifikovat kritické body, jakož i místa vzletů a přistání, a to předem v kanceláři. Jestliže 3D model není k dispozici, postupuje se následovně: nejprve se provede ručně řízený hrubý let, potom se naplánuje 3D let a nakonec se provede vlastní let s měřením. V tomto případě se musí plánování letu provést v terénu. Jen tímto způsobem je možné identifikovat kritická místa, jakož i stanovit místo vzletu a přistání předtím, než se let uskuteční.
Snímače
Ústřední snímač na palubě dronu je kamera pracující s vysokým rozlišením pro záznam v rozsahu RGB. Objektivy s pevnou ohniskovou vzdáleností s nejvyšší možnou světelností jsou kalibrovány před použitím a po použití. RGB kamera reprodukuje vše, co vidí lidské oko. Je třeba vzít v úvahu heterogenní světelné podmínky (přirozené světlo), což se týká použití fotoblesku nebo osvětlení pro nahrávání videa a odpovídající implementaci v kontextu vývoje, na nějž je práce zaměřena. Lze se vyhnout přímému slunečnímu záření a ostrým stínům tím, že se let naplánuje na den s mírně zataženou oblohou.
Zpracování obrazu a programové vybavení pro vyhodnocení
3D model mostu je založen na zaznamenaných snímcích. K tomuto účelu se používá programové vybavení pro fotogrammetrické vyhodnocení. S použitím algoritmů pro nastavení svazku se dosahuje přesné vzájemné orientace snímků. Tento proces je podporován použitím pregeodeticky zaměřených kontrolních bodů. A dále, správného prostorového umístění objektu v nadřazeném souřadnicovém referenčním systému se dosahuje pomocí těchto kontrolních bodů. Výstupem fotogrammetrického vyhodnocení jsou 3D data pro vizualizaci, jakož i přesně umístěné a korigované snímky jako základ pro detekci poškození betonu.
Detekce poškození konstrukce na jednotlivých snímcích se provádí s použitím metod umělé inteligence. Za tímto účelem se používá plně automatizovaný software založený na tzv. neurální síti.
3D vizualizace
Na základě dat získaných ze vzdušného průzkumu (data vztažená k bodům a fotografie ze vzduchu) s pomocí plánů týkajících se stavu konstrukce a informací o mostním objektu získaných od klienta se vytvářejí 3D modely pro vizualizaci konstrukce. Vizualizace obsahuje jednak vytvoření fotorealistického modelu z dat ze vzdušného průzkumu a jednak vytvoření 3D aproximačního modelu mostu jako BIM modelu. Vizualizace se vytvářejí softwarově nezávislým způsobem přes síťové prohlížeče. Vizualizace se vyhledává přes web-GIS sloužící k lokalizaci dat databáze procesu. Přístup na web-GIS je rovněž softwarově nezávislý přes vyhledávací rutinu sítě. Web-GIS má oprávnění k řízení, což umožňuje sdílet data a věnovat přitom pozornost různým hierarchickým úrovním organizace. Data mohou být k dispozici široké základně uživatelů prostřednictvím webových služeb. Uživatel může používat veškerou funkčnost web-GIS a 3D zobrazovače, a to bez speciálního programového vybavení. A vedle vizualizace testovaného objektu se web-GIS může použít rovněž k uložení strukturovaných dat. Vedle lokalizace informací (fotografie poškození, zkušební zprávy, …)
se informace může ukládat strukturovaným způsobem s možností filtrování a snadným vyhledáváním dle přiřazených příznaků a pomocí informace časového filtru.
Detekce poškození betonu
Detekce poškození betonu probíhá na základě snímků pořízených palubním snímačem. K tomu se používá programové vybavení k vyhodnocování obrazu a rozpoznávání vzorce. Jednotlivé pixely fotografického snímku se rozdělí do různých tříd na základě vlastností týkajících se jejich absorpce a odrazu. Oblasti se známými spektrálními vlastnostmi se označí předem a potom se používají jako referenční. S použitím algoritmů strojového učení se tento proces může automatizovat s tím, jak se počet zpracovávaných záznamů zvyšuje.
Zjištěné vady zahrnují např. změnu barvy, odloupávání, obnažení ocelové výztuže, výskyt mechu, praskliny, deformace, známky koroze atd. Vedle detekce se stanovuje i přesné místo výskytu daných vad. Praskliny v betonu jsou klasifikovány dle své délky a šířky.
Stanovení vlhkosti betonu
Vlhkost betonu se stanovuje v blízké infračervené oblasti při vlnové délce kolem 970 nm. Výsledky současného vlastního výzkumu se zapojením Technické university v Grazu (Technische Universität Graz) slibují smysluplnější hodnoty při použití vlnové délky cca 1420 nm. Plánují se další vývojové práce týkající se kamery, osvětlení a vyhodnocování: nejprve v laboratoři, potom v přirozeném testovacím prostředí a následně na reálných testovacích objektech, založené na metrologickém šetření s použitím dronu.
Stanovení vlhkosti betonu pomocí termokamer je ojedinělé a nejeví se nadějně, ovšem lze si představit použití tohoto systému jako přídavného snímače.
Stanovení obsahu chloridu
Chlorid jako příčinu poškození na betonových konstrukcích lze stanovit na povrchu pomocí dálkových snímacích metod. První experimenty provedené společně s Technickou universitou v Grazu ukazují spektrální zobrazení chloridu v oblasti cca 1420 nm – podobná oblast spektra jako při stanovení vlhkosti. Je proto možné použít k zobrazení a měření multispektrální snímače.
Pilotní projekt Falkensteinbrücke
Falkensteinbrücke blízko Obervellachu je se svými 396 m nejdelším železničním mostem společnosti ÖBB Tauern a překlenuje východní stranu údolí Möll. Ke vzdušnému průzkumu mostu byla vybrána severní polovina jižního oblouku. To odpovídá zhruba čtvrtině celého mostu. V rámci projektu jsme se zaměřili na mostovku, oblouk a na pilíře 10–13.
Let se uskutečnil 27. listopadu 2017 za dobrého počasí s hexakoptérou společnosti Skyability GmbH. Dron ovládal ze země pilot ručně, a to s pomocí pozorovatele a datového linku FPV. Vzdálenost mezi mostem a dronem byla v průměru 3–5 m. Snímače mohly být namontovány volitelně na spodní nebo vrchní straně dronu, aby se mohly otáčet a naklánět.
Použitým snímačem byla kamera Sony Alpha 7RII s rozlišením 42 MP s full frame snímacím čipem. Tato kamera byla namontována částečně nad a částečně pod dronem. Kamera byla uváděná do činnosti pilotem ručně. Poloha při snímání byla volena tak, aby všechny povrchy byly snímány čelně a diagonálně v co největší možné míře. Přesah snímků je asi 80 %.
Pro následné geodetické porovnání 3D modelu bylo geodeticky zaměřeno na mostě cca 40 kontrolních bodů v geodetickém systému M31 Land Survey System.
Vyhodnocení a vizualizace dat
3D modelování
K vytvoření 3D modelu z fotografií pořízených ze vzduchu je použita fotogrammetrická metoda – Dense Image Matching. Operační princip tohoto algoritmu spočívá ve vyhledávání totožných bodů na několika obrázcích (alespoň na dvou) a ve výpočtu jejich souřadnic. Výsledkem tohoto procesu je mračno bodů, které může následně sloužit jako základ pro BIM nebo 3D síťový (mesh) model.
Z celkového počtu 3599 pořízených fotografických snímků bylo vybráno 2919 pro modelování a konečné využití. Rozmazané, příliš tmavé nebo opakující se snímky se nepoužily. Pro urychlení procesu byly použity souřadnice globálního navigačního satelitního systému (GNSS) fotografických snímků pořízených z dronu.
Výsledkem tohoto kroku je „řídké mračno (spojovacích) bodů“, zlepšené souřadnice a zlepšená orientace pořízených snímků na základě kalibrace kamery. V posledním kroku bylo vytvořeno „husté mračno bodů“. Při celkovém počtu 2919 fotografických snímků je tento proces velkou výzvou pro hardware.
Analýza obrazů
Jak již bylo uvedeno, analýza obrazů a detekce poškození na pořízených snímcích se provádí s použitím metod umělé inteligence. V našem pilotním projektu se k tomuto účelu použily neurální sítě. Dalšími vyvinutými softwarovými nástroji jsou FALCO a IRIS, přičemž FALCO se používá jako průprava pro neurální síť a IRIS pro analýzu velkého počtu obrázků, a to pomocí klasifikátoru vytvořeném ve FALCO.
Všechny obrázky jsou zkoumány na přítomnost různých typů poškození konstrukce, jako jsou praskliny, odlupování (drolení), pronikání vlhkosti a obsah chloridu. Detekovaná poškození jsou vyznačená na obrázcích pomocí křivky nebo polygonu v případě povrchového poškození a potom zapsány do databáze. Je tak uložen typ poškození a souřadnice snímku k danému poškození. V následujícím kroku jsou poškození uložená do databáze přiřazena ke konkrétním místům v prostoru (geo-referenced) pomocí speciálního softwaru.
Vizualizace
Tzv. programové vybavení web-GIS bylo vyvinuto pro vizualizaci vyhodnocených výsledků. To umožňuje reprezentaci 3D modelu se všemi detekovanými poškozeními v modelu.
Reprezentace poškození ve web-GIS probíhá dynamicky – všechna data jsou stažena do 3D prohlížeče a do tabulky přímo z databáze, kde jsou uloženy také změny provedené vyhodnocovacím týmem. Každý defekt má definovanou ID, kterou je také označen.
V programovém vybavení web-GIS jsou dvě znázornění s reprezentací dat. Je to hlavní znázornění sestávající z 3D prohlížeče a seznamu poškození, kde jsou ukázána a popsána veškerá poškození. Pro posouzení bylo vytvořeno detailní znázornění, kde je ukázán každý jednotlivý defekt s příslušnými fotosnímky a s popisem.
Výsledky prezentované ve web-GIS (vizualizace, seznam poškození v tabulkové formě a klasifikační detaily) budou zkontrolovány, interpretovány a vyhodnoceny v následujícím kroku zkušeným stavebním technikem.
Toto programové vybavení obsahuje rovněž generátor zpráv, který podporuje editor při vytváření zpráv.
Závěr
V tomto příspěvku je prostřednictvím pilotního projektu představen potenciál nových technologií v oblasti inspekce a testování stavu stavebních konstrukcí. Zejména v případě velkých objektů, jako je zde uvedený most Falkensteinbrücke, kde podrobná prohlídka s použitím prostředků konvenčního přístupu není možná nebo je možná jen s vysokými náklady, mohou tyto technologie poskytnout cennou podporu. Současně s tím to znamená možnost minimalizovat náklady, které by jinak vznikly z důvodů omezení dopravy.
Další přidaná hodnota může pramenit z budoucího použití další snímačů (multispektrálních kamer, laserových scannerů apod.) na platformě nosiče. Úvodní testy ukazují potenciál pro měření vlhkosti povrchu nebo pro zjišťování stavu povrchu, pokud jde o chemické složení (např. obsah chloridů).
PETER FURTNER, ERNST FORSTNER, ALBRECHT KARLUSCH, MARTIN LUŇÁČEK, ZDENĚK JEŘÁBEK
foto archiv autorů
Literatura:
1) MORGENTHAL, G., N. HALLERMANN, M. ACHTERLIK. Unbemannte Fluggeräte zur Zustandsermittlung von Bauwerken, Forschungs-initiative Zukunft Bau, F 2971. Fraunhofer IRB Publishing House, 2015.
2) TÜV Rheinland on behalf of the Federal Highway Research Institute in Germany, 2014, Research paper FE-No. 15.0602/2014/LRB: Unterstützung der Bauwerksprüfung durch innovativ digitale Bildauswertung – Pilotstudie.
3) VCE & Angst-Group (UTC) for ÖBB Infrastruktur AG, 2016, Concept for an ÖBB pilot project: Unterstützung der Bauwerksprüfung mit UAV – Pilotprojekt Falkenstein, Leistungsbeschreibung.
Peter Furtner
je prokuristou a specialistou ve společnosti VCE Vienna Consulting Engineers ZT GmbH.
Ernst Forstner
pracuje jako projektový manažer ve společnosti Palfinger Structural Inspection GmbH.
Albrecht Karlusch
je výkonným ředitelem ve společnosti Palfinger Structural Inspection GmbH.
Martin Luňáček
je ředitelem pro kvalitu a specialistou ve firmě INFRAM, a. s.
Zdeněk Jeřábek
je statutárním ředitelem a specialistou ve firmě INFRAM, a. s.
Nejnovější komentáře