Nasadenie systémov strojového videnia v priemysle so sebou prináša množstvo praktických technických výziev. Nižšie uvádzame prehľad najčastejších problémov a spôsobov, ako sa v praxi riešia.
Zlé osvetlenie
PROBLÉM: Nedostatočné alebo nekonzistentné osvetlenie je najčastejšou príčinou zlyhania systémov strojového videnia. Ani pokročilá kamera a softvér nedokážu kompenzovať zlé osvetlenie. Pri slabom či premenlivom osvetlení klesá kontrast dôležitých znakov na snímanom objekte a zároveň vzniká nežiaduci šum v obraze. Nevhodne zvolené osvetlenie môže taktiež spôsobiť odlesky alebo vrhať tiene zakrývajúce podstatné detaily.
RIEŠENIE: Správny návrh osvetlenia tvorí až 80 % úspechu aplikácie strojového videnia, a preto sa mu venuje veľká pozornosť. V praxi sa kladie dôraz na stabilné, riadené osvetlenie scény. Cieľom je maximalizovať kontrast požadovaných prvkov a potlačiť všetko ostatné. To zahŕňa výber vhodnej techniky osvetlenia podľa povrchu a tvaru objektu. Napríklad zadné podsvietenie pre získanie ostrej siluety, bočné šikmé osvetlenie na zvýraznenie hrán a reliéfu, alebo difúzne osvetlenie, ktoré z viacerých smerov rovnomerne nasvieti lesklé zakrivené povrchy a eliminuje ostré odlesky.
Kľúčová je konzistencia osvetlenia, teda eliminácia vplyvu okolitého svetla (napr. denného svetla či blikania žiariviek) použitím tienenia a stabilných priemyselných LED svetiel. Ak je potrebný veľmi krátky expozičný čas (napr. kvôli pohybu objektov), používajú sa zábleskové svetlá (stroboskopy), ktoré intenzívnym krátkym pulzom osvetlia scénu. Tým sa zmrazí obraz aj pri rýchlom pohybe, no vyžaduje to synchronizáciu svetla so snímaním.
Nízky kontrast a rušivé pozadie
PROBLÉM: Aj pri správne nastavenom osvetlení môže nastať problém, ak nie je dostatočný kontrast medzi kontrolovaným objektom a jeho okolím. Keď má výrobok podobnú farbu alebo jas ako pozadie, kamera len ťažko rozozná hrany a detaily objektu. Príkladom môže byť svetlosivý diel na svetlosivom páse. Obraz splýva a štandardné spracovanie zlyháva. Algoritmy môže miasť aj komplexné alebo vzorované pozadie.
RIEŠENIE: Kľúčom je zvýšenie kontrastu medzi cieľovým predmetom a jeho okolím. V praxi sa volí také osvetlenie a usporiadanie, aby sa objekt maximálne „oddelil“ od pozadia. Napríklad zadné osvetlenie vytvorí siluetu objektu voči tmavému pozadiu a zabezpečí maximálny kontrast hrán.
Ak nie je možné zmeniť samotné pozadie, pomáhajú optické filtre a špeciálne svetlá. Použitie úzko spektrálneho osvetlenia a zodpovedajúceho farebného filtra môže potlačiť vplyv farebného pozadia a zvýrazniť objekt. Na zvýraznenie rozdielov sa využíva aj neviditeľné spektrum. Napríklad infračervené osvetlenie odhalí rozdiely materiálov alebo povrchov, ktoré vo viditeľnom svetle splývajú.
Ak má kontrolovaný produkt iné teplotné vlastnosti ako pozadie, osvedčuje sa termálne videnie. Termokamery dokážu spoľahlivo rozlíšiť objekt podľa teploty tam, kde bežná kamera zlyháva kvôli podobným farbám. Táto metóda má zmysel napríklad pri detekcii svetlých gumených výrobkov na svetlom dopravníku, keď sa využíva zvyškové teplo produktov z výroby v kontraste s chladnejším pásom.
Odlesky a reflexné povrchy
PROBLÉM: Lesklé a reflexné povrchy predstavujú špecifický problém. Ak svetlo dopadne na hladký lesklý diel pod nevhodným uhlom, odrazí sa priamo do objektívu kamery a spôsobí odlesk – teda presvetlenú „bledú“ oblasť v obraze. Tým dochádza k zakrytiu textúr alebo hrán v danej oblasti. Kamera namiesto detailov vidí iba presýtenú žiaru. Typicky k tomu dochádza, keď sa použije priame prstencové osvetlenie okolo objektívu na lesklý materiál. Okrem odleskov môžu lesklé povrchy spôsobovať aj viacnásobné odrazy v optike, ktoré taktiež znižujú kvalitu snímky.
RIEŠENIE: Hlavnou stratégiou je riadená geometria osvetlenia tak, aby sa odraz nedostal do kamery. Prakticky sa to rieši zmenou uhla: namiesto priameho osvetlenia po osi objektívu sa volí šikmé osvetlenie. Zdroj svetla sa napríklad umiestni pod takým uhlom, aby sa odraz od lesklého povrchu odrazil mimo zorné pole kamery. Ak to aplikácia dovoľuje, veľmi účinné je difúzne osvetlenie typu „dome“, ktoré osvetlí objekt rovnomerne zo všetkých strán a eliminuje ostré odrazy. Lesklý predmet potom nemá jediný zrkadlový odlesk, ale len rovnomerný slabý lesk.
Ďalšou pomôckou sú polarizačné filtre. Polarizované svetlo a filter na kamere dokážu výrazne potlačiť odlesky. Svetlo odrazené od kovu či skla je čiastočne polarizované, a preto ho vhodný polarizačný filter dokáže odfiltrovať. Pri reflexných plochách pomáha aj koaxiálne osvetlenie (svetlo vstupujúce do osi kamery cez polopriepustné zrkadlo). To zabezpečí, že rovinné lesklé povrchy sa javia tmavé, zatiaľ čo rozptylové prvky (napr. popis) sú dobre viditeľné.
V praxi sa často kombinuje viacero techník. Dôležité je taktiež vyhnúť sa okolitým rušivým zdrojom svetla, ktoré by sa mohli na lesklých povrchoch nečakane odrážať (napr. vypnutie alebo tienenie silného osvetlenia haly v okolí inšpekčnej stanice). Správne nastavené osvetlenie a optické filtre tak dokážu problém odleskov výrazne minimalizovať.
Zaostrovanie a hĺbka ostrosti
PROBLÉM: Kamera má vždy optimálne zaostrené len na určitú vzdialenosť. Ak kontrolované objekty nie sú presne v jednej rovine alebo majú 3D štruktúru s výškovými rozdielmi, môže byť časť obrazu rozostrená. V priemysle je však úplne bežné, že vzdialenosť medzi kamerou a objektom kolíše. Napríklad kontrolovaný diel môže mať viac úrovní v rôznych vzdialenostiach od kamery, alebo sa výška výrobkov líši kus od kusu. Vo všetkých týchto scenároch je obmedzená hĺbka ostrosti výzvou. Časti objektu mimo rovinu zaostrenia môžu uniknúť detekcii. K rozostreniu prispieva aj pohyb v osi Z (približovanie alebo vzďaľovanie počas expozície). Nedostatočná hĺbka ostrosti obzvlášť komplikuje kontrolu malých detailov na rôznych úrovniach, pretože to, čo je ostré v jednej rovine, je rozmazané v inej.
RIEŠENIE: Návrh systému musí zohľadniť potrebnú hĺbku ostrosti a zabezpečiť, aby sa v nej nachádzali všetky dôležité časti objektu. Existuje niekoľko opatrení: Prvým je zaclonenie objektívu (vyššie clonové číslo f/#), ktoré zväčší hĺbku ostrosti. To však znižuje množstvo svetla dopadajúceho na senzor, takže je potrebné to kompenzovať silnejším osvetlením alebo citlivejšou kamerou.
Alternatívou sú telecentrické objektívy, ktoré sú skonštruované tak, aby udržali ostrosť a mierku obrazu takmer nezávislú od vzdialenosti objektu v určitom rozsahu. Telecentrická optika eliminuje perspektívne skreslenie a umožňuje merať objekty rôzne vzdialené od kamery s rovnakou mierkou, no je nákladnejšia a horšie pokrýva veľké zorné pole.
Ďalším prístupom je automatické zaostrovanie alebo prepínanie zaostrenia pre rôzne vzdialené objekty. Niektoré inšpekčné systémy dokážu preostriť medzi snímkami alebo využívajú variabilnú optiku na rýchlu zmenu zaostrenia. V laboratórnych podmienkach sa niekedy využíva aj tzv. fokus stacking – teda skladanie viacerých snímok zaostrených do rôznych hĺbok do jedného ostrého obrazu, čo však v reálnom čase spravidla nie je možné.
Najjednoduchšou cestou preto často býva obmedziť variabilitu vzdialeností: zabezpečiť, aby boli všetky kontrolované kusy v rovnakej rovine alebo aby kamera mala dostatočný odstup a tým prirodzene väčšiu hĺbku ostrosti.
Správnou kombináciou optiky a mechaniky možno dosiahnuť, že celý objekt bude v požadovaných miestach ostrý a merateľný. Ak ani to nestačí, nasadzuje sa 3D strojové videnie (napr. dve kamery alebo 3D senzor), ktoré namiesto ostrosti využíva aktívne meranie vzdialenosti ku každému bodu scény.
Pohyb a rozmazání obrazu
PROBLÉM: Pokud se snímaný objekt pohybuje během expozice kamery, dochází k motion blur čili rozmazání obrazu. To nastává typicky na rychlých výrobních linkách, kdy díl není během snímání zcela statický. Při delším expozičním čase urazí bod na pohybujícím se objektu určitý úsek v zorném poli kamery, což vede k jeho „rozmáznutí“ přes více pixelů a ztrátě ostrosti. Rozmazaný obraz znesnadňuje nebo znemožňuje správnou analýzu, protože jemné detaily nebo defekty nelze spolehlivě detekovat. K rozmazání přispívají i vibrace kamery či otřesy stroje (viz Vlivy prostředí níže), které z pohledu kamery působí podobně jako pohyb objektu.
ŘEŠENÍ: Hlavní zásadou je zkrátit efektivní dobu, po kterou dopadá světlo na senzor během pohybu. Toho lze docílit dvěma způsoby: rychlejší kamerou a intenzivnějším osvitem. Moderní praxe využívá kamery s vysokou snímkovací frekvencí a globální závěrkou (global shutter), které umí exponovat velmi krátce (v řádu milisekund či méně) a zabránit tak zkreslení pohyblivých objektů.
Zkrácení expozice vyžaduje silnější osvětlení. Proto se nasazují výkonné LED osvětlení v pulzním režimu (stroboskopickém). Stroboskopy emitují krátké záblesky synchronizované se spuštěním kamery, čímž zmrazí pohyb objektu na snímku. Vysoký jas pulsu zajistí dostatek světla i při mikrosekundové expozici. Důležité je také správné časování a triggrování: systém musí snímek pořídit ve vhodném okamžiku. Někdy se pro přesné spuštění kamery využívají optické enkodéry nebo senzory polohy. Alternativně lze pohybující se díl na chvíli zastavit po dobu snímání, pokud to proces dovoluje. Celkově kombinace rychlé kamery a synchronizovaného osvětlení umožňuje spolehlivou inspekci i na velmi rychlých výrobních linkách.
Variabilita tvaru a vzhľadu dielcov
PROBLÉM: V praxi často nie sú kontrolované diely úplne identické. Môžu mať prirodzené výrobné odchýlky, rôzne povrchové textúry, farby alebo odlišné tvary. Tradičné algoritmy strojového videnia dokážu tolerovať len obmedzenú variabilitu (napr. zmeny mierky, rotácie či polohy). Väčšie odchýlky vo vzhľade však predstavujú vážny problém: systém nemusí vedieť rozlíšiť, či ide ešte o povolenú variáciu, alebo už o chybu. Napríklad deformovateľné alebo nepravidelné objekty spôsobujú problémy klasickým metódam porovnávania vzorov. Tie dobre fungujú pri kontrastných a konzistentných objektoch, ale pri premenlivých tvaroch zlyhávajú.
RIEŠENIE: V praxi existujú dva prístupy: obmedziť variabilitu alebo zvýšiť robustnosť algoritmu. Prvý prístup zahŕňa napríklad mechanické zafixovanie polohy a tvaru dielu alebo triedenie výrobkov do kategórií s menšou vnútornou variabilitou. Druhý prístup sa spolieha na pokročilé algoritmy strojového videnia schopné učiť sa z príkladov a generalizovať. Sem patria najmä metódy hlbokého učenia (deep learning), ktoré dokážu rozpoznávať aj veľmi odlišné či neštandardné variácie objektov lepšie než vopred naprogramované pravidlá.
Tieto AI prístupy sa uplatňujú najmä tam, kde by vytvorenie pravidiel pre všetky výnimky bolo príliš zložité alebo neudržateľné. V praxi sa často kombinuje oboje – ak nie je možné variabilitu úplne odstrániť, využije sa adaptívny softvér, ktorý sa natrénuje na reprezentatívne vzorky variácií daného dielu, aby ich spoľahlivo rozpoznal ako OK/NOK.
Nekonzistentná orientácia a poloha dielov
PROBLÉM: Strojové videnie predpokladá, že hľadaný objekt sa nachádza v zornom poli v očakávanej polohe. V praxi však môžu diely prichádzať v rôznych orientáciách či posunuté – napríklad natočené pod iným uhlom, preklopené alebo ľubovoľne posunuté na dopravníku. Nejednotná orientácia výrazne sťažuje rozpoznávanie, pretože obraz cieľového prvku sa líši od referenčného vzoru. Systém citlivý na polohu môže vyhodnotiť správny diel ako nevyhovujúci len kvôli natočeniu. Nestabilná poloha dielov teda znižuje spoľahlivosť detekcie, pretože zmeny orientácie objektov môžu systém úplne zmiasť, ak na to nie je pripravený.
RIEŠENIE: Najjednoduchším riešením je zabezpečiť jednotnú polohu dielov mechanicky. V praxi sa používajú orientačné zariadenia, vibračné podávače s orientačnými dráhami, fixácie či prípravky, ktoré každý kus nastavia do rovnakej pozície pred snímaním. Tým sa problém presúva zo softvérovej roviny do mechanickej. Nie vždy je to však možné alebo ekonomicky výhodné, najmä pri náhodne orientovaných objektoch (napr. v sypanej zmesi) alebo tam, kde sa vyžaduje flexibilita. V takom prípade nastupujú softvérové riešenia: algoritmy odolné voči orientácii.
Klasickým prístupom je pattern matching (vyhľadávanie vzoru) s podporou rotácie a škálovania obrazu. Modernejšie sú metódy strojového učenia, ktoré sa zo vzorových dát naučia rozpoznávať objekt bez ohľadu na jeho natočenie. Dôležitá je tiež dostatočne veľká hĺbka ostrosti a zorné pole kamery, aby bol objekt aj pri posunutí alebo naklonení stále kompletne v zábere a ostrý. V praxi sa často kombinuje viacero kamier alebo sa používajú širokouhlé objektívy na pokrytie celého možného rozpätia pozícií dielu.
Ak systém aj naďalej nedokáže spoľahlivo detegovať objekty v neštandardných polohách, je potrebné spresniť mechanické vedenie, alebo vylepšiť algoritmus (prípadne doplniť tréning o nové varianty). Konzistentné nasmerovanie dielov výrazne zvyšuje spoľahlivosť videnia, a ak ho nemožno zabezpečiť fyzicky, malo by byť ošetrené softvérovo.
Vplyvy prostredia (prach, vibrácie, teplota)
PROBLÉM: Priemyselné prostredie býva pre optické systémy nehostinné. Prašnosť, vibrácie strojov, teplotné výkyvy či vlhkosť môžu funkciu strojového videnia zásadne ovplyvniť. Prach a nečistoty sa môžu usadzovať na šošovke alebo osvetlení a zhoršovať obraz. Vibrácie výrobných liniek či lisov sa prenášajú na kameru a spôsobujú rozmazanie snímok podobne ako pohyb. Jemné detaily potom nie je možné rozpoznať.
Teplota okolia zas ovplyvňuje elektroniku kamier aj vlastnosti objektívov: pri extrémnom teple hrozí rozostrenie (dilatácia, posun ohniska) alebo dočasné „oslepenie“ senzora, pri silnom chlade môže kamera úplne zlyhať. Teplotné fluktuácie narúšajú aj kalibráciu. Napríklad presné 3D meranie vzdialeností môže vplyvom zahrievania driftovať, kým sa systém stabilizuje. Vysoká vlhkosť spôsobuje zahmlievanie optiky a môže viesť ku korózii kontaktov. Tieto environmentálne vplyvy často degradujú kvalitu obrazu alebo priamo vedú k výpadkom funkcie, ak nie sú podchytené.
RIEŠENIE: Pri nasadení v priemysle sa používajú priemyselné kamery a komponenty so zvýšenou odolnosťou a zároveň sa prijímajú opatrenia na ochranu systému pred vplyvmi prostredia. Proti prachu a nečistotám pomáha uzavrieť kameru aj osvetľovače do krytov s tesnením (IP65 a vyššie), prípadne aplikovať pretlakové ofukovanie čelnej optiky filtrovaným vzduchom, aby sa na nej neusádzali častice. Nevyhnutná je pravidelná údržba a čistenie optiky. Aj tenká vrstva prachu môže znížiť kontrast a spôsobiť chyby.
Proti vibráciám sa kamery montujú na antivibračné držiaky alebo tlmiace prvky, ktoré izolujú otrasy od citlivej optiky. Ďalej sa preferuje kratší expozičný čas, aby sa prípadný mikropohyb nestihol prejaviť (viď pohyb a rozmazanie obrazu vyššie). Teplotnú stabilitu zabezpečí umiestnenie kamier mimo extrémne zóny alebo použitie chladenia/ohrevu. Kamery možno osadiť do krytu s aktívnym chladičom či výhrevom, prípadne použiť termoelektrický článok.
Dôležité je dodržať výrobcami udávané prevádzkové teploty. Niektoré presné 3D kamery si napríklad po zapnutí vyžadujú zahriatie na prevádzkovú teplotu a jej udržiavanie, aby mohli garantovať správnu funkciu. Vo veľmi vlhkom prostredí sa kamery vybavujú ochranou proti zahmlievaniu šošoviek.