Vergeet AI, begin met data science

Zijn artificial intelligence en machine learning hypes? Soms lijkt het daar zeker op. Consultants en specialisten voorspellen gouden bergen, maar in de dagelijkse gang van zaken op de fabrieksvloer komen die beloftes zelden uit. Tim Foreman van Omron heeft in de praktijk ervaren waar het misgaat en weet nu hoe het wel moet. Aan Mechatronica&Machinebouw vertelt hij het eerlijke verhaal.

Alexander Pil
23 februari

Voor Omron begon de reis in het land van kunstmatige intelligentie een kleine zes jaar geleden. Na de oprichting van de Jheronimus Academy of Data Science (Jads) in ’s-Hertogenbosch in 2016 zocht Tim Foreman direct contact. Als r&d-manager van de lokale Omron-site zag hij legio mogelijkheden voor AI, machine learning en datawetenschappen. ‘Het mooie van onze vestiging in Den Bosch is dat we r&d, engineering en productie onder één dak hebben’, vertelt Foreman. ‘Mooie machines, met echte problemen. Een speeltuin voor data scientists dus.’

Foreman en Jads-opleidingsdirecteur Stef van Eijndhoven kozen voor een Pdeng-constructie, de industriegerichte variant van een PhD-traject. ‘Ik kan dat iedereen van harte aanbevelen als ze een begin willen maken in dit vakgebied’, zegt Foreman. ‘Zo’n Pdeng’er wordt gesteund door de universiteit en brengt heel veel kennis mee.’

Met een Pdeng’er van de Jads, een interne geïnteresseerde engineer en zichzelf, had Foreman zijn team compleet. Nu nog een goed probleem waarop ze zich konden focussen. ‘Ik ben eens gaan buurten in de fabriek’, vertelt Foreman. Hij stuitte op een probleem in de eindcontrole van een printplaat. ‘Om te checken of het bord goed is, testen we hem voordat hij de behuizing ingaat. We doen dat op een testbed met contactpennen. Na verloop van tijd slijten die pennetjes echter en zie je steeds meer tests falen. Ligt het dan aan de printplaat of aan een versleten contactpen?’ De opdracht die Omron zichzelf gaf, was relatief simpel: kun je een voorspelling doen over de slijtage van de contactpennen? Of anders gezegd, wat is de remaining useful life?

Hou het klein

Hoewel het testbed al behoorlijk wat data logde, schoten de onderzoekers er weinig mee op. ‘Ik was al gewaarschuwd dat 80 procent van de data science-tijd gaat zitten in het opschonen, begrijpen en completeren van de gegevens’, aldus Foreman en hij geeft een voorbeeld. ‘Als een monteur een pen vervangt en daarvan geen goede melding maakt, zie je ineens een onverklaarbare knik in de data. Dat onderhoud staat wellicht wel ergens genoteerd, als je geluk hebt in een digitaal systeem, maar dat is dan niet gekoppeld aan de data waarnaar je zit te kijken. Probeer er dan nog maar eens chocola van te maken.’

Onder meer door die vuile, incomplete data lukte het Foreman en zijn team uiteindelijk niet om binnen de gestelde termijn van het project een goede voorspelling te doen over de resterende levensduur van de testpennen. ‘Het had er ook mee te maken dat het ontzettend lastig is om focus te houden. Als je eenmaal de motorkap van de machine opendoet, komt er zo veel data op je af en zie je zo veel zaken gebeuren die vreemd lijken, dat je snel bent afgeleid. Zeker als je zo nieuwsgierig bent als ik’, lacht Foreman.

Tim Foreman adviseert: ‘Maak de opdracht veel kleiner dan je denkt dat nodig is.’

Een andere uitdaging was dat het even duurde voordat Omron het juiste probleem te pakken had. ‘In eerste instantie wilden we de doorvoer van de hele assemblagelijn verhogen’, herinnert Foreman zich. ‘Aan het begin denk je nog: hoe moeilijk kan het zijn? Nou, dat viel vies tegen. We hebben het uiteindelijk dus heel, heel klein gemaakt.’ Dat is een van Foremans belangrijkste lessen uit dat eerste project: ‘Maak de opdracht veel kleiner dan je denkt dat nodig is.’

Het juiste plaatje

Ondanks het enigszins teleurstellende resultaat van dat eerste experiment, kijkt Foreman met een goed gevoel terug. ‘We hebben heel veel geleerd van die eerste stap’, zegt hij. Zo weet hij sinds die tijd hoe cruciaal het is om goed inzicht te krijgen in de data. ‘Als je een beginner bent in data science, laat artificial intelligence en machine learning dan nog even liggen. Start door eerst inzicht te krijgen in de data. Is de stroom producten bijvoorbeeld een mooie, vlakke verdeling? Of gaat het met horten en stoten? Dat soort simpele vragen levert vaak al genoeg aanknopingspunten voor verbetering op. Pas als je die zaken hebt opgelost en een soepel proces hebt staan, heeft het zin om met AI aan de slag te gaan.’

Uit die eerste visualisaties kwam onder meer naar voren dat niet alle operators even veel producten afleverden. ‘Op zich is dat natuurlijk te verwachten, maar je begeeft je daarmee wel op glad ijs’, waarschuwt Foreman. ‘In Duitsland is het zelfs verboden om dergelijke data te verzamelen zodat een werkgever niet in de verleiding komt om zijn medewerkers erop af te rekenen.’ Een van de operators scoorde wel heel ondermaats. ‘We hebben dat opgelost door open en eerlijk het gesprek aan te gaan. Het bleek dat die operator een processtap nodeloos complex uitvoerde. Dat hebben we verholpen, iedereen blij.’

Foreman stelt dat je het belang van een goede visualisatie nauwelijks kunt overschatten. ‘Met het juiste plaatje genereer je altijd een reactie, bij de operator, bij de engineer of bij de fabrieksmanager. Hè, wat gebeurt daar nou? Komt die reactie niet, dan ligt dat niet aan de ontvanger maar dan heb je als data scientist de verkeerde visualisatie gemaakt.’ Hij ziet het nog regelmatig tijdens bedrijfsbezoeken. ‘Dan hebben ze een flitsend dashboard gemaakt met alle kleuren van de regenboog. Een ware Picasso, maar je wordt al moe als je ernaar kijkt. En er is niemand die eruit kan opmaken wat er nou gebeurt.’

Patronen herkennen

Zo’n wauw-reactie kwam er zeker bij de visualisatie in Omrons tweede project. ‘Daarin namen we de visuele inspectie van een smt-lijn onder de loep’, vertelt Foreman. ‘Is er genoeg soldeerpasta aangebracht? Zit het component op de juiste plaats? Is de soldeer goed? We deden al een uitgebreide kwaliteitscontrole met veel datalogging. De tweede Pdeng’er hebben we gevraagd eens naar die gegevens te kijken.’

‘Met het juiste plaatje genereer je altijd een reactie, bij de operator, bij de engineer of bij de fabrieksmanager’, stelt Foreman.

Het resultaat was schokkend. ‘Hij had een heatmap gemaakt van de printplaat om te laten zien op welke plaatsen het vaak fout gaat’, zegt Foreman. ‘Vooraf verwacht je natuurlijk een mooie evenredige verdeling, maar het bleek dat alle fouten op één plek zaten. Een grote rode punt!’ Nader onderzoek wees uit dat de printplaat op die plek niet goed werd ondersteund waardoor hij te veel doorzakte.

Was het niet eerder opgevallen dat de productie van die borden altijd op hetzelfde punt misging? ‘Nee, dat is het interessante van data science; je moet het niet toepassen op problemen waarover je struikelt. Fouten die iedereen kan zien, moet je gewoon eerst oplossen. Pas daarna is data-analyse nuttig, voor zaken die een mens niet ziet of waarvan hij het patroon niet herkent’, antwoordt Foreman. In een volgend project kwam uit de data bijvoorbeeld naar voren dat een machine elke week een seconde langzamer werd. ‘Daar kwamen we pas achter toen we de data van de afgelopen maanden vergeleken. Niemand had het gemerkt, maar met de juiste visualisatie zag je het gelijk.’

Tegenwoordig staan er in de Omron-fabriek op veel machines een monitor die laat zien hoe de machine presteert en dat vergelijkt met historische data. Foreman: ‘Het is een goedkope manier om te beginnen met data science in je productie. Pas daarna kun je gaan nadenken over machine learning. Want het ligt natuurlijk voor de hand om al die data met algoritmes te monitoren en signalen te laten sturen als er afwijkend gedrag wordt geconstateerd.’

Verdwenen sensor

Na een aantal leerzame projecten op zijn thuisbasis in ’s-Hertogenbosch durfde Foreman het aan om de opgedane ervaringen ook in te zetten bij een Omron-fabriek in Italië. ‘We hadden onze kennis inmiddels gevangen in een AI-controller, een datalogger die alle gegevens netjes en met een tijdsstempel in een database kon wegschrijven. Het systeem meet industriële signalen, maakt visualisaties en herkent patronen’, legt Foreman uit.

Die AI-controller hing hij aan de Italiaanse productielijn. ‘Ze hadden dat het probleem dat de machine af en toe hikte. Dan moesten ze er een klap op geven of opnieuw opstarten’, vertelt Foreman. ‘Omdat er elke seconde een productje van de band rolt, zijn zulke onderbrekingen heel vervelend voor de output.’

De data die de AI-controller op het scherm toverde, maakten gelijk al veel duidelijk. ‘We zagen een paar vreemde zaken, die we de lokale engineers hebben voorgehouden’, zegt Foreman. Zo bleek er een positiesensor te zijn verschoven en zat er een foutje in de software waardoor stappen soms asynchroon verliepen en de machine van slag raakte. ‘Ook zagen we een flat line op een sensoruitgang. Vreemd natuurlijk want je zou verwachten dat er af en toe iets gebeurt. Er bleek echter helemaal geen sensor meer aan te hangen, alleen een losse stekker.’

Tim Foreman vertelt meer over zijn ervaringen en lessen tijdens de Machine Learning Conference.

Binnen een paar weken slaagden Foreman en zijn collega’s erin om al die fouten boven water te krijgen, louter uit het analyseren van de data. ‘De truc is om de juiste gegevens naar boven te halen. Dat lukt alleen als je goed samenwerkt met de lokale engineers, operateurs en monteurs. Hun kennis heb je nodig om de metingen en data goed te kunnen interpreteren’, aldus Foreman. Uiteindelijk leverden alle verbeteringen 4,5 uur extra productietijd per maand op.

Variaties maken het complex

In dezelfde fabriek nabij Rome produceert Omron ook componenten voor de automotive-industrie. Om aan de hoge eisen van die markt te voldoen, worden heel veel van de producten uitgebreid gecontroleerd. Maar omdat het massaproductie is, is 100 procent dekking niet haalbaar waardoor er heel af en toe een foutieve component doorheen glipte.

‘Een duidelijk probleem met een duidelijke financiële pijn, want terugroepacties zijn kostbaar’, weet Foreman. Samen met de lokale engineers zette zijn team een experiment op waarbij opnieuw de AI-controller werd gebruikt om data te verzamelen. ‘We hebben ook een sensor toegevoegd. Normaal ben ik daar geen voorstander van omdat het risico’s met zich meebrengt. In dit geval ging het om pneumatiek waaruit je heel lastig goede data kunt extraheren.’

Een krachtsensor in de kop van de pneumatische cilinder leverde een schat aan informatie op. In de periode van 200 ms dat die cilinder druk zet, worden er tweehonderd metingen gedaan. Dat geeft een heel gedetailleerd beeld waardoor Omron nu in staat is om de actie te classificeren: goed of fout. Die feature is inmiddels zo ver geïntegreerd dat het getrainde algoritme veel eerder dan de operator ziet als er een fout optreedt.

‘Daar zit veel kennis in’, zegt Foreman. ‘Zo hebben we ontdekt dat het uitmaakt of het spuitgietdeel net is geproduceerd, of al een dag eerder. Dat geeft een ander krachtprofiel. In de praktijk zijn vaak meer variaties dan je van tevoren hebt bedacht. Je moet er echter wel rekening mee houden en dat maakt de toepassing van data science in de industrie best complex.’