En algoritm som utvecklats av datavetare vid Brown University gör det möjligt för robotar att sätta penna på papper, skriva ord med streckmönster som liknar mänsklig handstil. Det är ett steg, forskarna säger, mot robotar som kan kommunicera mer flytande med mänskliga medarbetare och kollaboratörer.

"Bara genom att titta på en målbild av ett ord eller en skiss, roboten kan reproducera varje slag som en kontinuerlig åtgärd, sa Atsunobu Kotani, en student vid Brown som ledde utvecklingen av algoritmen. "Det gör det svårt för människor att skilja på om det är skrivet av roboten eller faktiskt skrivet av en människa."

Algoritmen använder sig av nätverk för djupinlärning som analyserar bilder av handskrivna ord eller skisser och kan härleda den troliga serie penndrag som skapade dem. Roboten kan sedan reproducera orden eller skisserna med hjälp av penndragen den lärt sig. I ett dokument som ska presenteras vid denna månads internationella konferens om robotik och automation, forskarna visar en robot som kunde skriva "hej" på 10 språk som använder olika teckenuppsättningar. Roboten kunde också reproducera grova skisser, inklusive en av Mona Lisa.

Stefanie Tlex, en biträdande professor i datavetenskap vid Brown och Kotanis rådgivare, säger att det som gör detta arbete unikt är robotens förmåga att lära sig slagordning från grunden.

"Mycket av det befintliga arbetet inom detta område kräver att roboten har information om slagordningen i förväg, " sa Tlex. "Om du ville att roboten skulle skriva något, någon skulle behöva programmera slagorder varje gång. Med vad Atsu har gjort, du kan rita vad du vill och roboten kan reproducera det. Det gör inte alltid den perfekta slagordningen, men det kommer ganska nära."

En annan anmärkningsvärd aspekt av arbetet, Tellex säger, är hur algoritmen kunde generalisera sin förmåga att reproducera slag. Kotani tränade sin algoritm för djupinlärning med hjälp av en uppsättning japanska tecken, och visade att den kunde återge karaktärerna och strecken som skapade dem med runt 93 procents noggrannhet. Men till forskarnas stora förvåning, algoritmen kunde i slutändan återge väldigt olika karaktärstyper som den aldrig hade sett förut – engelskt tryck och kursiv, till exempel.

"Vi skulle ha varit glada om den bara hade lärt sig de japanska karaktärerna, " sa Tlex. "Men när det väl började fungera på engelska, vi blev förvånade. Sedan bestämde vi oss för att se hur långt vi kunde ta det."

Tellex och Kotani bad alla som arbetar i Tellexs Humans to Robots-labb att skriva "hej" på sina modersmål, som inkluderade grekiska, hindi, Urdu, bland annat kinesiska och jiddisch. Roboten kunde återge dem alla med rimlig slagnoggrannhet.

"Jag känner att det är något riktigt vackert med roboten som skriver på så många olika språk, " Sa Tlex. "Jag tyckte det var riktigt coolt."

Men systemets mästerverk kan vara dess kopia av Kotanis Mona Lisa-skiss. Han ritade sin skiss på en torrraderingstavla i Tellexs labb, och lät sedan roboten kopiera den – ganska troget – på samma tavla precis under Kotanis original.

"Det var tidigt på morgonen som vår robot äntligen ritade Mona Lisa på whiteboardtavlan, " sa Kotani. "När jag kom tillbaka till labbet, alla stod runt whiteboardtavlan och tittade på Mona Lisa och frågade mig om [roboten] ritade den här. De kunde inte tro det."

Det var ett stort ögonblick för Kotani eftersom "det var ögonblicket då vår robot definierade vad som är bortom bara utskrift." En bläckstråleskrivare kan återskapa en bild, men det gör det med ett skrivhuvud som går tillbaka in och bygger bilden rad för rad. Men det här var roboten som skapade en bild med mänskliga slag, vilket för Kotani är "något mycket mer humant och uttrycksfullt."

Nyckeln till att få systemet att fungera, Kotani säger, är att algoritmen använder två distinkta modeller av bilden som den försöker reproducera. Genom att använda en global modell som betraktar bilden som en helhet, Algoritmen identifierar en trolig startpunkt för att göra det första slaget. När den stroken väl har börjat, algoritmen zoomar in, titta på bilden pixel för pixel för att avgöra var den strecket ska gå och hur lång den ska vara. När den når slutet av slaget, Algoritmen anropar igen den globala modellen för att bestämma var nästa slag ska börja, sedan är det tillbaka till den inzoomade modellen. Denna process upprepas tills bilden är klar.

Både Kotani och Tellex säger att arbetet är ett steg mot bättre kommunikation mellan människor och robotar. I sista hand, de föreställer sig robotar som kan lämna Post-it Notes, ta diktering eller skissdiagram för sina mänskliga medarbetare och medarbetare.

"Jag vill att en robot ska kunna göra allt en person kan göra, ", sa Tlex. "Jag är särskilt intresserad av en robot som kan använda språk. Att skriva är ett sätt som människor använder språket, så vi tänkte att vi skulle prova det här."