Liebe Steemianer,

Schlaganfälle, Gehirntraumata oder neurodegenerative Erkrankungen wie Parkinson, Multiple Sklerose (MS) oder amyotrophe Lateralsklerose (ALS) führen oft zu irreversiblen Beeinträchtigungen der Fähigkeit, zu sprechen. Derzeitige Assistenzsysteme sind mühsam und erfordern ein Übersetzen von winzigen Augen- oder Muskelbewegungen in Sprache Buchstabe für Buchstabe (oder ein tippen des Textes oder auf Symbole), was zu einer synthetischen "Sprech"geschwindigkeit von max. 10 Wörtern pro Minute führt - weit weg von den 100 bis 150 WpM von natürlicher Sprache.
In [diesem](https://www.nature.com/articles/s41586-019-1119-1) *nature*-Artikel wird ein neues Konzept vorgestellt, entwickelt von einer Gruppe um Edward Chang an der University of California, San Francisco, bei dem die Gehirnaktivität in Echtzeit aus den Sprachzentren abgelesen und direkt in gesprochene Sprache umgewandet wird.
In Zukunft soll es damit nicht nur möglich sein, bei Personen mit verminderter Sprechfähigkeit eine flüssige Kommunikation wiederherzustellen, sondern - und das ist das eigentlich bemerkenswerte - der synthetischen Sprache auch etwas von der Musikalität mitzugeben, die die Gefühle des Sprechers transportiert und die den derzeitigen synthetischen, "roboterhaften" Sprachausgaben so fehlt.
Aufbauend ist das neue Interface auf einer [Studie](https://www.cell.com/neuron/fulltext/S0896-6273(18)30339-8?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS0896627318303398%3Fshowall%3Dtrue) im *Neuron* von der gleichen Arbeitsgruppe, bei der erstmals gezeigt werden konnte, wie genau die Sprachzentren des Gehirns die Bewegungen von Lippen, Kiefer, Zunge und des restlichen Vokaltraktes bei Sprechen steuern. Zuvor hatte man immer versucht, die Aktivitäten der Sprachzentren mit Lauten zu assoziieren, ein bislang hoffnungslos komplexes Unterfangen. Stattdessen hatte die Gruppe mehr Erfolg durch Fokussierung nicht auf die Laute selbst, sondern die Instruktionen der Sprachzentren an den Vokaltrakt zur Bildung der Laute!

Basierend auf gesprochenen Sätzen von (gesunden) Testpersonen haben die Wissenschaftler mittels *reverse engineering* die Vokaltraktbewegungen rekonstruiert (z.B. Zusammenpressen der Lippen, Anlegen der Zunge ans Gaumendach, etc) und mit diesen Sound-Anatomie-Kartierungen haben sie dann für jeden Patienten einen virtuellen Vokaltrakt nachbilden können. Mit zwei neuralen Netzwerken basierend auf *machine learning* Algorithmen haben sie dann jeweils die Gehirnaktivität zum virtuellen Vokaltrakt und die Muster des virtuellen Vokaltrakts mit der dazupassenden Sprachausgabe korreliert. Die Sätze, die die Algorithmen produziert haben, waren wesentlich besser als die von Algorithmen, die direkt eine Korrelation von den Sprachzentren zur Sprachausgabe versucht hatten. Das Verständnis wurde gemessen mit Übersetzungstest an der crowdgesourcten Plattform [mechanical turk](https://www.mturk.com/) von Amazon. Noch war das Ergebnis nicht 100% verständlich, zu 47% wurde korrekt übersetzt, aber das Ergebnis ist jetzt schon eine Verbesserung zu derzeitigen verfügbaren Systemen.

Die Gruppe will jetzt vor allem die machine learning Algorithmen verbessern und das System an tatsächlich Sprechgeschädigten testen.
Je nach Schädigung des Gehirns ist diese Methode mehr oder weniger erfolgversprechend. Bei kompletter Zerstörung der Sprachzentren wird sie sicher wenig ausrichten können, aber wer weiß - die enorme [Plastizität](https://www.gehirnlernen.de/gehirn/plastizit%C3%A4t/) des Gehirns hat uns schon oft (siehe z.B. [hier](https://www.stern.de/nido/familienleben/noah-wurde-praktisch-ohne-gehirn-geboren---heute-geht-er-zur-schule-7819874.html)) überrascht.

Hier ist an zwei Beispielen zu hören, wie das klingt - noch nicht perfekt, aber immerhin!
https://youtu.be/kbX9FLJ6WKw

Quellen:
https://www.ucsf.edu/news/2019/04/414296/synthetic-speech-generated-brain-recordings
https://www.nature.com/articles/s41586-019-1119-1
https://www.cell.com/neuron/fulltext/S0896-6273(18)30339-8?_returnURL=https%3A%2F%2Flinkinghub.elsevier.com%2Fretrieve%2Fpii%2FS0896627318303398%3Fshowall%3Dtrue