Wir haben das gesehen Raspberry Pi Früher überbrückte es alle möglichen Verbindungen, aber heute teilen wir ein Pi-Projekt, das eine Lücke in der menschlichen Verbindung schließt. Der Hersteller und Entwickler Prabhjot Singh hat das geschaffen, was er nennt Gehörloser Link. Es verwendet einen Raspberry Pi als Übersetzungszentrum, mit dem Sie Gebärdensprache in hörbare Sprache und Sprache mithilfe einer Roboterhand in Gebärdensprache umwandeln können.
Der erste Modus ist als Gebärdensprache bekannt. Zur Erfassung der Gebärdensprache nutzt der Pi ein Kameramodul. Die Eingabedaten werden sowohl mit OpenCV als auch mit MediaPipe mit Google TensorFlow und Hunderten von Gebärdensprachbildern verarbeitet. Sobald das Zeichen identifiziert ist, wird es in Audio übersetzt, das an einen Lautsprecher ausgegeben wird.
Bild 1 von 2
Der zweite Modus ist der Sprache-zu-Gebärden-Modus, in dem es etwas verrückt zugeht. Audio wird mithilfe eines Mikrofons erkannt und dann über die Sprach-zu-Text-API von Google analysiert. Der Text wird von einem MQTT-Broker verarbeitet, der ihn an ein Arduino weitergibt. Dieser Arduino treibt Servos in der Roboterhand an, um den Text als Gebärdensprache nachzubilden.
Das Hauptboard des Projekts ist ein Raspberry Pi 4 B neben einem Arduino Nano 33 IoT. Der Pi ist mit einem Raspberry Pi Camera Module 3 und einem Razer Seiren Mini-Mikrofon verbunden. Der Arduino ist mit den sechs Servomotoren verbunden, die in der Handprothese verwendet werden. Alles ist in einem maßgeschneiderten Gehäuse montiert.
In Bezug auf die Software verwendet Singh einige Tools, darunter MQTT, OpenCV und Tensorflow. Wenn Sie mehr über die Programmierung dieses Projekts erfahren möchten, haben Sie Glück. Singh hat beschlossen, das gesamte Projekt als Open Source zu veröffentlichen, damit Sie weitere Details im Projektleitfaden finden, der für veröffentlicht wurde Hackster um zu sehen, wie alles zusammenpasst.
Wenn Sie das sehen möchten Raspberry Pi-Projekt In Aktion können Sie sich das Demo-Video ansehen, das für geteilt wurde Youtube von Singh. Folgen Sie Singh unbedingt, um weitere coole Kreationen sowie zukünftige Updates zu dieser Kreation zu erhalten.