Sie sind vermutlich noch nicht im Forum angemeldet - Klicken Sie hier um sich kostenlos anzumelden Impressum 

Synchrondatenbank (von Arne Kaul) | Deutsche Synchronkartei | Seriensynchron - SeSyDaB | dubDB | Die vergessenen Filme || Datenschutz
Sie können sich hier anmelden
Dieses Thema hat 20 Antworten
und wurde 1.418 mal aufgerufen
 Allgemeines
Seiten 1 | 2
Jochen


Beiträge: 779

24.09.2020 13:12
Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Dieses vor drei Wochen veröffentlicht Video zeigt eine Software die Lippen an das gesprochene anpasst. Man sieht das auch später wunderbar in einem Beispiel mit Ironman und auch der deutschen Synchro.

Die Lippen passen mit dieser Intelligenz besser zum gesprochenen als zuvor.

https://youtu.be/0fXaDCZNOJc

Ein absoluter Gamechanger.

Hier könnt ihr es selbst testen : http://bhaasha.iiit.ac.in/lipsync/ - Limitiert auf 20 Sekunden.

Psilocybin


Beiträge: 1.161

24.09.2020 16:42
#2 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Sieht noch ein bisschen nach South Park aus.

Dubber der Weiße


Beiträge: 5.422

24.09.2020 17:26
#3 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Hat mit Synchron nichts zu tun. Das wird noch viele, viele Jahre dauern.

UFKA8149



Beiträge: 9.678

24.09.2020 20:17
#4 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Wie ich sehe bist du mit dem Meme des Sommers nicht vertraut: https://www.youtube.com/watch?v=TMtpOpfKRb0

Das nun beiseite. Solche Programme wirst du nicht großpixelig verwenden können, da die verwaschenen Pixel merkbar werden bei großer Fläche. Damit man es zB bei Iron Man glaubwürdig und ohne Störung schafft, muss man mit manuellen VFX rangehen. (Die Deepfake-Szene in Mr. Robot S4 hat man sicher nicht nur mit 0815-Deepfaking geschafft, die Obama-Szene könnte man mit aktueller Software schaffen.)

Dubber der Weiße


Beiträge: 5.422

24.09.2020 20:52
#5 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Lippen-Finetuning hat mit Synchron und der kreativen Angleichung auf das SPIEL nichts zu tun. Synchron wird noch viele Jahrzehnte existieren. Das hier sieht mehr nach Comedyshow aus.

Selbst die Angst vor dem großen Algorithmus ist unbegründet. Klar, kann sein, dass eines Tages Tom Cruise seinen Text auch auf Deutsch sagen könnte, der dann perfekt repliziert auf die remodulierten Lippenbewegungen gespielt werden könnte. Könnte. Denn Cruise nimmt für Cruise-Leistung auch Cruise-Kohle. Und da ist jede Synchro in den nächsten 2000 Jahren noch günstiger. Wird es im A-Bereich lange, lange nicht geben. Bei Midrange-Performern wäre der technische Aufwänd in den geschätzt nächsten 100 Jahren noch zu groß.

Erst, wenn da eine KI veritable kreative Entscheidungen treffen und umsetzen kann, und letztlich auch Avatare schauspielern, ist Synchron erledigt. Aber dann liegen wir eh alle längst in den Matrix-Badewannen und liefern nur noch Strom für Agent Smith.

xergan


Beiträge: 426

25.09.2020 05:55
#6 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Abwarten, das gezeigte Video nutzte jetzt nicht grade FullHD oder gar 4K Material. Ich bin schon überzeugt, dass das eben nicht verwaschen sein muss, da die KI nur genug Material braucht um die Töne nachzuahmen. Ein Film sollte das bereits bieten, aber das kann man ja auch anderweitig nachstellen. Verwaschen muss das nicht wirklich sein. Die Frage ist halt eher ob die Studios das wollen? Wir haben ja schon am Suicide Squad Desaster gesehen, wie das enden kann. Und Synchros haben bei den Studios selbst meist eine SEHR untergeordnete Rolle. Ansonsten würden die das nicht oftmals so günstig wie möglich oder als Marketinginstrument (C-Star spricht...) nutzen. Gute Synchros haben selten echte Lippensynchronitätsprobleme, die würden mit solch ner Technik dann perfekt werden, weil manche Stellen einfach nicht lippensynchron gehen, diese aber meist so marginal sind, dass die Veränderung nicht auffallen würde.
Aber guckt doch schon allein, wie selten auf Video noch deutsche Master verwendet werden, also man eingebrannten deutschen Text hat. Da wird viel lieber nach der oftmals schicken Kinoauswertung auch komplett drauf verzichtet und die deutschen Master erscheinen höchstens noch bei den öffentlich Rechtlichen (sie existieren also noch!). Nee, deswegen wird sich das eben nicht durchsetzen, weils einfach zu teuer ist und kein Interesse drauf besteht, weil man dann doch glatt Geld für eine ordentliche Integration investieren müsste. Technisch absolut möglich, es ist einfach nur nicht gewünscht.

UFKA8149



Beiträge: 9.678

25.09.2020 13:22
#7 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Dass es nicht gewünscht ist, bezweifle ich. Wenn schon Videospiele seit langem Software verwenden, um die Charakterlippen an die Sprache anzupassen, dann wird's beim größeren Medium Film auch den Bedarf von seiten der Filmstudios geben.
(Angeblich wurden Lippen schon bei manchen Animationsfilmen geändert, meine Recherchen lieferten keine Beweise.)

Meinst du mit dem SuSq-Desaster etwa wie sie aus Synchronitätsgründen zwischen Selbstmordkommando und Suicide Squad wankten?

Nyan-Kun


Beiträge: 5.001

25.09.2020 14:54
#8 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Zitat von 8149 im Beitrag #7
(Angeblich wurden Lippen schon bei manchen Animationsfilmen geändert, meine Recherchen lieferten keine Beweise.)
Ich weiß, dass etwa bei "Kung Fu Panda 3" die Lippenbewegungen an die der chinesischen Sprecher angepasst wurden. Wurde in irgendeinem Interview so gesagt. Weiß nur leider nicht mehr wo. Ist schon eine Weile her das ganze.

Sandokan


Beiträge: 287

25.09.2020 15:04
#9 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Sowas geht wenn überhaupt nur bei Animationsfilmen.
Sprechen hat ja nicht nur mit Lippenbewegungen zu tun. Das ist ein Zusammenspiel von hunderten Muskeln, nicht nur im Gesicht, sondern im ganzen Körper. Wenn man da bei einem realen Schauspieler nur die Lippenbewegungen mit einer Software anpassen würde, sähe das einfach nicht echt aus.

iron


Beiträge: 5.216

25.09.2020 17:05
#10 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Zitat von Dubber der Weiße im Beitrag #3
Hat mit Synchron nichts zu tun.

Genau! Was hier gezeigt wird, ist "Weiße CGI-Magie", Deep-Fakes zu Satire-Zwecken und um uns zum Schmunzeln und zum Lachen zu bringen. Die Lippenbewegungen werden dem Gesprochenen angepasst, nicht umgekehrt, wie in einer echten Synchro. Doweney jr. spricht in dem Video zwar scheinbar deutsch, aber höchstwahrscheinlich mit der Stimme von Tobias Meister. Dass die Hollywoodstars irgendwann mit ihrer eigenen Stimme deutsch reden lassen kann, wird imho. für die Synchronbranche noch lange Zukunftsmusik bleiben.
Sowas eignet sich vielleicht für Computerspiele und Videogames zu verbessern, mag durchaus sein.
Mir fallen in diesem Zusammenhang die "Bad Lips Reading"- Videos - ganz ohne CGI - ein, die ich vor Monaten verlinkt habe. Das alles eignet sich "lediglich" für geniale Politiker-Verarsche, aber um in einer richtigen Synchro so weit zu kommen, müsste man vollkommen von den Originaldialogen abweichen und sie mit frei erfundenen Dialogen unterlegen, damit die gesprochenen Laute exakt den Mundbewegungen entsprächen.
Rainer Brandt würde dagegen wie ein Ausbund von Originaltreue zur Vorlage erscheinen (zugespitzt formuliert);))).

Dubber der Weiße


Beiträge: 5.422

25.09.2020 17:33
#11 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Yep. Kurz gesagt: Jeder Einzelne, der das hier heute, morgen oder auch in den nächsten zehn Jahren liest, wird das Ende der Synchronbranche nicht mehr selbst erleben. Und jene, die dann in der Ära der so erstarkten K.I. leben, werden ganz, ganz andere Sorgen als Synchron haben. Insofern... who cares.

Pierrepoint


Beiträge: 27

25.09.2020 21:26
#12 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Hmm, ich steh hier bei der ganzen Diskussion völlig auf dem Schlauch. Selbst wenn das ganze funktionieren würde, was dann?
Dann bräuchte man ja auch für jedes Land eine gesonderte video Plattform, statt wie bisher nur getrennte audiospuren. Oder wo ist mein Denkfehler?

berti


Beiträge: 17.846

25.09.2020 21:33
#13 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Und selbst wenn man es zunächst zumindest im Animationsbereich so machen sollte: Würde das dann nicht Probleme geben, wenn Filme/Serien mit mehreren Sprachfassungen, aber identischem Bildmaster auf DVD erscheinen? Denn dann würde ja nur eine der Tonspuren lippensynchron verlaufen, die andere(n) wäre dagegen völlig asynchron.

UFKA8149



Beiträge: 9.678

26.09.2020 01:28
#14 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Sobald diese Software marktreif ist, wird der physische Markt praktisch ausgestorben sein.
(Praktisch könnte man eig. mehrere Videomaster auf 1 Disc packen bzw. nur bei den Szenen wo man wirklich die Lippen sieht. Benötigt aber auf Dauer mehr Speicherplatz.)

VanToby
Forumsleiter

Beiträge: 42.467

26.09.2020 15:02
#15 RE: Lippenbewegungen an das Gesprochene anpassen Zitat · antworten

Das Verfahren, ein Bildmaster mit mehreren Sprachfassungen zu belegen, gibt es ja (leider) auch im extrem boomenden Streaming-Markt. Selbst wenn man den zusätzlichen Speicherplatz auf sich nähme und die Möglichkeit des problemlosen Hinundherschaltens evtl. aufgäbe (wobei das bestimmt auch technisch machbar wäre), sehe ich da eher ein Lizenzproblem: neben den - ja jetzt bereits aus Anbietersicht unbequem teuren - Synchronfassungen müsste man nun doch immer auch eine eigene Bildfassung lizensieren. Nicht einmal Fernsehsender tun dies inzwischen (leider²) mehr immer. (Oder sie bauen sich ein neues deutsches Master, was anscheinend weniger aufwendig/kostenintensiv ist.) Im Falle von Eigenproduktionen, die ausschließlich selbst ausgewertet werden, ist das unproblematisch. Aber ein größerer Teil würde auf einmal im immer wichtigeren internationalen, aber zugleich umkämpften (und damit finanziell nicht überstrapazierfähigen) Streamingmarkt vermutlich unvermarktbar. Allein deswegen wird sich diese Lösung, denke ich, kaum durchsetzen.

Wo soll die im Übrigen hergestellt werden? Auch bei einer Synchronfirma? Oder direkt in den USA/woauchimmer? Bei anderen, darauf spezialisierten Drittfirmen? Im ersteren Fall käme ein erheblicher Mehraufwand für Firmen dazu, den sich nur die großen Firmen mit ihren Raumschiff-Enterprise-Empfangshallen leisten können. Im zweiten Fall müsste dann wohl leider auf eine kompetente deutsche Cutterin verzichtet werden, die auf wirkliche Exaktheit überprüft. Im dritten Fall gäbe es praktisch zwei separate Ausschreibeverfahrungen pro Produktion, was nicht im Interesse des Auftraggebers sein dürfte.


In diesem Sinne:

Zitat von Psilocybin im Beitrag #2
Sieht noch ein bisschen nach South Park aus.


Aber nur, wenn wir dann auch genauso dreckig frei Schnauze texten dürfen wie Elsholtz/Klapdor in den ersten SP-Staffeln. Deal?

Seiten 1 | 2
 Sprung  

Farb-Legende: blau = Spekulation, orange = Trailer-Besetzung, grün = endgültige Besetzung, rot = Korrektur/Ergänzung zur endgültigen Besetzung


Wir lieben Synchron.
Erreichbar unter
215072.homepagemodules.de -- forum.serien-synchron.de -- forum.seriensynchron.de

Weitere Smileys auf www.smilie-harvester.de


Xobor Forum Software von Xobor | Forum, Fotos, Chat und mehr mit Xobor
Datenschutz