With the advent of AI, all sorts of strange and fascinating things are happening. When it comes to dubbed movies, there is usually a mismatch between the language used in the original film and the dubbed version, especially when it comes to lip movement. If you observe closely, the voice often doesn’t sync with the actor’s lips, and it becomes noticeable to the audience.
In the past, to minimize this discrepancy, writers used to write dialogues in the dubbed language that closely matched the words and sounds of the original language to ensure the actor’s lip movements appeared natural. But now, with the rise of AI, that manual effort is becoming unnecessary - AI is handling everything.
A recent example is the first song from the upcoming movie Coolie. With the help of AI, the filmmakers managed to sync the Telugu lyrics with the actors' lip movements so well that it appears as though they actually performed the song in Telugu, eliminating any noticeable difference in pronunciation or lip sync.
సినిమాల్లో లిప్ సింక్ సెట్ చేసేస్తున్న AI..
AI రాకతో అన్నీ చిత్రవిచిత్రాలే జరుగుతున్నాయి. సాధారణంగా డబ్బింగ్ సినిమాల విషయానికొస్తే ఒరిజినల్ సినిమాలో ఉపయోగించిన భాషకూ డబ్బింగ్ చేసిన భాషకూ మధ్య పదాలు పలికేటప్పుడు తేడాలుంటాయి. బాగా గమనిస్తే ఆ వాయిస్ సింక్ అవ్వకపోవడం అన్నది మనకు తెలిసిపోతుంది. గతంలో అలా తేడా ప్రస్ఫుటంగా కనిపించకుండా ఉండేందుకు రైటర్లు డబ్బింగ్ చేసిన భాషలో ఒరిజినల్ భాషలో వాడిన పదాలకు దగ్గరగా ఉండేవిధంగా, నటుడి వాయిస్ సింక్ అయ్యే పదాలనే రాసేవారు. కానీ ఇప్పుడావసరం లేకుండా AI నే అన్నీ చూసుకుంటుంది. దానికి ఉదాహరణే ఇటీవల విదలయిన కూలీ సినిమాలో మొదటి పాట. ఏమాత్రం పలికే విధానాల్లో తేడాలు రాకుండా చేయడంలో, AI సహాయంతో చిత్ర బృందం అచ్చమైన తెలుగు పాటకే ఆ నటులు నటించినంతలా లిప్ సింక్ చేయగలిగారు.
Usually, dialogue/lyric writers for dubbed films write lines to match the lip movements of the actors as closely as possible.
But with the arrival of AI, we’re now entering an era where actors’ lip movements in dubbed versions will be synced using AI to match dialogues/songs… pic.twitter.com/BZsSF5cnmi
