لیپ‌سینک فارسی چطور کار می‌کند و چرا سخت‌تر است

اگر ویدیوهای لیپ‌سینک فارسی و انگلیسی را کنار هم بگذارید، معمولاً فارسی کمی ضعیف‌تر به نظر می‌رسد. این تصادفی نیست و دلیلش هم این نیست که کسی برای فارسی کم‌تر زحمت کشیده. چند خصوصیت خود زبان و خط فارسی، کار را واقعاً سخت‌تر می‌کند.

اول، خود فرآیند

لیپ‌سینک یعنی ساختن حرکت لب و عضلات پایین صورت، متناسب با صدایی که پخش می‌شود. مدل، صدا را به واحدهای آوایی تقسیم می‌کند، برای هر واحد شکل دهان متناظر را تعیین می‌کند، و بعد این شکل‌ها را روی چهره ویدیوی اصلی می‌نشاند — به‌طوری که بقیه صورت، نور و حرکت سر دست‌نخورده بماند.

همین جمله آخر است که سختی اصلی را نشان می‌دهد: خروجی باید هم با صدا هماهنگ باشد، هم با چهره‌ای که از قبل وجود داشته.

چرا فارسی دشوارتر است

مصوت‌های کوتاه نوشته نمی‌شوند

در فارسی، فتحه و کسره و ضمه معمولاً نوشته نمی‌شوند. «مرد» می‌تواند «مَرد» باشد یا «مُرد» — دو تلفظ با دو شکل دهان متفاوت. مدل باید از معنای جمله حدس بزند، و هر حدسی احتمال خطا دارد.

اتصال حرف‌ها و کشیدگی

خط فارسی متصل است و مرز کلمه همیشه با فاصله مشخص نمی‌شود. نیم‌فاصله در «می‌روم» یک کلمه را نگه می‌دارد، ولی اگر جای آن فاصله کامل بیاید، دو واحد جدا خوانده می‌شود و آهنگ جمله عوض می‌شود.

کسره اضافه

ترکیب‌های اضافی — «کتابِ من» — با یک مصوت کوتاه ساخته می‌شوند که نوشته نمی‌شود. تشخیص اینکه دو کلمه به هم اضافه شده‌اند یا نه، به تحلیل نحوی نیاز دارد؛ و همین یک مصوت، طول کلمه و در نتیجه زمان‌بندی حرکت لب را تغییر می‌دهد.

داده کمتر

و در نهایت، حجم داده آموزشی فارسی در مقایسه با انگلیسی بسیار کمتر است. این تنها موردی در این فهرست است که با زمان بهتر می‌شود.

آنچه در کنترل شماست

مدل را نمی‌توانید عوض کنید، اما ورودی را می‌توانید — و ورودی، سهم بزرگی در کیفیت خروجی دارد:

• نیم‌فاصله را درست بگذارید. «می‌شود» و «می شود» دو زمان‌بندی متفاوت تولید می‌کنند.
• اسم خاص و کلمه خارجی را بسازید و گوش کنید. اگر غلط تلفظ شد، آوانگاری فارسی‌اش را بنویسید.
• اعداد را با حروف بنویسید، جایی که مهم است. «۱۴۰۵» می‌تواند «هزار و چهارصد و پنج» خوانده شود یا «چهارده صفر پنج».
• علائم نگارشی را جدی بگیرید. نقطه و ویرگول، مکث می‌سازند و مکث، چیزی است که جمله را طبیعی می‌کند.

انتظار واقع‌بینانه

لیپ‌سینک فارسی امروز به جایی رسیده که بیننده معمولی، در ویدیوی کوتاه و با متن روان، تفاوتی حس نمی‌کند. در جمله‌های طولانی، اسم‌های ناآشنا و متن‌های اداری، فاصله همچنان دیده می‌شود. اگر متن را برای گفتار بنویسید — نه برای خواندن — بیشترین بخش این فاصله را خودتان پر کرده‌اید.