Tencent meluncurkan HUNYUANPORTRAIT, model AI open-source untuk animasi potret

Tencent merilis model intelijen buatan baru (AI) pada hari Selasa yang dapat menghidupkan gambar yang masih potret. Dijuluki Hunyuanportrait, Design Bahasa Besar (LLM) didasarkan pada arsitektur difusi, dan dapat menghasilkan video clip dengan animasi realistis berdasarkan gambar referensi dan video pemandu. Para peneliti di balik proyek ini menyoroti bahwa design dapat menangkap information wajah dan gerakan spasial untuk secara akurat menyinkronkannya ke dalam gambar referensi. Tencent kini telah bersumber terbuka design AI HUNYUANPORTRAIT, dan dapat diunduh dan dijalankan secara lokal dari repositori populer.

HUNYUANPORTRAIT Tencent bisa menghidupkan Potret

Di sebuah pos Di X (sebelumnya dikenal sebagai Twitter), pegangan resmi Tencent Hunyuan mengumumkan bahwa design Hunyuanportrait sekarang tersedia untuk komunitas terbuka. Version AI dapat diunduh dari Tencent Girub Dan Wajah memeluk Daftar. Selain itu, pra-cetak kertas Merinci model juga di -host di ARXIV. Khususnya, model AI tersedia untuk kasus penggunaan akademik dan penelitian, tetapi tidak untuk penggunaan komersial.

Hunyuanportrait dapat menghasilkan video clip animasi seperti hidup menggunakan gambar referensi dan video clip mengemudi. Ini menangkap data wajah dan position kepala dari video dan menginterpolasi mereka ke gambar potret yang masih. Perusahaan mengklaim bahwa sinkronisasi gerakan itu akurat, dan bahkan perubahan ekspresi wajah yang halus direplikasi.

Arsitektur Hunyuanportrait
Kredit Foto: Tencent

Pada modelnya halaman Peneliti Tencent merinci arsitektur Hunyuanportrait. Ini dibangun di atas arsitektur design difusi yang stabil di samping encoder kontrol kondisi. Encoder pra-terlatih ini memisahkan informasi gerak dan identitas dalam video clip. Information ditangkap sebagai sinyal kontrol, yang kemudian disuntikkan ke dalam potret yang masih ada melalui denoising unet. Perusahaan mengklaim ini membawa akurasi spasial serta konsistensi temporal ke dalam result.

Tencent mengklaim bahwa version AI mengungguli alternatif open-source yang ada pada criterion konsistensi dan pengendalian temporal, tetapi metrik ini belum diverifikasi secara independen.

Version semacam itu dapat berguna dalam industri pembuatan film dan animasi. Secara tradisional, animator secara manual keyframe ekspresi wajah atau menggunakan sistem penangkapan gerak yang mahal untuk menghidupkan karakter secara realistis. Model seperti Hunyuanportrait akan memungkinkan mereka untuk hanya memberi makan desain karakter dan gerakan target serta ekspresi wajah, dan itu akan dapat menghasilkan output. LLMS seperti itu juga memiliki potensi untuk membuat animasi berkualitas tinggi dapat diakses oleh studio yang lebih kecil dan pencipta independen.