تبدیل شدن به کاراکترهای کنترل‌ پذیر توسط هوش مصنوعی فیسبوک

تیم تحقیق‌ و توسعه‌ ی فیسبوک در حوزه‌ی هوش‌مصنوعی، سرویسی به‌ نام  Vid2Play طراحی کرده که از ویدیوهای کاربران کاراکترهای بازی می‌سازه؛ نسخه‌‌ای پیشرفته‌تر از بازی‌های FMV یا «full-motion video» دهه‌ی ۸۰ همچون Night Trap. شبکه‌های عصبی می‌توانند ویدیوهای تصادفی از حرکات خاص کاربران را تجزیه‌وتحلیل کرده، سپس آن کاراکتر و حرکاتش را در محیط‌ های دیگر بازسازی کنند و امکان کنترل آن‌ها به‌‌کمک جوی‌استیک را در اختیار کاربر قرار دهند.

تیم پژوهشی فیسبوک از دو شبکه‌ی عصبی به‌نام‌های Pose2Pose و Pose2Frame استفاده کرده.

ابتدا یک ویدئو به شبکه‌ی عصبی Pose2Pose که برای حرکاتی خاص مانند رقص، تنیس و شمشیربازی طراحی شده، ارسال می‌شود. سپس این سیستم محل قرارگیری شخص موجود در ویدئو را نسبت به پس‌زمینه تشخیص می‌دهد و آن شخص و حرکاتش را از پس‌زمینه ویدئو متمایز می‌کند. در مرحله‌ی بعد، شبکه‌ی عصبی Pose2Frame، شخص را به همراه سایه و اشیائی که در دست دارد، دراختیار می‌گیرد و آن‌ها را در صحنه‌ای تقریبا طبیعی قرار می‌دهد. اکنون ‌می‌توان حرکات آن‌ها را با کیبورد یا جوی‌استیک و براساس حالات بدنشان در ویدئو کنترل کرد.

این سیستم می‌تواند افراد دیگر موجود در ویدئو را فیلتر و در سایر زاویه‌های دوربین نیز قرار دهد. پروژه‌ی فیسبوک شباهت بسیاری به قابلیت content-aware Fill ادوبی دارد که برای حذف عناصر مانند توریست‌ها یا قوطی‌های زباله از ویدئو، از هوش‌مصنوعی استفاده می‌کند.

شرکت‌های دیگر مانند انویدیا نیز نوعی هوش مصنوعی مشابه طراحی کرده‌اند که می‌تواند ویدیوهای زندگی واقعی را به مناظر مجازی مناسب برای بازی انتقال دهد.

حرکات شبیه‌سازی‌شده توسط Vid2Play مشکلاتی نیز دارند و این‌گونه به‌نظر می‌رسد که کاراکترها روی یخ حرکت می‌کنند؛ مشکلی که در انیمیشن‌های سه‌ بعدی به‌عنوان «foot Slide» از آن یاد می‌شود. علاوه‌بر این، دامنه حرکات نیز کمی محدود است. به هر حال این حرکات روی پس‌زمینه‌ی خود بسیار واقع‌گرایانه ظاهر می‌شوند. پروژه‌ی Vid2Play هنوز در مراحل ابتدایی قرار دارد و ما امیدواریم که تیم پژوهشی فیسبوک مشکلات حرکتی را بهبود ببخشد.

Vid2Game فیسبوک می‌تواند تجربه‌ی بازی را بیش‌ازپیش شخصی‌سازی کند و کاربران را قادر می‌سازد تا کاراکتر خود یا شخصیت‌های محبوب یوتیوب را وارد بازی کنند. تیم توسعه‌دهنده‌ی Vid2Game می‌نویسد:

این پروژه به یک مسئله‌ی محاسباتی حل‌ نشده می‌ پردازد و درکل مسیر را برای تولید بازی‌هایی با گرافیک واقع‌گرایانه هموار می‌کند. به‌علاوه، کاراکترهای استخراج‌شده از ویدئوهایی مانند ویدئوهای یوتیوب می‌توانند به دنیای مجازی و واقعیت افزوده راه پیدا کنند.