《老友记》上线 3D 版了？
允许用户旋转镜头，且从近景切换到全景观看故事？
今年出炉的 3D 方向 AI 项目 SitCom3D，能够自动补齐《老友记》原剧中的三维拍摄空间，用户可以选择主视图、侧视图等不同角度欣赏剧集。镜头的主导权在观众手中，仿佛亲临拍摄片场。
举个栗子，在原剧中只出现了以下两个画面。
看了《老友记》后，AI直接还原出画面的3D场景，构造不同角度下的镜头故事。
这流畅的运镜，仿佛就是新上线的 3D 版老友记，并且你就是导演！
项目介绍：情景喜剧的三维重构
这个项目由 UC 伯克利的 Georgios Pavlakos 等研究人员在 ECCV 2022 “The One Where They Reconstructed 3D Humans and Environments in TV Shows” 论文中提出，旨在借助 AI 完成影视剧集中的3D重建。
3D建模在很多领域都有广泛的应用，然而传统的重建方式耗时巨大，比如在制造业，一个工业级模型需要专业建模师花费数周时间。目前快速获得3D模型的方式有两种，一种是靠仪器扫描获得三维形状数据，例如点云；另一种则是基于深度学习，使用AI建模。后者更直观，且成本更低。想象一下用手机拍几张、甚至一张照片就能获得高精度的3D模型，既可以为元宇宙线上生活提供基础设施，又能在传统工业领域加速研发流程。
提到2D图像转3D模型，绕不开近两年大火的NeRF神经网络。自2020年发表以来众多高校和业界公司基于它研发了各自版本的NeRF：英伟达推出了极速版的instant NeRF；苹果的NeuMan框架等等。
NeRF为2D转3D提供了新的思路，其背后的机制，相关论文解读有很多，这里仅做简述：NeRF通过对数张2D照片的学习，使用神经辐射场的方式建立起像素点位置(x, y, z)和相机参数(θ, φ)对应图像的volume density体积密度和RGB颜色值的关系，训练完成后以此生成新的视角。通过这种方式，NeRF相较传统的3D建模方式能够生成更精细的还原。
回到TV Show的三维重建项目，如下图(fig2)所示，研究人员正是基于NeRF模型，通过分析整个剧集里的三维信息，精确感知和重建3D人体姿势和演员位置，并生成新的不存在剧集里的2D角度图像。
生成3D模型的原理如下图所示，首先从剧集输入中通过SfM（Structure-from-Motion）方法估计出摄像机的位置，并通过NeRF重建出精确的环境3D场景信息。接着根据多镜头和单镜头的情形，进行人体3D重建。最后基于这些信息进行更多的编辑和开发，比如在电视剧中删除一个人，或者插入一只兔子。
这个项目目前已在github上开源。
项目地址：https://github.com/ethanweber/sitcoms3D
论文地址：https://ethanweber.me/sitcoms3D
感兴趣的小伙伴可以直接在矩池云上复现这个项目，具体操作方式如下：
项目复现：用矩池云快速实现三维重构
1、打开矩池云官网，进入主机市场，找到合适的机器
等待机器启动，启动完成界面如下，点击进入 Jupyter Notebook
2、进入命令行，进行代码下载与安装
依次输入以下命令
cd /mnt
git clone https://hub.fastgit.xyz/ethanweber/sitcoms3D.git
如果下载慢可以用进入 https://hub.fastgit.xyz/ethanweber/sitcoms3D 手动下载后上传
https://github.com/CMUAbstract/cote.git
进入文件夹
cd sitcoms3D/
安装依赖
pip install -r requirements.txt
pip install tqdm
解压数据
矩池云已经为大家准备好了 sitcoms3D 数据，大家直接将 /public/data/image/sitcoms3D_data.zip 解压到 sitcoms3D-master 项目文件夹中的 data 下即可
unzip /public/data/videos_and_music/sitcoms3D_data.zip -d /mnt/sitcoms3D/data
3、进入Jupyter notebook
打开demo，在Jupyter中“Run all cell”即可运行官方的例程。
4、调整版代码
官方 Demo 码有演示性质，直接运行有可能一些变量会受到干扰，因此我们对代码进行了一定的精简，可以根据需要用以下方式进一步进行使用。
这一模型导入的数据文件有以下七个目录，应该是不同的数据，比如默认的sitcom_location = “Friends-monica_apartment” 表示从老友记里面选取数据
在第2个cell中更改sitcom_location 可以改变数据。
sitcom_location = sit_locs[0]
# sitcom_location = "Friends-monica_apartment"
下一步为是选择图像，原文中使用了romdom随机选择一个图像，我们可以加一行代码来指定自己的图像。
# choose a random image to work with
image_name = random.choice(list(nerf_image_name_to_info.keys()))
image_name = "ELR_S09E01_00007186.jpg"
print("Showing camera information for image:", image_name)
pprint(nerf_image_name_to_info[image_name])
更改后的代码如下：在不指定图像的情况下，每次run all cell 即可随机抽取图像。
# import various modules
%load_ext autoreload
%autoreload 2
import copy
import json
import os
import random
from pprint import pprint
import mediapy as media
import numpy as np
import smplx
import torch
import trimesh
from tqdm import tqdm
# some custom code
# gross import... maybe put into a python module later
import sys
sys.path.append("..")
from utils.dataloader import human_to_nerf_space, load_colmap_cameras_from_sitcom_location
from utils.render_utils import render_human
from utils.io import load_from_json
这一段定位了数据的路径并抽取出图像
sit_locs = sorted(os.listdir("../data/sparse_reconstruction_and_nerf_data"))
print(sit_locs)
sitcom_location = sit_locs[3]
print("load.....",sitcom_location)
cameras = load_from_json(f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}/cameras.json")
nerf_image_name_to_info = {}
for dict_ in cameras["frames"]:
nerf_image_name_to_info[dict_["image_name"]] = {
"intrinsics": np.array(dict_["intrinsics"]),
"camtoworld": np.array(dict_["camtoworld"]),
}
image_name = random.choice(list(nerf_image_name_to_info.keys()))
print("image name: ", image_name)
basedir = f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}"
colmap_image_name_to_info = load_colmap_cameras_from_sitcom_location(basedir)
point_cloud_transform = np.array(cameras["point_cloud_transform"])
scale_factor = np.array(cameras["scale_factor"])
# colmap_rescale = float(smpl_data["colmap_rescale"])
根据抽取的图像读取其中的人物数据
# the set of image names that we used for nerf
# these images are included in the sparse_reconstruction_and_nerf_data/ folder
nerf_image_names = set(nerf_image_name_to_info.keys())
# the set of image names that we have smpl parameters for
# this is wherever our method "calibrated multi-shot" was run
human_pairs = load_from_json(f"../data/human_pairs/{sitcom_location}.json")
image_name_to_shot_change_image_name = {}
calibrated_multishot_image_names = set()
for image_name_a, human_idx_a, image_name_b, human_idx_b in human_pairs:
calibrated_multishot_image_names.add(image_name_a)
calibrated_multishot_image_names.add(image_name_b)
image_name_to_shot_change_image_name[image_name_a] = image_name_b
image_name_to_shot_change_image_name[image_name_b] = image_name_a
image_names = nerf_image_names.intersection(calibrated_multishot_image_names)
print("Found {} images that are used for nerf and contain smpl parameters".format(len(image_names)))
# choose a random image name to work with and visualize
# image_name = random.choice(list(image_names))
# image_name = "Friends_S08E20_00001431.jpg"
# read data for the image and a human...
human_data = load_from_json(f"../data/human_data/{sitcom_location}.json")
image_human_data = human_data[image_name]
print("going to visualize image {} with {} humans".format(image_name, len(image_human_data)))
显示读取的图片
image = media.read_image(f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}/images/{image_name}")
media.show_image(image, height=200)
导入SMPL模型
model_folder = "../data/smpl_models"
model_type = "smpl"
gender = "neutral"
body_model = smplx.create(model_folder,
model_type=model_type,
gender=gender)
用于将人物数据加载到模型，提取出mesh的函数
def get_human_obj_mesh(image_name: str, human_idx: int):
if "smpl" not in human_data[image_name][human_idx]:
print(f"smpl values don't exist for {image_name} and human_idx {human_idx}")
return None
smpl_data = human_data[image_name][human_idx]["smpl"]
print(smpl_data.keys())
camera_translation = torch.tensor(smpl_data["camera_translation"])[None]
betas = torch.tensor(smpl_data["betas"])[None]
global_orient = torch.tensor(smpl_data["global_orient"])[None]
body_pose = torch.tensor(smpl_data["body_pose"])[None]
colmap_rescale = float(smpl_data["colmap_rescale"])
output = body_model(
betas=betas,
global_orient=global_orient,
body_pose=body_pose,
return_verts=True)
vertices = output.vertices + camera_translation
pose_colmap = torch.from_numpy(colmap_image_name_to_info[image_name]["camtoworld"]).float()
pose_colmap[:3,3] *= colmap_rescale
# homogeneous coordinates
vertices = torch.cat([vertices, torch.ones_like(vertices[..., 0:1])], dim=-1)
vertices = vertices @ pose_colmap.T
vertices = vertices[...,:3]
out_mesh = trimesh.Trimesh(vertices[0].detach().numpy(), body_model.faces, process=False)
human_obj_filename = "temp.obj"
out_mesh.export(human_obj_filename);
# specify the human to render
obj_mesh_original = trimesh.load(human_obj_filename, process=False)
obj_mesh = human_to_nerf_space(obj_mesh_original, point_cloud_transform, scale_factor, colmap_rescale)
return obj_mesh
应用get_human_obj_mesh函数，获取图像的mesh数据
human_obj_meshes = []
for human_idx in range(len(image_human_data)):
print("human_idx", human_idx)
obj_mesh = get_human_obj_mesh(image_name, human_idx)
if obj_mesh:
human_obj_meshes.append(obj_mesh)
现实提取出模型的结果
def show_humans(human_obj_meshes, pose, K, image_name):
image = media.read_image(f"../data/sparse_reconstruction_and_nerf_data/{sitcom_location}/images/{image_name}")
color_h, depth_h, alpha_h = render_human(human_obj_meshes, pose, K)
media.show_image(image, height=200, title="Image we use for camera pose and intrinsics")
media.show_image(color_h, height=200, title="Image of humans rendered from this camera")
composited = (color_h * alpha_h[...,None] + image * (1 - alpha_h[...,None])).astype("uint8")
media.show_image(composited, height=200, title="Composited image")
pose = nerf_image_name_to_info[image_name]["camtoworld"]
K = nerf_image_name_to_info[image_name]["intrinsics"]
show_humans(human_obj_meshes, pose, K, image_name) # image_name to read the background image
模型的局限性
当然，Sitcoms 也受到训练模型的的一些局限性，在我们运行的案例中，有相对成功的结果，也有相对混乱的结果。
相对失败的图片可以完整地提取出三维信息，但有可能图片仅能显示出画面的一部分人，甚至会将一些物体误判为人物，Sitcom 仍存在一些鲁棒性的问题。
参考资料
论文地址：https://arxiv.org/abs/2207.14279
GitHub地址：https://github.com/ethanweber/sitcoms3D
项目主页：https://ethanweber.me/sitcoms3D/
转载：https://blog.csdn.net/weixin_48344945/article/details/128256037