AI-3D创作引擎-TikTok研发
字节跳动 查看所有职位
- 北京市
- 长期
- 全职
在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。课题介绍：
图形渲染作为多媒体应用的核心基建，在短视频与互动娱乐爆发的当下，其传统制作管线“周期长、成本高、门槛高”的痛点，严重制约了大众创意的释放。近年来，随着AIGC技术的突破（如NeRF、3DGS等新型表征的崛起），3D生成正从实验探索走向商业化落地，并成为未来构建“空间智能”的关键载体。
本课题核心在于探索3D生成前沿技术，推动3D制作从传统的“建模-仿真-渲染”向“AI物体-AI场景-AI动画-AI渲染”的AIGC新链路演进。通过这一跨越，课题旨在极致降低3D创作门槛，全面赋能泛娱乐互动生态，并为未来的空间智能构筑坚实的技术底座。课题挑战：
1、3D数据不足：当前全球高质量原生3D模型数据严重不足（不足1000万套），远落后于图文和视频领域，导致3D生成面临“数据越来越不够用”的困境。为了支撑庞大的生成需求，我们不仅需要探索更高效的筛选与收集手段，还要攻克如何低成本地从海量短视频和直播场景中提取高质量3D与交互数据的难题；
2、3D大模型训练门槛与复杂度极高：3D生成模型本质上是一个真正的大模型，其训练门槛极高，需要深厚的分布式多卡训练经验和不断“踩坑”试错的过程。在实际训练中，不仅要解决长序列记忆管理、计算资源分配等复杂的工程难题，还必须在“照片级真实感”、“3D多视角一致性”和“生成可控性”之间找到最佳的算法平衡；
3、AI渲染缺乏物理交互与编辑能力：尽管AI渲染（如3DGS）发展迅速，但在实际业务落地中仍受限于算力、效果和一致性。例如，高斯点云难以进行光照交互，仿真互动；同时，由于缺乏传统3DMesh的显式几何特征，AI渲染在处理复杂曲面（如毛发）、支持精细化编辑修改以及保持物理规律一致性上仍存在明显的缺陷；
4、强大的视频生成能力如何有效融合到3D渲染：视频生成模型在动态捕捉和真实感上表现优异，但往往缺乏3D空间的一致性和物理可控性。未来的核心难点在于，如何理清视频生成与3D引擎渲染的交错关系，将视频生成模型中强大的空间/时间语义先验有效借鉴并融入到3D渲染领域，从而弥补隐式生成的缺陷，实现从“被动的视频生成”向“主动交互式3D场景”的跨越。课题价值：
1、降低3D内容生成成本门槛：极致降低3D内容的生成门槛与制作成本，彻底打破传统“建模-仿真-渲染”管线周期长、成本高的专业壁垒。通过AI赋能，让普通用户仅需通过文字、图片或视频等极简输入，即可快速生成可在移动端实时渲染的高质量3D内容，真正实现3D创作的平民化；
2、拓展3D内容应用场景：大幅提升3D内容的应用多样性与场景泛化性，深度契合日均调用超10亿次的泛创作业务场景（如相机特效、直播礼物、数字人等）。依托海量短视频与直播生态的数据飞轮，推动平台从“提供低门槛创作工具”向“下一代UGC-3D互动娱乐平台”跨越，全面激活业务生态；
3、空间智能的底座基石：为未来的空间智能构筑坚实的技术基石。3D生成不仅是构建数字世界虚实融合的核心基础设施，更是实现3D空间理解、推理与交互的关键载体。长远来看，该能力将直接打破纯视觉生成的局限，广泛赋能并应用于XR原生交互、自动驾驶、具身智能以及前沿世界模型的发展。职位要求:1、2027届毕业，获得博士学位，图形学、人工智能算法、计算机、数学相关专业优先；
2、优秀的代码能力、数据结构和基础算法功底，熟练C/C++，熟悉实时图形渲染技术；
3、深入理解神经渲染技术（如NeRF、3DGS）或AIGC-3D技术，具备相关项目科研&落地经验，在SIGGRAPH/SIGGRAPH ASIA/TOG等顶级期刊会议上发表论文者优先；