グラフィニカ技術開発プロジェクト

スタイル転写技術のプロダクション活用

学術研究としては古くから存在しているスタイル転写（style transfer）技術を、実際の映像制作プロダクションで効果的に活用するための技術開発に取り組みました。これにより、3Dアニメーションでありながらも水彩画・油彩画などの2Dタッチのニュアンスを含む実験的映像作品『Forest Tale』の制作につながりました。

主旨

グラフィニカは、アートと技術の融合を追求し、多様で創造的なアニメ制作を可能にする技術開発を進めています。このプロジェクトではスタイル転写（style transfer）と呼ばれる手法を実際のアニメーション制作の現場で使えるようにするための技術開発に取り組みました。これにより、水彩画・油彩画など、多様な2Dタッチを3Dアニメーションに適用して、これまでは表現が難しかった様々なスタイルの映像を実現することを可能にしました。近年「生成AI」とも呼ばれている機械学習ベースのアプローチではなく、古典的なテクスチャ合成処理に基づく技術を採用することで、アーティストが安心して使用できてかつ制御しやすくなりました。本技術開発成果を活用して実際に実験的映像作品『Forest Tale』を制作したほか、学術論文を執筆して国際学会SIGGRAPH Asia 2024のTechnical Communications部門で発表をし、Best Paper Awardを受賞しました。今後もアーティストの創造性を最大限に引き出す技術開発を通して、更なる創造的なアニメ制作をサポートしていきます。

© ARCH · Graphinica · Salamander Pictures

実験的映像作品

本技術開発成果を用いた実験的映像作品『Forest Tale』を制作しました。

技術と学術論文

我々が採用した技術は古典的なテクスチャ合成処理に基づくものです。この技術は近年「生成AI」と呼ばれる機械学習に基づくものとは異なるもので、アーティストが安心して使用できてかつ制御しやすい環境を提供しています。詳細は論文（SIGGRAPH Asia 2024 Technical Communications採択）をご参照ください。

論文タイトル

A Practical Style Transfer Pipeline for 3D Animation: Insights from Production R&D

論文著者

論文要旨

Our animation studio has developed a practical style transfer pipeline for creating stylized 3D animation, which is suitable for complex real-world production. This paper presents the insights from our development process, where we explored various options to balance quality, artist control, and workload, leading to several key decisions. For example, we chose patch-based texture synthesis over machine learning for better control and to avoid training data issues. We also addressed specifying style exemplars, managing multiple colors within a scene, controlling outlines and shadows, and reducing temporal noise. These insights were used to further refine our pipeline, ultimately enabling us to produce an experimental short film showcasing various styles.

ダウンロード

技術補足動画

対外発表

発表文献

メディア掲載

受賞