离离沐雪 Introduction 【CyberMarblueProject】是基于角色扮演大规模语言模型、文本到语音生成、语音驱动Live2D、图像转Live2D等现有技术组合,实现模拟三月月人设的Live2D交互项目。
离离沐雪 目前主要技术栈包括: bilibili-Index-1.9B-Character完成角色扮演LLM GPT-SoVITS(或其他TTS工具)完成TTS THA4(talking-head-anime-4)完成基于单图像+pose驱动的类Live2D 语音驱动Live2D(或者是语音驱动Live2D的pose)暂时未定。
离离沐雪 目前进度: 角色扮演的RAG语料库:【暂未启动,需要编写介绍、问答等内容】【可能需要整理直播问答语料】 TTS:勉强可用,稳定性略差,可以尝试换用其他方法。 THA4:蒸馏完成,需要自行写一个前端工具来整合流程。 语音驱动Live2D【寻找合适的方法,可参考其他AI-Vtuber项目】