Welcome to the virtual world

数字与生命交谈,虚拟与实境相通

情感共鸣者:基于生成式AI情感交互的数字生命

数字生命流程,点击图标了解更多

通过综合应用最新的AI技术,创建了能与用户进行深度沟通的虚拟存在。该框架使虚拟数字生命能够通过自然的语音和文本交流,理解用户的需求和情绪,提供个性化的响应和互动体验。用户可以直接与这个虚拟存在交流,体验未来式的人机互动。

了解更多

Paraformer

预测目标文字个数以及抽取目标文字对应的声学向量,依据输入的声学向量和目标向量,生产含有语义的特征向量。

LLM

探索大型语言模型如何通过深度学习理解和生成人类语言,实现个性化交互。

VITS

VITS技术负责将LLM模型生成的文本回复转换成语音输出,赋予数字生命声音,使交互更加自然。

BERT

学习BERT模型如何精准识别用户的情绪状态,指导虚拟数字生命的反应,使交互更加人性化。

功能实现

通过集成先进AI技术提升用户与虚拟数字生命之间的交互体验。

语音识别

利用Paraformer技术,系统能够准确地捕捉用户的语音输入,并快速将这些语音内容转换成文本。这一过程不仅提高了识别的准确率,也大大缩短了交互的响应时间,为后续的处理流程打下了基础。

自然语言处理

通过连接至ChatGPT-3.5、ChatGPT-4或文心一言等先进的大型语言模型,系统能够理解并处理文本输入,生成具有高度自然流畅性的语言回答。这些模型的应用极大地增强了系统的交互能力,使得对话更加贴近人类的自然沟通方式。

情绪识别

采用BERT模型进行深入的情感分析,系统能够准确地识别并理解用户的情感状态。根据分析结果,数字生命将以更加情感化的方式做出回应,并触发相应的角色动画,从而提升整体的交互体验。

语音生成

通过VITS + BERT技术,系统将文本回复转换为自然流畅的语音输出,并结合角色动画展现给用户,实现了与虚拟人物之间仿若真实的交流状态。

UE角色动画

借助UE5虚幻引擎的强大渲染能力,我们创建了一个逼真的3D虚拟环境和角色动画。这些动态效果不仅美化了交互界面,也增强了用户的沉浸感和体验感。

用户操作

用户通过长按语音按钮进行语音输入,系统即刻识别并处理这些输入,快速生成并回复自然语言内容。同时,系统根据识别到的用户情绪触发相应的虚拟角色动作,并以情感化的语音形式给出回应

成果展示

基于目前项目的开发进度和现有模型,所实现出的数字生命效果展示

Piamon

PC 小窗展示

Piamon

pc 全屏展示

settings

pc 配置

Digital Life

Life is full of possibilities

Piamon

Mobel 移动端展示

Piamon

display

show

picture

show

picture

联系我们

通过下面的方式与我们取得联系进行沟通

Address

https://github.com/LIEGU0317

感谢大佬投出珍贵的小星星☆

Call Us

+86 18231824845

+86 19713157405

Email Us

liegu0317@qq.com

shuangshengduo@outlook.com

Open Hours

Monday - Friday

9:00AM - 05:00PM

Loading
Your message has been sent. Thank you!