1 课题组介绍

殷亚凤，必威西汉姆联官网助理教授（特聘研究员），博士生导师。2017年于必威betway西汉姆联网站获得博士学位，2014年9月至2015年9月于美国威廉与玛丽学院访问交流。主要研究方向为智能感知与视觉计算，包括多模态感知、人体动作识别、手语翻译与生成等。主持多项科研项目，包括国家自然科学基金面上项目与青年项目、江苏省自然科学基金青年项目、江苏省产业前瞻与关键核心技术重点项目子课题等；参与多项重大或重点项目，包括科技部科技创新2030-“新一代人工智能”重大项目、国家自然科学基金重点项目、国家重点研发计划课题等。发表高水平论文40余篇，包括TMC、TC、IEEE COMST（高影响因子期刊）、ACM UBICOMP、IEEE INFOCOM、ACM MM、CVPR、IJCAI等国际一流期刊与会议等。曾获国际一流会议INFOCOM’16分组最佳演讲奖、MobiQuitous’13最佳论文奖、Google Anita Borg亚太区计算机学科女性奖学金、江苏省计算机学会优秀博士学位论文等荣誉。目前，已指导博士、硕士研究生多名，其中多人次获得国家奖学金、必威betway西汉姆联网站优秀研究生标兵、必威betway西汉姆联网站优秀硕士学位论文、必威betway西汉姆联网站优秀毕业生等荣誉。

2 课题组研究方向

课题组主要围绕多模态感知与学习、人体动作识别、手语理解与生成三个方向来开展前沿探索。近年来，尤其关注手语理解与生成方面的研究。

(1) 多模态感知与学习

在多模态感知与学习方向，主要关注多模态感知机制、多模态数据融合、跨模态数据对齐等方面的研究，实现对物体、人、情境等目标的感知。

(2) 人体动作识别

在人体动作识别方向，主要关注基于轻量级端设备的人体动作识别，包括文本输入识别、唇语识别、日常行为识别等，以通过人体动作识别为用户提供个性化的智能服务。

(3) 手语理解与生成

在手语理解与生成方向，主要关注如何将手语视频识别或翻译为口语文本（即手语理解），以及如何将口语文本生成为手语视频（即手语生成）。

3 课题组成果

课题组近年来在CVPR、ACM MM、IJCAI、UBICOMP、INFOCOM、TMC、TC、COMST等国际一流会议和期刊上发表了一系列高水平学术论文。

[1] Bowen Guo, Shiwei Gan, Yafeng Yin*, Xiao Liu, Zhiwei Jiang, Shunmei Meng. Sentence-level Segmentation for Long Sign Language Videos with Captions. Prof. of ACM MM, 2025. (CCF-A)

[2] Shiwei Gan, Yafeng Yin*, Zhiwei Jiang, Hongkai Wen, Lei Xie, and Sanglu Lu. SignGraph: A Sign Sequence is Worth Graphs of Nodes. The IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2024. (CCF-A)

[3] Yafeng Yin, Lei Xie, Zhiwei Jiang, Fu Xiao, Jiannong Cao, and Sanglu Lu. A Systematic Review of Human Activity Recognition based on Mobile Devices: Overview, Progress and Trends. IEEE Communications Surveys and Tutorials, 2024. (Impact Factor: 35.6) (高影响因子期刊)

[4] Yafeng Yin, Zheng Wang, Kang Xia, Lei Xie, and Sanglu Lu. Acoustic-Based Lip Reading for Mobile Devices: Dataset, Benchmark and A Self Distillation-Based Approach. IEEE Transactions on Mobile Computing, 2023. (CCF-A)

[5] Shiwei Gan, Yafeng Yin*, Zhiwei Jiang, Lei Xie, and Sanglu Lu. Towards Real-Time Sign Language Recognition and Translation on Edge Devices. ACM International Conference on Multimedia (ACM MM), 2023. (CCF-A)

[6] Shiwei Gan, Yafeng Yin*, Zhiwei Jiang, Kang Xia, Lei Xie, and Sanglu Lu. Contrastive Learning for Sign Language Recognition and Translation. International Joint Conference on Artificial Intelligence (IJCAI), 2023. (CCF-A)

[7] Shiwei Gan, Yafeng Yin*, Zhiwei Jiang, Lei Xie, and Sanglu Lu. Skeleton-Aware Neural Sign Language Translation. ACM International Conference on Multimedia (ACM MM), 2021. (CCF-A)

[8] Xinchen Zhang, Yafeng Yin*, Lei Xie, Hao Zhang, Zefan Ge, and Sanglu Lu. TouchID: User Authentication on Mobile Devices via Inertial-Touch Gesture Analysis. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies (IMWUT), vol. 4, no. 4, article 162, 2020. (UbiComp 2021). (CCF-A)

[9] Yafeng Yin, Qun Li, Lei Xie, Shanhe Yi, Ed Novak, and Sanglu Lu. CamK: Camera-based Keystroke Detection and Localization for Small Mobile Devices. IEEE Transactions on Mobile Computing, vol. 17, no. 10, pp. 2236-2251, 2018. (CCF-A)

[10] Yafeng Yin, Lei Xie, Jie Wu, and Sanglu Lu. Focus and Shoot: Exploring Auto-Focus in RFID Tag Identification Towards a Specified Area. IEEE Transactions on Computers, vol. 65, no. 3, pp. 888-901, 2016. (CCF-A)

[11] Yafeng Yin, Qun Li, Lei Xie, Shanhe Yi, Edmund Novak, and Sanglu Lu. CamK: a Camera-based Keyboard for Small Mobile Devices. Proc. of IEEE INFOCOM, 2016. (Best-in-Session Presentation Award) (CCF-A)

4 课题组建设

课题组支持学生参加国际会议及国家公派联合培养项目，拓宽视野，提升学术素养；并组织团建活动，以增进团队成员之间的凝聚力；

5 课题组寄语

欢迎热爱科研、勤于思考、善于钻研的同学加入我们！

为者常成，行者常至。愿我们坚定信念，行而不辍，勇攀科研高峰！

6 联系方式

课题组招收2026年入学的博士生和硕士生，也欢迎本科生进组参与科研训练。欢迎对我们研究方向感兴趣的同学, 通过以下邮件联系我们（为方便邮件及时处理，可同时发送至两个邮箱）：

殷亚凤老师: yafeng@nju.edu.cn

甘世维老师: gswycf@qq.com