讲座报告主题：细粒度多模态分析
专家姓名：彭宇新
日期：2022-12-13 时间：14:30
地点：计算机楼208和Tencent会议246-402-663
主办单位：计算机科学与通信工程学院

主讲概况：彭宇新，北京大学二级教授、博雅特聘教授、国家杰出青年科学基金获得者、国家级领军人才、科技部中青年科技创新领军人才、863项目首席专家、中国人工智能产业创新联盟专家委员会主任、中国工程院“人工智能2.0”规划专家委员会专家、北京图象图形学学会副理事长、中国图象图形学学会会士、副秘书长、提名与奖励委员会副主任。主要研究方向为跨媒体分析、计算机视觉、机器学习、人工智能。以第一完成人获2016年北京市科学技术奖一等奖和2020年中国电子学会科技进步一等奖，2008年获北京大学宝钢奖教金优秀奖，2017年获北京大学教学优秀奖。主持了863、国家自然科学基金重点等30多个项目，发表论文170多篇，包括ACM/IEEE Trans和CCF A类论文80多篇。多次参加由美国国家标准技术局NIST举办的国际评测TRECVID视频样例搜索比赛，均获第一名。主持研发的跨媒体互联网内容分析与识别系统已经应用于公安部、工信部、国家广播电视总局等单位。担任IEEE TCSVT等期刊编委。研究专长：跨媒体分析、计算机视觉、机器学习、人工智能。

主讲内容概况：互联网数据具有图像、文本、视频、音频等多模态并存的特点，而现有多模态分析技术通常聚焦于粗粒度的大类，难以满足医疗、农业、海洋、交通等诸多领域的精细化需求。而细粒度多模态分析旨在使计算机能够对多模态内容进行精细化分析，例如将车分为奥迪、宝马、比亚迪等各种车型，将奥迪分为A4、A6、A8等各种子类别；将皮肤病图像细分为黑色素瘤、黑素细胞痣等各种子类别等。其挑战在于不同类别差异小，相同类别差异大。如何借鉴人脑的认知机理，模拟注意力机制学习多粒度的辨识性特征，突破细粒度多模态分析难题，对于提高计算机的感知和认知能力至关重要。本报告将先容大家在细粒度图像分类、细粒度视频检索、细粒度跨媒体检索等方向的相关研究进展，并进行相关系统展示。

欢迎师生参加！