2021年11月6至7日，北京大学IDG麦戈文脑科学研究所成立十周年庆典暨北京大学脑科学国际论坛成功举办。来自美国哈佛大学、斯坦福大学、加州大学伯克利分校、英国伦敦大学学院、德国马普研究所、日本筑波大学、北京师范大学、中科院脑智卓越创新中心等国内外高校和科研机构的知名学者，从分子、细胞、环路、系统、认知、心理、计算、神经精神疾病等多个层面和角度，热情分享了他们在脑科学前沿研究的最新进展，并与线上线下观众频繁互动，在思维的碰撞中激荡出创新的火花。现陆续推出相关学术笔记，让我们重温精彩再出发！

　　本期推出的学术笔记，根据北京大学IDG麦戈文脑科学研究所、生命科学学院唐世明研究员，所作的题为“Studying macaque visual cortex with a large set of natural images”的学术报告整理而成。

　　唐世明研究员作学术报告并与嘉宾观众交流

　　撰稿：孟浩

　　审核：咸逸 、唐世明

　　我们想要理解大脑认知的原理、想要突破人工智能，或者说想要构建一个物理系统，使之能像大脑一样感知和思考，应该从哪里入手呢？最初级的智能起始于感觉系统，知觉不变性对应了思维的基本元素——概念，进而也是大脑构建知识系统及产生智能的基石，就像是底层的操作系统和汇编语言，虽然艰涩难懂，但却是最终理解脑认知不能回避的问题。人脑信息输入有超过80%来自视觉，脑认知的内部运作也主要基于视觉概念。视觉是高等动物最重要的感知通道。视觉认知神经机制研究对于理解大脑智能的奥秘，构建类脑计算、实现人工智能技术突破，均有重要科学意义。但由于技术限制，当前视觉皮层神经生理研究中，可记录的神经元数量和记录时长都有限，因此研究者们通常采用“假设驱动”的研究模式，选定数量较少的人工或自然图片刺激来采集神经反应数据。使用这种带有偏向的刺激集，容易使我们对视觉皮层的理解出现偏差。为了解决这个问题，唐世明团队研发了用于清醒猴长时稳定的双光子成像技术和大视场的单光子成像技术。用以上技术实验室实现了对上万张刺激图片的神经反应记录，进而将研究范式转变为“大数据驱动”的研究方法，以探索视觉信息处理的神经机制。

　　“大数据驱动”的研究范式的核心在于采集神经反应大数据并建立起能够解释反应大数据的定量模型。反应大数据来自神经元对大量ImageNet自然图片的反应。用深度学习模型归纳神经大数据中的反应规律，获得有高反应预测精度的神经模型，借助这样的定量模型我们可以在计算机中做包括特征可视化，强激活图片搜索在内的各种测试，从而更好得理解神经元的编码特性。

　　在此研究范式下，实验室开展了对单细胞和大视场神经元集群这两个尺度的神经反应研究。

　　在单细胞研究方面，通过使用拓展的刺激集开展研究，唐世明团队发现初级视皮层中之前被界定为“朝向敏感神经元”的细胞，对图形表现出了比传统认知更为复杂的选择性。进一步借助长时稳定的清醒猴双光子成像技术，实验室经过连续一周的测量，记录了超过40000张自然图片的神经反应，构建了猕猴V1神经元对自然图片反应的大数据。在此数据基础上得到了预测精度为76%的卷积神经网络（Convolutional Neural Networks, CNN）模型，对模型做特征可视化显示出了V1对局部结构的选择特异性。为了证明神经反应的高选择性并非钙成像引入的artifact，团队还采用Loose-patch方法的进一步验证了V1、V4、IT神经元对自然图片的超稀疏表征。

　　在大视场神经元集群的研究方面，唐世明团队首先开发了清醒猴长时稳定的大视场钙成像技术。为了解决长时记录中光漂白问题，团队采用了间歇曝光的测量方案，这一大视场成像技术，在测试中展现出了良好的反应可靠性和长时稳定性。

　　借助该技术，实验室在5天的记录期内，采集了视皮层V4神经元群体对19900张自然图片的反应，获取了相应的神经反应大数据集。大数据采集此间，每天会重复测试100张检测图片的神经反应，用于监测多天反应一致性。

　　基于获得的神经反应数据，团队使用“知识蒸馏（Knowledge distillation）+模型微调”的迁移训练方法，拟合得到了高精度的神经模型。神经模型支持我们在计算机中做实验所不允许的更大规模测试，团队在模型上测试了皮层对50000张自然图片的反应，并用模型预测的反应前9强图片表示出皮层上各处的反应选择性，由此得到V4脑区的功能地图。功能地图反映了V4脑区对颜色、朝向、弧线、点阵、网格、面孔等丰富自然图片特征的分区编码。

　　为了进一步检验模型得出的功能地图，研究者实验测试了皮层对弧线、面孔、紫色物体等各类自然图片的反应。大脑皮层的反应与V4功能地图匹配良好。

　　唐世明团队通过自主研发的清醒猴长时稳定双光子成像技术和清醒猴长时稳定大视场钙成像技术，使用自然场景刺激获得了大脑皮层神经反应的大数据，由此支持了一种数据驱动的研究范式。在这项研究中，研究团队旨在更全面地理解视觉神经信息处理，同时也为大脑启发的人工智能提供了一个全新的数据库。最后，唐世明研究员的愿景是探究我们的大脑中智能是如何运行的。这条路很漫长，期待有识之士加入唐世明研究团队，凝心聚力，砥砺前行。

　　参考文献

　　[1] Tang, S., Tai, et al.(2018). Complex Pattern Selectivity in Macaque Primary Visual Cortex Revealed by Large-Scale Two-Photon Imaging. Current Biology 28, 38-48.e3. 

　　[2] Tang, S., Zhang, Y.M., Li Z.H., et al. (2018)Large-scale two-photon imaging revealed super-sparse population codes in the V1 superficial layer of awake monkeys. eLife 7, e33370.

　　[3] Li, M., Liu F, Jiang, H., Lee, T.S., Tang, S.(2007). Long-Term Two-Photon Imaging in Awake Macaque Monkey. Neuron 93:1049–1057.

　　[4]Gallant, J. L., Braun, J., and Van Essen, D. C. (1993). Selectivity for polar, hyperbolic, and Cartesian gratings in macaque visual cortex. Science 259, 100–103.

　　[5] Desimone, R., Albright, T. D., Gross, C. G., and Bruce, C. (1984). Stimulus-selective properties of inferior temporal neurons in the macaque. The Journal of Neuroscience 4 (8): 2051–2062.

　　[6] Lafer-Sousa R., Conway BR. (2013) Parallel, multi-stage processing of colors, faces and shapes in macaque inferior temporal cortex. Nat Neurosci 16(12): 1870–1878.