人工智能

谷歌自动重建了果蝇完整大脑:40万亿像素图像首度公开

作者:来源:发布时间:2019-08-12 11:03我要评论

近日,谷歌与霍华德 休斯医学研究所 (HHMI) 和剑桥大学合作,发布了一项深入研究果蝇大脑的重磅成果 —— 自动重建整个果蝇的大脑。他们使用数千个谷歌云 TPU,重建的完整果蝇大脑高达 40 万亿像素。有了完整的大脑图像,科学家距离了解大脑如何工作更近了一步。

你知道吗?果蝇是公认被人类研究的最彻底的生物之一,截至目前,已有 8 个诺贝尔奖颁发给使用果蝇的研究,这些研究推动了分子生物学、遗传学和神经科学的发展。

科学家们一直梦想通过绘制完整的大脑神经网络的结构,以了解神经系统是如何工作的。

最近研究的一个主要目标是果蝇的大脑。

果蝇的一个重要优势是它们的大小:果蝇的大脑相对较小,只有10万个神经元,相比之下,老鼠的大脑有1亿个神经元,人类的大脑有1000亿个神经元。

这使得果蝇的大脑更容易作为一个完整的回路来研究。

近日,谷歌与霍华德 休斯医学研究所(HHMI)和剑桥大学合作,发布了一项最新深入研究果蝇大脑的研究成果——自动重建整个果蝇的大脑。

果蝇大脑的自动重建

这篇论文题为“利用Flood-Filling网络和局部调整自动重建连续切片成像的果蝇大脑”:

来自谷歌、霍华德 休斯医学研究所(HHMI)Janelia研究园区以及剑桥大学的一共16位研究人员参与了这个研究,其中,第一作者Peter H. Li是谷歌研究科学家,主要研究方向包括一般科学、机器智能、机器感知。

Peter H. Li

他们还提供了果蝇大脑完整图像的展示,任何人都可以下载查看、或使用交互式工具在线浏览,他们开发了一个3D的交互界面,称为Neuroglancer。

Neuroglancer的演示

这不是果蝇大脑第一次得到完整绘制,今年1月,Science 杂志用封面报道,介绍了 MIT 和霍华德·休斯医学研究所(HHMI)科学家们成功对果蝇的完整大脑进行了成像,并且清晰度达到了纳米级。但那次仍是人工的方法,使用了两种最先进的显微镜技术。

几十年来,神经科学家一直梦想绘制出一幅完整的大脑神经网络的精细地图,但对于拥有1000亿神经网络的人脑,需要处理的数据量之巨大是难以想象的。如果能自动重建果蝇大脑,也许离自动绘制人脑就更近一步了。

这也不是Peter H. Li的团队第一次试图用AI方法绘制大脑神经元,他们分别在2016年和2018年在更小的数据集上进行了研究,如下图右下角所示。

一个40万亿像素的果蝇大脑的3D重建;右下角分别是谷歌AI在2016和2018年分析的较小数据集。

在2018年,谷歌与德国马克斯普朗克神经生物学研究所合作,开发了一种基于深度学习的系统,可以自动映射大脑的神经元。他们对100万立方微米斑胸草雀大脑扫描图像进行了重建。

研究人员称,由于成像的高分辨率,即使只有一立方毫米的脑组织,也可以产生超过 1000TB 的数据。因此,这次重建整个果蝇的大脑,可想数据量有多庞大。

用于处理数据的,是谷歌的Cloud TPU,而且是数千个。

Google AI负责人Jeff Dean也在推特上感叹道:

TPU真的会飞,GoogleAI的科学家使用TPU来帮助重建了整个果蝇大脑的神经连接。

下面,新智元带来对这一研究的详细解读:

40万亿像素果蝇大脑,自动重建。

在实验过程中,主要采用的数据集是FAFB,它是“full adult fly brain”(完整成年果蝇大脑)的缩写。

研究人员在此数据集上,将果蝇的大脑切成了成千上万个40纳米的超薄切片,而后用透射电子显微镜对每个切片进行成像,这就产生了超过40万亿像素的大脑图像。并且将这些2D图像整合成连贯的3D果蝇大脑图像。

接下来,研究人员使用了数千个云TPU,并应用Flood-Filling Network (FFN),以便自动跟踪果蝇大脑中的每个神经元。

通过FFN对整个果蝇大脑进行密集分割(dense segmentation)

上图中的A是3D渲染的FAFB数据集平滑组织掩膜(smoothed tissue mask)。任意冠状切片(数据集XY平面)显示了整个内部的FAFB-FFN1分割。B-E展示了增加缩放比例后的效果。

自动神经元重建与手动神经元跟踪做验证对比

虽然这个算法总体运行效果还算不错,但是当对齐(alignment)不够完美(连续切片中的图像内容不稳定)或者偶尔由于在成像过程中丢失了多个连续切片时,性能会有所下降。

为了弥补这个这个问题,研究人员便将FFN与两个新程序结合起来。

首先,估计出3D图像中各个区域切片之间的一致性,然后在FFN跟踪每个神经元的时候局部稳定图像中的内容。

其次,研究人员使用SECGAN来计算图像体积(volume)中缺失的切片,而当使用SECGAN时,研究人员发现FFN能够更可靠地跟踪多个缺失切片的位置。

局部调整(Local Realignment,LR)

不规则截面的替换

整体FAFB-FFN1的分割pipeline

Segmentation-assisted神经元跟踪

果蝇大脑与Neuroglancer的交互可视化

当处理包含数万亿像素和形状复杂的物体的3D图像时,可视化既重要又困难。受谷歌开发新可视化技术的历史启发,研究人员设计了一种可扩展且功能强大的新工具,任何拥有支持WebGL的网页浏览器的人都可以访问。

结果就是Neuroglancer,一个在github上的开源项目,可以查看petabyte级3D volume,并支持许多高级功能,如任意轴横截面重构(arbitrary-axis cross-sectional reslicing),多分辨率网格,以及通过与Python集成开发自定义分析workflow的强大功能。该工具已被合作者广泛使用,包括艾伦脑科学研究所、哈佛大学、HHMI、马克斯普朗克研究所(Max Planck Institute)、MIT、普林斯顿大学等。

未来工作

谷歌表示,HHMI和剑桥大学的合作者已经开始使用这种重建来加速他们对果蝇大脑学习、记忆和感知的研究。然而,由于建立连接组需要识别synapses,因此上述结果还不是真正的connectome。他们正与Janelia Research Campus 的FlyEM团队密切合作,利用“ FIB-SEM ”技术获得的图像,创建一个高度验证且详尽的果蝇大脑的connectome。


责任编辑:齐旭
相关链接

2019世界VR产业大会新闻发布会

6月20日,工业和信息化部、江西省人民政府在北京联合召开新闻发布会,介绍2019世界VR产业大会有关情况及筹备工作进展。

第十一届中国中部投资贸易博览会电子信息产业发展论坛

5月19日,第十一届中国中部投资贸易博览会电子信息产业发展论坛在江西南昌召开。南昌市人民政府副市长杨文斌、江西省工信厅副厅长王亦斌出席并致辞。

2019世界超高清视频产业发展大会

5月9日,2019 世界超高清视频(4K/8K)产业发展大会在广州召开。大会由工业和信息化部、国家广播电视总局、中央广播电视总台、广东省人民政府共同主办。工业和信息化部部长苗圩出席大会并致辞。

第七届中国电子信息博览会

本次峰会主题是“创新驱动发展 智慧赋能未来”,将邀请政府行业主管部门、国内外著名专家学者和企业家发表主题演讲,深入探讨产业创新发展新模式、新动能、新路径,推动电子信息产业高质量发展。...

首届全球IC企业家大会

12月11日,由工业和信息化部、上海市人民政府指导,中国半导体行业协会、中国电子信息产业发展研究院主办,北京赛迪会展有限公司、中国电子报社、上海市集成电路行业协会承办的“首届全球IC企业家大会暨第十六届中国国际...

2018世界VR产业大会

10月19日,2018世界VR产业大会在南昌盛大开幕。开幕式上,全国政协副主席卢展工宣读国家主席习近平贺信,工业和信息化部部长苗圩,江西省委书记刘奇,江西省委常委、南昌市委书记殷美根分别致辞。

第二届中国虚拟现实创新创业大赛启动...

8月20日,在中国创新创业大赛组委会办公室指导下,由虚拟现实产业联盟、国科创新创业投资有限公司共同举办的第二届中国虚拟现实创新创业大赛启动新闻发布会在北京举行。

2018年上半年家电网购分析报告发布会

8月2日,工业和信息化部赛迪研究院、中国电子报社在北京发布了《2018年上半年家电网购分析报告》(以下简称《家电网购报告》)。报告显示,2018年上半年,我国B2C家电网购市场(含移动终端)规模达2641亿元...

2018制造业“双创”高峰论坛

6月22日,2018制造业“双创”高峰论坛在北京举办。本次论坛由中国电子信息产业发展研究院、中国制造企业双创发展联盟和中国软件行业协会工业互联网分会主办,中国电子报社、北京云道智造科技有限公司和中国船舶工...

2018世界VR产业大会新闻发布会

5月21日,记者从在北京人民大会堂召开的2018世界VR产业大会新闻发布会上获悉,由工业和信息化部、江西省人民政府共同主办,中国电子信息产业发展研究院、江西省工业和信息化委员会、南昌市人民政府、虚拟现实产业...

数字经济前沿论坛-CITE2018第六届中国电...

为贯彻落实党的十九大精神,充分展示新一代信息技术产业最新发展成就,促进产业核心技术突破,加快形成数字经济新动能,引领信息技术产业供给侧改革,工业和信息化部、深圳市人民政府将于2018年4月9日-11日在深圳市共 ...

中国超高清视频(4K)产业发展大会

3月29日,中国超高清视频(4K)产业发展大会在广州市召开。大会由工业和信息化部、国家广播电视总局、广东省人民政府主办,广东省经济和信息化委员会、广东省新闻出版广电局、广东省通信管理局、广州市人民政府、中...

2019上半年中国家电市场报告发布

7月29日,中国电子信息产业发展研究院在北京发布了《2019上半年中国家电市场报告》(以下简称《报告》)。《报告》显示,2019年1月-6月,我国家电行业运行稳定、稳中有进,产销均高于去年同期。其中,...

壮丽70年 奋斗新时代

70年来,中国共产党人从未停下“赶考”脚步。神州大地上,一幅幅壮丽的发展画卷在描绘,一部部感天动地的奋斗史诗在书写。...

2019打造制造业“双创”升级版

围绕制造业“双创”升级的内涵本质、发展趋势、实践启示等方面,邀请政府部门及事业单位领导、两院院士及专家学者、重点地区及企业领导等撰写相关文章,共同探讨制造业“双创”发展新路径。...

聚焦2019全国两会

3月3日电 凝聚共识谱写时代华章,共商国是同绘复兴宏图。中国人民政治协商会议第十三届全国委员会第二次会议3日下午在人民大会堂开幕。...

MWC2019世界移动大会报道

MWC,世界移动通信大会。主办方全球移动通信系统协会(GSMA)成立于1987年,是世界移动通信界的三大国际组织之一,目前其成员已包括来自220个国家的近800家移动运营商以及230多家更为广泛的移动...

CEN视频新闻 | 2019 CITE 瑞萨电子高级副总裁

第七届电子信息博览会上,瑞萨电子高级副总裁 真冈朋光接受《中国电子报》记者采访。...

视频新闻丨院士专家畅谈智能网联汽车

3月19日,慕尼黑上海电子展前夕,新能源与智能网联汽车创新发展论坛在上海举办,论坛邀请了30多为海内外行业人士,近35场精彩发言,围绕新能源和智能网联两大领域展...

两会专访丨全国政协委员、新大陆科技集团总裁王晶

2019年全国“两会”期间,全国政协委员、新大陆集团总裁王晶在接受《中国电子报》记者采访时表示:传统农村需要发挥信息技术和互联网的载体和引擎作用,促进农业生产、...

友情链接
关于我们 | 联系我们 | 广告服务
电子信息产业网LOGO