摘 要： 现有星载存储系统面临诸如性能容量不能满足新卫星应用需求、扩展性差以及主备份系统冗余方式带来成本和体积重量倍增等问题.本文通过回顾星载存储系统介质应用历史,结合一些新发射卫星的数据存储技术探索,同时借鉴通用存储领域的技术成果,综述了发展宇航用高可靠SSD控制器技术以及星载存储阵列控制技术的必要性.新的存储系统架构以多级冗余容错机制取代现有的主备份冗余方式,在降低成本及系统体积重量的情况下,能够提供更高的可靠性.而可配置化的容量、性能扩展方式,能够满足从几十G bit到几千T bit的高跨度存储需求.
关键词： 星载存储系统; 宇航用高可靠SSD控制器; NAND Flash; 存储阵列控制器;
Abstract： Spaceborne storage system is a core part of satellite payload subsystem and provides the satellite application data storage features. Due to the bottleneck of system architecture, current spaceborne storage system could not meet the higher performance requirements of some new satellite applications. Meanwhile, weaknesses such as poor expansibility,cost and weight issues caused by redundant backup strategy still exist. This paper reviews the history of the medium usage in spaceborne storage system, refers to new storage technology exploring in several satellites launched in these years, and uses the technological achievements of commercial storage for reference, then analyses the necessities of developing the high reliability SSD controller used in space. A novel spaceborne storage system, which employs the multi-level redundant backup mechanism to replace current master-slave backup method and provides better reliability with lower cost, is discussed. To extend the capability and throughput by means of software configuration, the brand-new architecture could satisfy the need of large-scale storage performance arrange requests and be easy to implement.
Keyword： on-board storage system; high reliability SSD controller for aerospace; NAND flash; storage array controller;
1 、前言
星载存储系统的发展与星上数据存储介质的发展有很大的关系,介质的采用经历了从磁带机、SRAM、SDRAM到NAND Flash的发展过程.NAND Flash具有非易失、单位面积性能容量高等特点,是目前星上数据存储的介质首选.SLC NAND是星载存储领域的介质主流,存在价格昂贵、单位面积性能容量集成度偏低等问题,逐渐不能满足卫星载荷数据存储高速率、大容量的发展需求.采用单位面积集成度更高的大容量2D MLC以及3D TLC NAND Flash是星载存储系统发展的方向.但是,NAND Flash原厂并不生产满足宇航用的高等级MLC与TLC NAND Flash.如何解决低等级MLC以及TLC NAND在空间环境下的可靠性问题[1,2,3],是星载存储系统需要突破的技术发展难题.而且星载存储系统广为采用基于FPGA为控制核心的系统方案[4,5],受限于FPGA的资源规模与时钟速率,难以满足基于MLC、TLC NAND Flash的存储设备控制管理资源需求.另外,基于FPGA为控制核心带来的高成本、高功耗与低成本、低功耗、轻量化的卫星技术发展趋势不符.发展宇航用高可靠SSD控制器,解决将MLC、TLC NAND Flash应用于空间环境的可靠性难题,提供低功耗、轻量化的控制方法是星载存储系统发展的方向.
本文针对星载存储系统面临的性能、容量发展遇到瓶颈,难以满足低成本化与小型化趋势等方面的问题,结合NAND Flash存储介质以及卫星载荷应用需求的发展,论证了星载存储系统发展的几方面趋势.
2 、星载存储系统的现状
我国星载存储系统的发展同样经历了磁带机、基于SRAM及SDRAM的小容量型,以及基于NAND Flash的大容量型三个阶段.以SRAM为存储介质的星载存储系统有过较为短暂的发展,例如1994年发射的实践4号卫星搭载了基于SRAM的2Mbit星载存储系统.但由于单片存储芯片集成度过低、单粒子效应敏感等原因,在基于SDRAM的星载存储系统出现后,逐渐被淘汰.而基于SDRAM的星载存储系统在固态存储系统的发展历史上占有重要地位.我国1999年发射的实践5号、2007年发射的嫦娥一号都选用了基于SDRAM的星载存储系统方案.2007年左右,随着遥感二号等卫星的发射,从此步入以NAND Flash为主要存储介质的星载存储系统高速发展时期.我们统计了国内外近二十年,具有代表性的卫星星载存储系统搭载情况,如下图所示,我国NAND Flash型星载存储系统经历了20年,累计五代技术发展.
图1 近二十年星载存储系统发展情况
图2 我国五代NAND Flash型星载存储系统发展历程
随着遥感载荷的数据存储容量需求越来越大,基于SLC NAND组成的星载存储系统逐渐遇到了瓶颈.目前第五代NAND Flash型星载存储系统于2018年发射的高分11号卫星上完成了首颗验证,采用25 nm工艺的2D SLC NAND Flash,单颗粒容量为8 Gbit.以多颗SLC NAND扩展为256 bit的标准虚拟位宽、66 MHz接口时钟速率的存储结构,系统最高存储容量8 Tbit,数据带宽可达25.6 Gbps.上述容量及性能的指标,已经无法满足一些新的高分辨率遥感卫星数据存储需求.例如吉林一号宽幅01星,载荷数据存储容量达到40 Tbit.而目前正在研制的星载存储服务器存储容量需求高达1 Pbit.随着对地观察卫星的分辨率增加,Tbyte级别星载存储容量需求成为了中大型遥感卫星的主流,并且在增长趋势上呈现了大跨越的态势.因此迫切需要突破将低等级大容量MLC、3D TLC NAND Flash应用于空间环境的存储控制器技术瓶颈.第五代星载存储系统采用的虚拟IO扩展位宽形式,虽然可以在最小的FPGA资源下实现高速的存储访问,但是扩展位宽使不同的NAND颗粒在物理上绑定在一起,使得失效率增加;同时,针对不同型号任务的不同存储要求,该系统架构灵活性不足,FPGA资源不支持对虚拟位宽的自由调整.因此,我们需要探索研究一种新型星载存储系统结构形式,能够突破现有基于SLC NAND的技术限制,通过存储控制器技术解决将MLC、TLC应用于空间环境的可靠性问题.另一方面,新体系架构能够解决现有主备份冗余策略带来的成本、体积与重量倍增的弊端,提供更具性价比的高可靠性系统容错解决方案.
3、 星载存储系统的发展趋势
卫星载荷技术的发展带来对星上数据存储系统性能与容量需求的高速增长,结合存储介质发展的现状,NAND Flash型星载存储系统代表了目前的星载存储领域的主流.Karl F Strauss[6]在统计了欧美及日本卫星搭载的星载数据系统历史数据以及NAND Flash技术发展沿革后,得出了星载存储系统的容量与NAND Flash容量保持相同增长趋势,基本上每三年翻倍的结论.以此预测2020年星载存储系统容量会达到30 Tbit,到2030年达到130 Tbit.从通用存储技术发展的角度上看,星载存储系统应遵循相同的轨迹:采用单位面积集成度更高的MLC、TLC NAND Flash颗粒,发展高可靠性SSD控制器技术;结合高可靠SSD控制器技术,发展星载存储闪存阵列管理技术,满足超大容量需求,同时解决主备份冗余方式的弊端问题.
3.1 、发展宇航用高可靠SSD控制器
近年来一些新发射的遥感卫星在大容量星载存储应用方面有一些新的尝试.例如,2015年发射的吉林一号轻型高分辨率遥感卫星[9]大胆采用工业级SATA接口SSD,480 GByte大容量,低成本方案满足了该卫星数据的存储需求.由西北工业大学研制的翱翔一号实验卫星[10],采用了SD卡作为星载存储方式,为微小卫星数据存储提供了一种新的选择.虽然无论是SSD还是SD,都存在国外商用存储控制器在空间环境下可靠性不确定的问题,但是,上述两颗卫星的验证成功,进一步明确了空间数据存储系统发展路径应该借鉴商业通用存储系统发展路径的结论,通过发展面向宇航应用的高可靠SSD控制器,实现星载存储系统NAND Flash控制管理的标准化.
发展宇航用高可靠SSD控制器不是简单地将商用SSD控制器进行升级,而是需要针对卫星载荷数据的特点以及2D MLC、3D TLC在空间环境下的出错特性进行针对性设计.宇航用高可靠SSD控制器系统架构如下图所示,包括适用于高速传感器数据的传输协议、NANDFlash控制器、可靠性策略等.
图3 宇航用高可靠SSD控制器结构图
3.1.1、 遥感数据传输协议
通用SSD的主要接口有SATA、NVMe[11][12].目前卫星载荷系统的控制核心多以FPGA为主,无论是SATA还是NVMe,两种协议的复杂性会大幅度增大卫星载荷系统的设计难度,因此难以被用户接受及应用.一个轻量级、能够容易被FPGA控制核心应用的遥感数据接口协议是宇航用高可靠SSD控制器设计的重要内容之一.其次,无论是SATA还是NVMe,协议传输效率都是相对欠缺的.以SATA3为例,接口速率为6 Gbps,但是带宽利用率不到80%.新的传输协议需要充分利用遥感数据的特性,优化传输效率.此外,空间环境的复杂性,对传输协议的可靠性提出了新要求,需要考虑在保证协议效率的前提下,具备数据传输端到端的完整性检测和纠错的能力,以满足复杂空间环境下的高可靠性需求.
3.1.2、 NAND Flash控制器
NAND Flash 总线接口一般都是8 bit位宽,传统多路绑定形成64 bit、128 bit等虚拟高位宽的方式很难工作于较高的时钟频率.借鉴通用SSD控制器设计,后端NAND Flash以阵列的方式被驱动及管理.每一个独立的闪存通道控制器具有独立的接口时序产生器,能够多个控制器同时工作,并且彼此独立处理与NAND Flash有关的命令时序及状态控制.后端闪存控制器应包含冗余通道,如图3所示,6个闪存控制通道4个处于并发工作模式,另外2个通道处于冷备份状态.这样的通道组合方式,一方面是为了获取足够的存储性能和存储容量,另一方面冗余的通道能够在存储器件出现不可修复故障时作为备用替代.
相对SLC NAND而言,2D MLC以及3D TLC NAND在空间环境下的可靠性降低突出表现为更多的REBR(Raw Error Bit Rate)以及随着PEC(Program Erase Count)增加后出现更多的数据位翻转错误.解决低等级NAND Flash在空间环境下的可靠性问题,NAND控制器需要具有两方面的能力,一个是应具备较强的数据纠错能力,以适配应用环境下的NAND Flash出错特性.另一个方面,需要具有从某个颗粒内出现坏块、NAND封装片内有颗粒损坏、整颗芯片不可用到NAND控制器通道故障的多种故障下的冗余容错机制.
3.1.3、 控制器可靠性设计
控制器可靠性的设计包括几个方面,①关键路径上需要采用三模冗余设计,确保出现单粒子翻转时保证系统的可用性.②针对SRAM、DDR中的数据可靠性,应具有纠检错能力.③数据通路上要有端到端保护,例如从前端接口到DDR时,从DDR到NAND Flash接口等.④数据分区保护机制,对于一些安全性要求特别高的数据,应在存储介质与纠错能力选择上进行针对性加强.⑤FTL[14]的映射表在内存中的管理策略需要考虑出现不可纠的错误时如何保证用户数据及控制器内部核心管理数据的一致性.⑥任意情况下出现掉电时,需要保证数据安全的一致性.
3.2、 阵列化可配置的开放型星载存储系统架构
NAND Flash驱动与管理由SSD控制器负责,形成标准的存储单元.而对接多源载荷数据、对接数传系统以及完成数据采集、缓冲、管理和存储的工作由星载存储阵列控制器完成.满足不同容量及性能的需求,通过配置星载存储阵列控制器管理的存储单元的个数以及并发方式来完成.
阵列化的星载存储系统结构如图4所示.
图4 阵列化的星载存储系统结构
3.2.1、 星载存储阵列控制器的功能
在卫星载荷系统中,星载存储系统前端一般是成像分系统,后端为数传分系统.
对星载存储系统而言,输入输出接口的差异性是对接不同卫星数据存储需求的一大难题,这也是导致星载存储系统难以产品化的主要原因.将对接星载存储系统数据访问接口的差异性限制在前端接口处理模块,让数据经过该模块后以统一格式进行管理和存储是星载存储阵列控制器要考虑的内容.文件管理是星载存储系统的核心功能,需要制定数据缓冲策略,建立数据与存储阵列的映射逻辑,同时需要保证该映射逻辑信息的高可靠性.也就是说,任何情况下,文件系统需要保证存入星载存储系统用户数据的一致性.因此,多源高速遥感数据访问过程中的文件系统工作效率与数据安全可靠性是星载存储系统文件管理部分需要解决的核心问题.
3.2.2、 替代主备份冗余容错机制的系统可靠性策略
传统的星载数据存储系统大多以主备份冗余的方式满足卫星存储应用的可靠性要求.主备份两套系统意味着双份的成本与倍增的体积重量.结合宇航用高可靠性SSD控制器及存储阵列系统冗余容错措施,形成多级别冗余容错机制,能够有效规避主备份系统的弊端,同时提供更高的可靠性.
下表总结了可采用的星载存储系统可靠性选择方案,在这些功能里面,坏块管理及增强型数据纠错引擎是必选的.而片选条带备份、闪存多通道控制器备份、闪存模块备份、存储阵列RAID5[13]等可靠性增强功能由于需要额外的硬件附加,是可选的.我们可以根据不同卫星的可靠性等级需求,进行相应的配置,以获得最佳的性价比.
表1 控制器多级冗余容错
表2 存储阵列多级冗余容错
4 、结束语
星载存储系统的发展需要突破目前基于2D SLC NAND Flash介质带来的容量及性能瓶颈.本文通过对近二十年国内外卫星星载存储系统搭载情况的分析总结,结合某些新研卫星对数据存储的新需求以及基于NAND Flash技术发展趋势,提出了星载存储领域需要发展宇航用高可靠SSD控制器技术以解决将2D MLC及3D TLC应用于空间环境的可靠性问题,以面对未来卫星数据存储的大容量及高性能需求的方案.另外,目前星载存储系统成本过高、功耗体积过大以及扩展性较差等问题需要通过发展新的阵列化的存储系统结构来解决.
参考文献
[1] YIN Y N.Investigation of Single Event Effects and Synergistic Effects with Total Ionizing Dose in Flash Memory [D].Beijing:The University of Chinese Academy of Sciences,2018.
[2] FABIANO M,POLITECNICO T,FURANO G.NAND Flash Storage Technology for Mission-critical Space Applications[J].IEEE Aerospace And Electronic System Magazine,2013,28(9):30-36.
[3] MICRON[EB/OL].2013.L85C_plus_128Gb_256Gb_512Gb_1Tb_2Tb_Async_Sync.pdf
[4] YANG H F,CHAI L,HU J P.A Comprehensive Data Solid State Recorder Based on Nand Flash Memory for Spacecrafts[J].Telecommunication Engineering,2017,57(6):716-723.
[5] SONG Q,ZOU Y N,LI S,et al.Design and Mechanism of the Fault tolerance of Solid State Recorder[J].Journal Of National UniversityOf Defense Technology,2016,38(1):101-106.
[6] STRAUSS K F.Memory technologies and data recorder design[C]// Aerospace conference,2009 IEEE.IEEE,2009.
[7] JIANG G Z,HAN B,GAO Y B,et al.Review of 40-year Earth Observation with Landsat Series and Prospects of LDCM[J].Journal Of Remote Sensing,2013,17(5):1033-1048.
[8] SONG Q.Research and Application of Storage Management Technology for Spaceborne Solid State Recorder [D].Beijing:The University of Chinese Academy of Sciences,2015.
[9] XU W,JIN G,WANG J Q.Optical Imaging Technology of JL-1 Lightweight High Resolution Multispectral Remote Sensing Satellite [J].Optics And Precision Engineering,2017,25(8):1969-1978.
[10] LIU G H,ZHOU J,SUN F.Design and In-orbit Verification of Data Storage System for Nano-picoSatellites [J].Journal Of Harbin Institute Of Technology,2018,50(2):179-83.
[11] NVM Express Workgroup[EB/OL].2019.NVM-Express-1_4-2019.06.10-Ratified.pdf.
[12] Serial ATA International Organization[EB/OL].2016.SerialATA_Revision_3_3_Gold.pdf.
[13] ZHANG D.Talk Storage II,Storage System Architecture and Underlying Principle Analysis[M].Beijing:Tsinghua University Press,2011.
[14] SSDFans.Inside SSD[M].Beijing:China Machine Press,2018.
