在半实物仿真系统等实时系统中，要求系统各部分之间的数据传输具有很高的实时性，而传统的网络技术，如以太网、FDDI等在实时应用中存在以下缺点：（1）数据传输速率不高；（2）数据传输实时性差，传输延迟较大且延迟具有不可预测性；（3）网络通信需要借助多种网络协议来完成，通讯效率较低。
实时光纤反射内存网（Reflective memory network简称实时光纤网）是一种基于高速光纤网络共享存储技术的实时网络。与传统的联网技术相比，它除了具有严格的传输确定性和可预测性外，还具有数据传输速度高、通信协议简单、宿主机负载轻、软硬件平台适应性强等特点。
实时光纤反射内存网（简称实时光纤网）由插在计算机内的光纤接口板通过光纤线连接在一起，形成一个环网（如图1），每个节点的光纤接口板的板载存储器都有其他节点的共享数据拷贝，在逻辑上全网的所有节点共享同一块存储器，数据一点写入，多点同时更新，通过这种方式实现了数据的高速传输与共享。
二、实时网络需求
为提升计算能力，人们自然地想到研发性能更强的计算机，如天河系列等超级计算机应运而生，但超级计算机研制周期长、成本大、应用领域受限。为此，提出了集群系统概念，计算机集群系统是通过网络将PC机或工作站连接起来组成高性能计算系统。集群系统将一个任务并行在多台计算机上执行，组成一个实时系统。
在实时系统中，系统最终结果的正确性不仅依赖于每一步计算得到的逻辑结果，而且依赖于得到结果的时刻，任务的完成时间是实时系统的决定性特征。根据实时性能的要求程度，实时系统可认为两类，即软实时和硬实时系统。对于软实时系统，要求事件相应是实时的，但并不是严格强制的。但是，对于硬实时系统来讲，每个任务都有一个处理截止事件，任务必须在规定的时间内完成，否则会影响全局任务的完成，给系统带来不希望的破坏或者造成不可恢复的灾难性后果。目前许多实时系统都采用硬实时系统，因为具有更强的实时性能。实时系统的应用需要实时互联，构建实时网络，完成数据在网络节点间的实时传输。
实时网络必须具备高速、可靠、可预测三个特点，最重要的是通信的可预测性，可预测性是指实时网络中各个节点之间数据传输的时间是确定的。随着实时网络应用领域的不断扩展，目前已不仅仅局限于计算机集群系统的互联，而是广泛地应用在各种具有实时需求的互联系统中，如半实物仿真、高速数据获取等。
实时网络发展过程中，出现过两种设计思路：基于单一总线的多CPU共享全局内存和基于网络的分布式内存：
相比基于单一总线的多CPU共享全局内存系统，在基于网络的分布式内存体系中每个节点只访问自己的本地内存，不存在内存占有冲突，由于这种方式能够避免大量的总线仲裁控制时间而成为实时网络的主要设计方式。
实时网络要保证高速、可靠、可预测这三大指标，但千兆以太网、光纤通道（Fiber Channel，FC）协议等，在可预测性上很差，首先是因为通过设备驱动和软件网络协议的工作模式增加了额外的不确定开销，其次是同样存在共享冲突和碰撞的问题（如千兆以太网GBE中采用CSMA/CD载波监听多路访问/冲突检测机制、FC协议采用令牌环仲裁等）进一步增加了传输时间的不确定性。光纤反射内存网很好的解决了上述问题。
反射内存网是基于网络的分布式内存硬实时网络的一种设计思想，特点：1）反射内存网硬件实现分布式RAM之间数据的传输、共享，整个过程具有很低的实现延迟；2）反射内存网依靠硬件实现、不需要复杂的网络协议控制，能够在相同的传输带宽下达到更高的有效速率；3）反射内存网对数据的各种处理是通过硬件电路实现，在固定的时钟频率下周期工作，没有不确定的时间开销，确保数据处理的可预测性。
三、光纤反射内存网与以太网比较
1）实时性
反射内存（RFM）是基于环状/星状的，高速复制的共享内存网络。它支持不同总线结构的多计算机系统，并且可以使用不同操作系统来共享高速的、稳定速率的实时数据
基于反射内存构建的实时网络是一种强实时高带宽局域网技术，在互连的计算机间提供高效的数据传输。反射内存网在所有互连的节点中虚拟出一段全局共享的网络内存，在分布系统中实现内存至内存的通信，因此应用程序没有软件开销。每台结点机上插一块反射内存卡，卡上带有双端口内存。每个节点机的各层应用软件可以直接读写反射内存卡上内存。当数据被写入一台机器的反射内存网卡的内存中后，反射内存卡自动通过光纤传输到所有其他连在网络上的反射内存卡的内存里相应位置，传输延迟只有400纳秒
除了极短的传输延迟外，反射内存网的节点间延时是确定的、可预测的，因此在对通信确定性与实时性要求很高的实时仿真、工业控制等领域，反射内存技术得到了广泛的应用。
以太网是一种总线式网络，采用载波侦听多路访问/冲突(碰撞)检测CSMA/CD(Carrier Sense Multiple Access/Collision Detect)协议进行传输控制。各个节点采用BEB(Binary Exponential Back-off)算法处理冲突，具有排队延迟不确定的缺陷，每个网络节点要通过竞争来取得信息包的发送权。通信时节点监听信道，只有发现信道空闲时，才能发送信息;如果信道忙碌则需要等待。信息开始发送后，还需要检查是否发生碰撞，信息如发生碰撞，需退出重发，因此无法保证确定的排队延迟和通信响应确定性，不能满足实时仿真、工业控制在实时性上的要求，甚至在通信繁忙时，还存在信息丢失的危险。故此，以太网技术一直被视为“非确定性”的网络。
2）软件开销
反射内存网是高速复制的共享内存网络，每个节点机的各层应用软件可以直接读写反射内存卡上的内存，彻底省去了用户使用时的软件开发开销和周期，可以大大加快项目开发进度和减小产品面世时间。 基于TCP/IP协议的以太网在传输数据过程中，必须对数据进行封装、打包和解包，用户使用时增加了许多软件开发工作，同时严重影响了网络通信的实时性。
四、技术特性
光纤反射内存接口板具有如下的特性及技术指标：
- 能够提供高速、高带宽、低延迟的数据实时传输功能；
- 具有单点写入，多点更新特性；
- 光纤接口波特率：2.5Gbps/3.25Gbps
- 板载256Mbyte高速内存；
- PCI总线接口或PCI-Express X4 Gen2接口；
- 节点间确定的传输延时：400～750ns；
- 硬件自动CRC校验；
- 可配合实时光纤网络Hub，具备故障节点隔离功能，能自动重构整个网络；
- 采用多模光纤时可传输300m,采用单模光纤时可传输20km；
操作系统：支持Windows2000/XP/7、VxWorks、Linux等
五、FB2125G 型光纤反射内存网络硬件延时测试报告结论摘要
1）数据包在整个环网上的延时
网络数据从开始发送到在环网流转一周的总延时为：总延时≈600*（节点数-1）+3*光纤线长,单位：ns。
2）通过PCI总线进行板卡反射内存读写的延时
PCI总线在写时，需要准备时间为5CLK约0.125us，之后每读取4Bytes个数据需要3个CLK约0.075us。因此，PCI写入N个数据的延时可表示为：0.125us + (N％4 + 1) *0.075us
六、应用举例：基于光纤反射内存网实现远程多试验室协同试验
随着战场环境复杂度的提高，半实物仿真实验面临更严峻的挑战。由于试验场地面积有限，各大型仿真非标设备常分布于不同楼宇的试验室内，完成仿真试验需要多楼宇、多试验室跨域联合进行。同时，面临试验资源紧的问题，需要多项试验并行进行。这对多试验室远程互连及并行试验提出了迫切的需求，而远程协同仿真技术中的数据实时交互技术是解决上述问题的关键。本文采用基于光纤HUB的实时光纤反射内存网络搭建系统硬件平台，实现多试验室协同试验仿真。
在多试验任务并举的情况下，综合考虑不同试验室联合仿真的需要，兼顾数据通讯的安全性和线缆连接的方便性，本节以三个实验室协同仿真为例，采用实时光纤反射内存、HY-FHX8型光纤HUB搭建网络，通过试验综合控制系统实现光纤网络的集中管理，设计方案如下图所示。
图1：仿真试验室光纤网络
各仿真设备通过实时光纤反射内存卡及光纤HUB级联，由试验综合控制系统进行综合管理与调度，构成图1所示的试验光纤网络。其中，试验室1、2位于同一楼宇，用普通多模光纤线连接，试验室3位于上千米的远距离楼宇，与通过多模光纤连接，如图6所示，构成连接3个试验室的三套光纤网络，分别为：光纤网A、光纤网B、光纤网C。三套光纤网络可以断开HUB间的连接，实现物理上的隔离，互不影响工作，满足远距离多试验室并行试验的要求。
试验综合控制与管理系统用于仿真试验的综合管理与调度，实现参试设备及状态的统一管理、试验过程中的大型非标设备的远程控制、试验流程的实时控制、故障的报警及处理、试验数据的实时记录与监控等功能。
该实时光纤反射内存网在功能上主要有以下几方面的优势：
- 实现远程互连的能力
随着仿真实验复杂度的提高，需要多楼宇多试验室间设备的远程互连，通过单模光纤及光纤HUB将远距离的试验室设备进行连接，单模光纤支持的传输距离可达20km。对于距离300m以内的试验室则可通过多模光纤进行近距离传输，达到传输效果与成本的最优。
- 实现并行开展多项试验的能力
面对试验任务紧急的情况，需要并行开展多项试验。试验综合控制系统可以控制各个HUB，将整个网络切分成几个相互隔离的小网络，互不影响，可同时开展试验，满足多试验室并行试验的需求。
- 实现故障的隔离排查能力
试验综合控制系统通过监控HUB各个端口设备连接运行状态，远程控制并旁路掉光纤网络任意节点，在进行故障排查时可以方便地将某一节点接入或移出网络，有效的提高的故障排查的效率，同时可以快速隔离故障节点。
附录：
FB2125G 型光纤反射内存网络硬件延时测试报告
1 数据包在整个环网上的延时
1.1 测试内容
数据包从一节点发出到数据包在环网上更新所有节点后回到该发送节点的延时。同时测试环网节点数对该延时量的影响。
1.2 测试方法
l 原理说明：
FB2125G 型光纤反射内存接口板工作时，上位机发来的数据包，在板上先进行数据帧打包，然后把数据帧通过光纤发送出去，收到数据帧的节点依次解析（同时更新板上内存）并转发数据帧，数据帧在环网上运行一周后回到原来的发送节点，该节点解析（同时更新板上内存）并将数据包回收（不再转发）。
上位机发出的数据包被FB2125G 接口板发送出去后，数据在环网流转一周，最后才更新本板的内存区域。即，如果本板成功回读了数据，就说明网络上其他所有节点都已经收到该数据并完成数据更新了。
l 通过FPGA 在线示波器模块侦测FB2125G 光纤发射内存接口板芯片内部信号变化状态。
l 记录FPGA 相关信号及状态机变化，通过记录数据发出与数据帧回到发送节点之间的间隔的周期数*时钟周期的方法计算出物理延时。
1.3 测试步骤
1) 待测接口板烧写ChipScope 在线示波器检测模块。
2) 接口板插入测试计算机并连接光纤线，计算机开机并确认已安装接口驱动程序。将待测接口板连入光纤网络。
3) 连接Xilinx Programing USB Cable 的JTAG 口到FB2125G 光纤接口板。
4) 连接Xilinx Programing USB Cable 的USB 口到计算机。
5) 计算机启动“测试程序”。
6) 启动ChipScope Analyzer 在线示波器监测程序。
7) 设置ChipScope Analyzer 的触发条件及要监测的信号，启动示波器条件触发。
8) 用测试程序进行一次数据发送。
9) ChipScope Analyzer 应能正常触发，并采集到相关信号变化。
10) 记录数据帧接收有效信号、数据帧从FPGA 转发信号有效分别发生在示波器触发后的第几周期。
11) 两个周期数相减后，再乘以时钟周期（25ns），计算出数据帧接收到到数据帧被转发出去之间的物理延时。
1.4 测试环境
l 硬件环境：
1) CPCI 接口工控机，CPU：Core2 Due 1.5G；内存：1GB。
2) FB2125G-CPCI 光纤反射内存接口板 5 块。
l 软件环境：
1) Windows XP 操作系统；
2) iMPACT Xilinx FPGA 烧写配置工具；
3) FB2125G 光纤反射内存接口板配套“测试程序”；
4) ChipScope Analyzer 在线示波器客户端。
l 连接方式：如图1所示
图1 光纤反射内存网络延时测试环境连接示意图
1.5 测试结果
在线示波器测试结果，如图2所示。
图2 光纤反射内存网络在线示波器测试结果示意图
测试结果表格，如下表所示：（时钟周期：25ns）
|
序号
|
网络总节点数量
|
数据在网络上流转一周的时间
|
光纤线长(米)
|
相差周期数
|
延时（单位：ns）
|
|
1
|
1
|
5
|
10
|
5
|
125
|
|
2
|
2
|
30
|
40
|
30
|
750
|
|
3
|
3
|
53
|
60
|
53
|
1325
|
|
4
|
4
|
77
|
70
|
77
|
1925
|
1.6 测试结论
网络数据从开始发送到在环网流转一周的总延时为：
总延时≈600*（节点数-1）+3*光纤线长,单位：ns。
2 PCI 总线读写延时
2.1 测试方法
FB2125G 型光纤反射内存接口板工作时，上位机利用PCI总线进行数据的读写操作，通过FPGA 在线示波器模块侦测FB2125G 光纤发射内存接口板芯片内部信号变化状态。记录FPGA 相关信号及状态机变化，计算出FB2125G 型光纤反射内存接口板PCI总线的读写延时。
2.2 测试步骤与测试环境
与1.3、1.4节内容相同。
2.3 PCI总线读操作
2.3.1 测试结果
在线示波器读数据的测试结果如图3-1、图3-2、图3-3所示。
图3-1 PCI读取数据在线示波器测试结果示意图1
图3-2 PCI读取数据在线示波器测试结果示意图2
图3-1 PCI读取数据在线示波器测试结果示意图3
2.3.2 测试结论
PCI总线在读取时，需要读取准备时间为105CLK约2.125us，之后每读取32Bytes个数据需要21个CLK约0.5us。因此，PCI读取N个数据的延时可表示为：2.125us + (N％32 + 1) *0.5us
2.4 PCI总线写操作
2.4.1 测试结果
在线示波器读数据的测试结果如图4所示。
图4 PCI写数据在线示波器测试结果示意图
2.4.2 测试结论
PCI总线在写时，需要准备时间为5CLK约0.125us，之后每读取4Bytes个数据需要3个CLK约0.075us。因此，PCI写入N个数据的延时可表示为：0.125us + (N％4 + 1) *0.075us
