防护箱1756-EN2T/XT

防护箱 1756-EN2TXT

防护箱 1756-EN2TXT 

防护箱 1756-EN2TXT 

 Siemens AC-VSA-Motor 1FT5102-0AF71-1?-Z 
MOOG Servomotor T-1-A6-030-00-3?5-74 
Siemens Sinumerik 840D MMC103 6FC5210-0DA20-2?AA1
Fanuc Keyboard A02B-0236-C231 + A20B-8002-0020/?04B
Rexroth Indramat Steuereinheit CSH01.3C-PB-ENS?-NNN-CCD 
               Rexroth INDRAMAT AC Servo Controller HDS03.2-W075N-H?S12
Lenze Servo Antriebsregler Umrichter 13015893 
Lenze Servo Antriebsregler Umrichter 13190876
Rexroth Einzelachs-Wech?selrichter HMS01.1N-W0036-?A-07-N
INDRAMAT Servomotor MAC090B-0-PD-3-?C/110-A-1/S001
Simatic S5 WF707 6FM1707-3AA10 
Fanuc Operator Panel A05B-2401-C013 
NSK Frequenzumricht?er ESA ESA-Y2020T23-21 
Fanuc Profibus Slot Card A20B-8100-0440 / 06B001762 
Simatic S5 AO470 6ES5 470-4UB13 
Indramat Regelverst?rker SEK1.4-50-W1 / 057 TSS 2 /057
Wittenstein / alpha Getriebe HG+ 100F-MF1-7-6H1-?1K00
Wittenstein / alpha Getriebe VDT050-ML1-40-0?31-AC
Rexroth Indramat Controller CPUB03-01-FW 261367 
Siemens Simodrive 611 Pulswiderstandm?odul 6SC6110-0GB00
Lenze Servo Antriebsregler Umrichter 00408452 EVS9323-E
Fanuc Profibus Slave Card A20B-8100-0440 / 07B401616
Fanuc Ethernet Board A20B-8100-0670 /02B 
ABB UC-Vermessungsk?arte SDCS-PIN-51 3BSE004940R1 
Siemens Simovert Pulsumrichter 6SE2108-3AA00 

权值的更新只在主进程中进行，从进程只负责将梯度累积变化值计算出来，然后交给主进程。当增加一份权值和梯度累积变化值的存储作为缓存，使用非阻塞的通信方式，可以使主从进程的通信与从进程的计算同时进行，达到很高的计算效率。这种主从方式的好处是思路简单清晰，通信量少，运算，但是需要注意的是，随着并行进程规模的提升，对于每个进程来说，批数量的大小会很大，使进程相邻两次的权值变化相对较大，可能会引起算法收敛的波动。但减少每个进程的批数量又会使通信密度增加，需要在规模与算法收敛精度之间进行平衡，尽量在不达到通信瓶颈的情况下进行并行扩展。

对于所有进程处于对等地位的框架，相对会比较麻烦，训练过程中需要大量的同步以及通信，计算效率会很低。在表6中我们给出了一些上述并行算法的可扩展性展示，通信时采用了阻塞通信，相对前文提到的非阻塞通信性能会降低。计算环境是在广州超算中心“天河2号”，一个物理节点有24个核，我们以节点数为变化量，以一次训练迭代所耗时间为观测目标，测试规模是100000个文本评论样本，卷积核个数100，子进程batch为50。

从表6可以看出，对本算例来讲，物理节点小于5时，扩展性能都还很好，继续扩展时，虽然仍有加速比，但性能下降明显。主要原因还是由于通信瓶颈，如果节点内的进程可以共享内存，可扩展规模会随之大大增加，每个物理节点24个核内部的通信开销就可以节省下来。