Architectural aspects of exascale supercomputers are explored. Param-eters of the computing environment and interconnect are evaluated. It is shown that reaching exascale performances requires hybrid systems. Processor elements of such systems comprise CPU cores and arithmetic accelerators, implementing the MIMD and SIMD computing disciplines, respectively. Efficient exascale hybrid systems require fundamentally new applications and architectural efficiency scaling solutions, including: 1) process-aware structural reconfiguring of hybrid processor elements by varying the number of MIMD cores and SIMD cores communicating with them to attain as high performance and efficiency as possible under given conditions; 2) application of conflict-free sets of sources and receivers and/or decomposi-tion of the computation to subprocesses and their allocation to environment elements in accordance with their features and communication topology to minimize communication time; 3) application of topological redundancy methods to preserve the topology and overall performance achieved by the above communication time minimiza-tion solutions in case of element failure thus maintaining the efficiency reached by the above reconfiguring and communication minimization solu-tions, i.e. to provide fault-tolerant efficiency scaling. Application of these solutions is illustrated by running molecular dynamics tests and the NPB LU benchmark. The resulting architecture displays dynamic adaptability to program features, which in turn ensures the efficiency of using exascale supercomputers.
Hybrid architectures, architectural efficiency scaling solutions, hybrid reconfigurable structures, minimization of communication time, topological redundancy.
Статья рекомендована к публикации Программным комитетом НСКФ-2012.
Введение
Задача эффективного применения суперЭВМ актуальна в течение всей истории вычислительной техники. Это обусловлено как наличием сложнейших задач, для решения которых собственно и разрабатываются суперЭВМ, так и большими ресурсами, требуемыми для создания последних.
Достижение эффективности требует учета свойств архитектуры вычислительных систем в прикладных программах и реализации в архитектуре средств, позволяющих ускорить выполнение вычислений. На различных этапах эволюции вычислительной техники использовались различные архитектурные средства — от введения КЭШ памяти до создания специализированных вычислителей, аппаратно реализующих алгоритмы [1].
Ниже исследуются архитектурные аспекты, которые с большой вероятностью будут присущи суперЭВМ эксафлопсной производительности, необходимость которой и возможности создания показаны, например, в[2].
Эти аспекты обусловлены объективными факторами – энергопотреблением системы эксафлопсной производительности и количеством задействованных в ней процессорных ядер, определяющим степень параллелизма.
В этой работе:
- дано обоснование необходимости применения гибридных архитектур для достижения эксафлопной производительности;
- приведены качественные оценки параметров вычислительной среды и коммуникационной среды; для последней оценены три варианта топологии;
- изложены архитектурные средства масштабирования эффективности, позволяющие на различных уровнях параллелизма учитывать особенности исполняемых процессов, что при прочих равных условиях позволяет уменьшить длительность вычислений и достигнуть практически приемлемых значений производительности и эффективности.
1. Tsil´ker B. Ya., Orlov S. A. Organizatsiya EVM i sistem. S.-Pb., 2004 g.
2. Kontseptsiya po razvitiyu tekhnologii vysokoproizvoditel´nykh vychisleniy na baze superEVM eksaflopnogo klassa na 2012-2020 gg. [Elektronnyy resurs]. Rezhim dostupa: http://www.rosatom.ru/wps/wcm/connect/rosatom/rosatomsite/aboutcorporation/nauka/
3. SC11 Keynote by Nvidia CEO Jen-Hsun Huang [Elektronnyy resurs]. Rezhim dostupa: http://blogs.nvidia.com/2011/11/exascale-an-innovator%E2%80%99s-dilemma/
4. Rick Stevens and Andy White. A DOE Laboratory plan for providing exascale applications and technologies for critical DOE mission needs [Elektronnyy resurs]. Rezhim dostupa: http://computing.ornl.gov/workshops/SCIDAC2010/r_stevens.pdf
5. International Exascale Software Project URL: www.exascale.org
6. [Elektronnyy resurs]. Rezhim dostupa: http://www.ecmwf.int/newsevents/meetings/workshops/2010/high_performance_computing_14th/presentations/barkai.pdf
7. SC´09 Exascale Panel. Steve Scott. Cray Cheef Technology Of-ficer. Exhibitor Forum, SC’09
8. The Future of GPU Computing [Elektronnyy resurs]. Rezhim dostupa: http://www.nvidia.com/content/GTC/documents/SC09_Dally.pdf
9. Tomohiro Inoue. Fujutsu Limited. The 6D Mesh/Torus Inter-connect of K Computer. [Elektronnyy resurs]. Rezhim dostupa: http://www.fujitsu.com/downloads/TC/sc10/interconnect-of-k-computer.pdf
10. Bob Alverson, Edwin Froese, Larry Kaplan and Duncan Roweth. Cray Inc. Cray XC Series Network. [Elektronnyy resurs]. Rezhim dostupa:: http://www.cray.com
11. Infiniband Roadmap [Elektronnyy resurs]. Rezhim dostupa: http://www.infinibandta.org/content/pages.php?pg=technology_overview
12. IBM Blue Waters [Elektronnyy resurs]. Rezhim dostupa: http://www.ncsa.illinois.edu/BlueWaters
13. Cray Titan [Elektronnyy resurs]. Rezhim dostupa: http://www.knoxnews.com/news/2011/mar/07/oak-ridge-lab-to-add-titanic-supercomputer/
14. Liu N., Carothers C., Cope J. Ross R. Model and Simulation of Exascale Communication Network. [Elektronnyy resurs]. Rezhim dostupa: http://www.mcs.anl.gov/uploads/cels/papers/P1937-0911.pdf
15. Stepanenko S. A. Otsenki uskoreniya vychisleniy gibridnymi sistemami.. Plenarnye doklady Pyatoy mezhdunarodnoy konferentsii "Parallel´nye vychisleniya i zadachi upravleniya" PACO´2010 Moskva, 26-28 oktyabrya 2010 g. M.: Uchrezhdenie Rossiyskoy akademii nauk. Institut problem upravleniya im. V. A. Trapeznikova RAN s. 61-71, ISBN 978-5-91450-062-4.
16. Kryuchkov I. A., Stepanenko S. A., Rybkin A. S. Realizatsiya staticheskoy marshrutizatsii i optimal´nogo razmeshcheniya vychislitel´nykh protsessov v mul´tiprotsessornykh sredakh.. «Molodezh´ v nauke». Sbornik dokladov shestoy nauchno-tekhnicheskoy konferentsii. Sarov, 2008 g. s. 172-176.
17. Stepanenko S. A. Topologicheskoe rezervirovanie mul´tiprotsessornykh sred vydelennymi elementami.. Trudy RFYaTs-VNIIEF №10, 2005 g. s. 50-60.
18. Voronin B. L. Erofeev A. M., Kopkin S. V., Kryuch-kov I. A., Rybkin A. S., Stepanenko S. A., Yuzhakov V. V. Primenenie arifmeticheskikh uskoriteley dlya rascheta za-dach molekulyarnoy dinamiki po programmnomu kompleksu MD.. «Voprosy atomnoy nauki i tekhniki». Ser. Matematicheskoe modelirovanie fizicheskikh protsessov. 2009 g., vyp. 2.
19. Stepanenko S. A. Topologicheskoe rezervirovanie mul´tiprotsessornykh sred. Voprosy atomnoy nauki i tekhniki. Ser. Matematicheskoe modelirovanie fizicheskikh protsessov. 2002 g. vyp. 4, s. 55-60.
20. NASA, «NAS Parallel Benchmars» [Elektronnyy resurs]. Rezhim dostupa: http://www.nas.nasa.gov/Resources/Software/npb.html
21. Barrett B., Barrett R., Brandt J. and others. Report of Exper-iments and Evidence for ASC L2 Milestone 4467 - Demon-stration of a Legacy Application’s Path to Exascale; Sandia Report, SAND2012-1750, Printed March 2012.
22. J. T. Daly. A higher order estimate of the optimum checkpoint interval for restart dumps.. Los Alamos National Laborato-ry. M/S, Los Alamos, NM 87545, USA. 28 December 2004. [Elektronnyy resurs]. Rezhim dostupa: http://www.sciencedirect.com.
23. Hao Yu, I-Hsin Chung, Jose Moreira. Topology Mapping for Blue Gene/L Supercomputer. SC2006 November 2006. [Elektronnyy resurs]. Rezhim dostupa: http://www.ibm.com
24. Network Resiliency for Cray XETM Systems. [Elektronnyy resurs]. Rezhim dostupa: http://fs.hlrs.de/projects/craydoc/docs/books/S-0032-3101/html-S-0032-3101/index.html
25. Stepanenko S. A. Kommunikatsionnye parametry mul´tiprotsessornykh sred.. Sbornik dokladov IX Mezhdunarodnogo seminara po supervychisleniyam i matematicheskomu modelirovaniyu. Sarov, 3-7 oktyabrya 2006 g., s. 96.
26. Stepanenko, S. A. 2012. Estimated speedups of hybrid recon-figurable systems. XIV International conference “Supercompu-ting and Mathematical Modeling”. RFNC-VNIIEF, Sarov, Oc-tober 1-5, 2012, p. 120 [in Russian].
