Параллельді аппараттық жабдықтау архитектурасы және параллельді бағдарламалау модельдері ПАРАЛЛЕЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ, 1- ЛЕКЦИЯ. - презентация

1 Параллельді аппараттық жабдықтау архитектурасы және параллельді бағдарламалау модельдері ПАРАЛЛЕЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ, 1- ЛЕКЦИЯ

2 Уәждеме (мотивация) ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 2 Сұрақтар Жауаптар

3 Дәрістің нәтижесі ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 3 Параллельді аппараттық жабдықтау архитектурасы Параллельді бағдарламалау модельдері Өзіңнің қосымшаңа ең жақсы параллельді бағдарламалау модельін таңдау

4 Концепциялар Параллель процесстерінің концепциялары: Конвейерлік -> векторлы есептеу Функцияналды параллелизим -> қазіргі процессор технологиясы Біріккен инструкциялар -> мысалы көбейту-қосу бір инструкция ретінде қаралады Мультижіптер Массивті-процесс өңдеу Мультипроцессор -> Ортақ жадылы Мультикомпьютерлер -> үлестірілген жадылы ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 4 Гибридты архитектура лар

5 Негізгі параллельді аппараттық жабдықтаудың архитектуралары Ортақ жадылы - SMP (symmetric multiprocessing) = симметриялы көп процессорлы өңдеу Үлестірілген Жадылы - DMP (distributed memory parallel)= Үлестірілген жадылы параллельдеу Иерархиялық жадылы жүйелер - Екі концепцияның бірігуі ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 5

6 Мультипроцессор – ортақ жадылы Барлық орталық процессорлар (CPU) барлық жады банкіне бірдей жылдамдықпен қолжетімді Біркелкі жадылық қол жетімділік (UMA) Симметриялы мультипроцессорлы өңдеу (SMP) Желілік типтер, Crossbar -> әр CPU-дың тәуелсіз қол жетімділігі бар BUS -> бір CPU басқа CPU-лардың жадыға қолжетімділігін блоктап тастайды ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 6

7 Мультикомпьютерлер – үлестірілген жады Түйіндер өзара байланысу арқылы жұптасады Әр CPU: - өзінің жеке жадысына жылдам қол жеткізеді - бірақ басқа CPU-ға ақырынырақ қол жеткізеді Біркелкі жадылық қол жетімді емес (NUMA) Әртүрлі желілік типтер. BUS, torus, crossbar ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 7

8 Гибридты архитектуралар ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 8 Әр түйіннің ішінде SMP Түйіндердің арасында DMP Қазіргі заманғы жоғары өнімді есептеу (HPC) жүйелері SMP түйіндердің кластері болып саналады

9 Дәрістің нәтижесі ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 9 Параллельді аппараттық жабдықтау архитектурасы Параллельді бағдарламалау модельдері Өзіңнің қосымшаңа ең жақсы параллельді бағдарламалау модельін таңдау

10 Не үшін? Параллельді аппараттық архитектураны не үшін пайдалануым қажет? Мүмкін жауаптар: Процессор жауапты лезде бере алмайды Мурдың заңы Чиптағы транзистордың саны шамамен әр 18 ай сайын еселенеді болашақта чипындағы процессорлардың саны өседі Сіздің иелігіңізде Жұмыс станциялардың желісі бар Кластерлер жүйесі Ауқымды жадыны қажет ететін ауқымды қосымша ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 10

11 Абстракт модель ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 11

12 Параллелизациялау стратегиясы – аппараттық жабдықтау ресурстар Есептеудің екі негізгі русурстары: Процессор Жады Параллелизациялау дегеніміз Процессорларға жұмысты үлестіру Деректерді үлестіру (егер жады үлестірілген болса) Және Үлестірілген жұмысты синхронизациялау Жергілікті процессордың алыстағы деректермен қарым-қатынасы Бағдарламалау моделі келесідей біріккен әдістерді ұсынады Жұмысты және деректі үлестіру, синхронизация және қарым-қатынасы ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 12

13 Жұмысты және деректі үлестіру Жұмыстың декомпозициялануы Циклды декомпозициялау негізінде Деректің декомпозициялануы Деректің жергілікті процессоры жергілікті деректердің үлесіне арналған Жұмысты істейді Домейн декомпозициялануы Жұмыстың және жеректің декомпозоция -лануы жоғары денгейдегі модельде жүзеге асады ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 13

14 Синхронизация ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 14 Синхронизация Қажет Бірақта Кей процессорларда идиялды уақытта есептейді Синхрондау примитивін үстемелеп орындауы мүмкін

15 Коммуникация ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 15 Коммуникация шекараларда қажетті

16 Негізгі бағдарламалау модельдері OpenMP Ортақ жадылы дерективалар Жұмыс декомпозициясын анықтау Деректер декопозициясы жоқ Синхронизация айқындалмаған (қолданушы өзі анықтайды) MPI (Мәліметтерді алмасу интерфейсі) Қолданушы жұмысты және деректерді қалай үлестіретінін өзі анықтайды Қолданушы қалай және қашан коммуникация жасалатынын анықтайды Ол үшін MPI коммуникация кітапхана функцияларын шақырады ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 16

17 MPI парадигмасы ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 17 MPI-дағы әр процессор бір суп-бағдарламаны орындайды Қарапайым тізбекті тілмен жазылған, м. С немесе Fortran Әр процессорда бірдей (SPMD) Жұмыс және деректердің үлестірілуі myrank-тың мәніне байланысты Кітапханадағы арнайы функция қайтарады Коммуникация арнайы send және receive функциялары арқылы жүзеге асады.

18 Қосымша көмекші торлар ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 18 Қолданушы анықтаған коммуникациялар

19 Мәліметтердің жүріп өтуі – MPI, ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 19

20 Қорытынды – MPI, IV MPI (Мәліметтердің жүріп өту интерфейсі) Мәліметтер жүріп өту стандартталған үлестірілген жадылы параллелизм Процесстерге негізделген Қолданушы жұмыстың және деректің үлестірілуін және коммуникацияны өзі көрсету керек. Каммуникация аяқтаған кездегі синхронизация анықталмаған Домен декомпозициялау пайдаланылады Стандартталуы ПАРАЛЕЛЛЬДІ ЕСЕПТЕУДІ ҰЙЫМДАСТЫРУ. 1 ЛЕКЦИЯ 20