К. Е. Афанасьев

К. Е. Афанасьев


ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО Проф ОБРАЗОВАНИЯ КЕМЕРОВСКИЙ Муниципальный Институт Математический факультет Кафедра ЮНЕСКО по новым информационным технологиям


ДИПЛОМНАЯ РАБОТА


«Подсистема управления вычислительным кластером системы удаленного доступа к распределенным вычислительным К. Е. Афанасьев ресурсам»


студента 5 курса

Клепче Владимира Николаевича

Специальность 010503 – «Математическое обеспечение

и администрирование информационных систем»


Научный управляющий:

д-р физ.-мат. наук, доктор

К.Е. Афанасьев

_____________________



Работа допущена к защите:

Работа защищена:

“____”_______________200_г.

“____”_______________200_ г.

Зав. кафедрой

с оценкой _____________

д-р физ.-мат.наук К. Е. Афанасьев, доктор

Председатель ГАК ________________________

К.Е. Афанасьев

Члены ГАК: _________________________

________________________

_________________________




_________________________



Кемерово 2009
СОДЕРЖАНИЕ
СОДЕРЖАНИЕ 3

ВВЕДЕНИЕ 4

§ 1. ОБЗОР Имеющихся ВЫСОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ И ПРОГРАММНЫХ СРЕДСТВ ПОДДЕРЖКИ ВЫЧИСЛЕНИЙ НА УДАЛЕННОМ КЛАСТЕРЕ 12

§ 2. СИСТЕМА УДРВР 26

§ 3. ПРОЕКТИРОВАНИЕ 34

§ 4. РЕАЛИЗАЦИЯ 38

§ 5. ТЕСТИРОВАНИЕ 48

ЗАКЛЮЧЕНИЕ 55

^ Перечень ЛИТЕРАТУТЫ К. Е. Афанасьев 56

Перечень СОКРАЩЕНИЙ 58

ПРИЛОЖЕНИЕ 59
ВВЕДЕНИЕ

В 1-ое время после собственного возникновения параллельные вычисления рассматривались как экзотичная область компьютерных вычислений, доступная и интересующая только определенный круг ученых и программистов. Развитие компьютерной архитектуры и сетевых К. Е. Афанасьев технологий, также возникновение все более новых, требующих огромной массы вычислений, научных и прикладных задач показало актуальность и перспективность данной области, выдвинув параллельные вычисления на одно из центральных мест в программировании и вычислительных К. Е. Афанасьев разработках. Компьютер с поддержкой параллелизма - это набор микропроцессоров, которые могут работать вместе для решения общей задачки. Под определение подходят и такие системы как: суперкомпьютеры, оборудованные тыщами микропроцессоров; сети рабочих станций; мультипроцессорные К. Е. Афанасьев рабочие станции и т.д.

Суперкомпьютеры позволили начать решать новые, ранее труднодоступные задачки, приступить к реализации математических моделей сложных физических явлений и технических устройств. Тут суперкомпьютеры являются неподменным и универсальным технологическим К. Е. Афанасьев инвентарем, как в исследовании природы, так и в практической деятельности. Понятна привлекательность исследования ядерного взрыва на модели, а не в натурном опыте. Без всякого преувеличения можно сказать, что новые технологии издавна уже стали разрабатываться на К. Е. Афанасьев базе исследования математических моделей реальных процессов.

В Рф, в рамках выполнения разных ведомственных программ развития высшего проф образования, было профинансировано и запущено достаточное количество кластерных вычислительных систем. Многие большие предприятия, в К. Е. Афанасьев множестве которых: банки, вычислительные университеты, научно-исследовательские центры, осознавая необходимость использования массивных вычислительных ресурсов для удачного ведения собственной деятельности, вкладывают значимые объемы средств для приобретения, обслуживания и сопровождения высокопроизводительных систем с параллельной архитектурой К. Е. Афанасьев.

Внедрение суперкомпьютеров наталкивается на огромные трудности. Очень трудно создавать и отлаживать параллельные программки по сопоставлению с обычным поочередным программированием. В самых обычных на вид параллельных программках обнаруживаются другой раз фатальные ошибки.

Известны К. Е. Афанасьев программки, состоящие практически из 10-ка операторов, которые длительное время числились правильными, их корректность даже обосновывали формально. И, все же, с течением времени в их обнаруживались томные ошибки. А ведь К. Е. Афанасьев посреди приложений суперкомпьютеров есть много и таких, которые очень чувствительны к ошибкам (по своим последствиям). Отсюда существенно больший, чем в поочередном программировании, энтузиазм к автоматизации конструирования параллельных программ, к серьезным математическим способам конструирования и К. Е. Афанасьев анализа корректности программ. На данный момент нет уже колебаний, что без основательного познания арифметики нереально стать неплохим параллельным программером, а означает, и программером вообщем, так как и на данный момент уже, по существу К. Е. Афанасьев, нет непараллельных ЭВМ. Даже индивидуальные ЭВМ в значимой степени употребляют эффект параллелизма. В текущее время употребляются микропроцессоры на многоядерной базе (с 2 либо 4 ядрами) либо многопроцессорной базе для домашних индивидуальных компов [21].

Теория параллельных К. Е. Афанасьев вычислений характеризуется огромным многообразием мыслях, подходов к решению задач, и к разработке параллельных программ. Очень многие задачки требуют учета их особенностей для сотворения действенных программ, их решения. Это, в свою К. Е. Афанасьев очередь, приводит к разработке различных и бессчетных средств параллельного программирования, что еще больше затрудняет внедрение суперкомпьютеров.

Ключ к успеху в приложениях суперкомпьютеров в решении задач огромного размера - действенные параллельные вычислительные технологии К. Е. Афанасьев. Они призваны существенно уменьшить путь от теоретических и экспериментальных результатов к их приложениям. Практически идет речь о разработке технологий реализации математических моделей, как физических явлений, так и умственной деятельности человека, что позволит К. Е. Афанасьев потом использовать эти модели в нужных определенных приложениях. Сами вычислительные технологии, таким макаром, являются мета-технологиями, т.е. средством разработки новых прикладных технологий. Это далековато нетривиальная задачка для теоретиков и программистов.

В текущее К. Е. Афанасьев время компьютерное моделирование обширно используется при решении различных задач народного хозяйства. Неизменное увеличение точности математических моделей и, связанной с этим, вычислительной трудности задач обуславливает все более обширное применение высокопроизводительных компьютерных технологий К. Е. Афанасьев в научных расчетах, основанных на использовании ЭВМ параллельной архитектуры (ЭВМПА). В согласовании с потребностями общества Университеты расширяют подготовку студентов по фронтам высокопроизводительных ЭВМ и параллельного программирования [1]. Подготовка студентов просит наличия не только К. Е. Афанасьев лишь учебных и методических материалов, да и соответственной вещественной базы для проведения лабораторных и практических работ, но высочайшая цена многопроцессорных ЭВМ делает их труднодоступными большинству русских ВУЗов. Экономным решением, которое позволяет сделать ЭВМПА фактически без К. Е. Афанасьев дополнительных денежных издержек, является компьютерный кластер.

С аппаратной точки зрения кластер представляет собой набор серийно выпускаемых ЭВМ (вычислительных узлов), объединенных сетью передачи данных. Исходя из убеждений программного обеспечения кластер является единой К. Е. Афанасьев виртуальной машиной, имеющей несколько микропроцессоров и распределенную память. Производительность кластера определяется производительностью его узлов и чертами среды передачи данных. Массивные вычислительные узлы и низколатентная сеть с высочайшей скоростью передачи данных дают производительность К. Е. Афанасьев, сравнимую с заводскими многопроцессорными машинами, при всем этом удельная цена MFLOPS у кластеров в среднем ниже, чем у промышленных ЭВМПА. Компьютер офисного класса и стандартный Fast Ethernet в качестве сети К. Е. Афанасьев не позволят развить высшую скорость работы кластера, но таковой кластер будет вполне повторять архитектуру хоть какого другого, более производительного. Потому на таком кластере можно отладить прикладную программку и быть уверенным, что она без К. Е. Афанасьев ошибок будет работать и на хоть какой другой ЭВМПА кластерной архитектуры. Это позволяет проводить обучение студентов и отладку программ на дешевеньких кластерах, не растрачивая процессорного времени дорогих высокопроизводительных машин [2].

Рост популярности кластерных решений в К. Е. Афанасьев научной и академической среде привел к возникновению фактически в каждом ВУЗе страны набора кластеров, как высокопроизводительных для научных расчетов, так и низкопроизводительных для обучения студентов и отладки программ. В К. Е. Афанасьев текущее время вычислительные системы кластерного типа получают все большее распространение. Это обосновано разными факторами, основным из которых является насущная потребность в решении животрепещущих задач базовой и прикладной науки, для анализа и исследования которых производительности имеющихся К. Е. Афанасьев средств вычислительной техники оказывается недостаточно.

Вот только некие области, где появляются задачки подобного рода: пророчества погоды, глобальных конфигураций в атмосфере, гидро- и газодинамика, науки о материалах, разведка нефти и К. Е. Афанасьев газа, управляемый ядерный синтез, генетика человека и многие другие области.

Но при развертывании систем такового рода появляется ряд заморочек. Приметное место в этом ряду занимает неувязка действенного управления кластерными системами. Для того чтоб распределенная К. Е. Афанасьев вычислительная система удачно работала, нужно, по последней мере, воплотить систему рассредотачивания задач по легкодоступным вычислительным ресурсам, систему доступа, обеспечивающую планирование выполнения задач на кластерах (диспетчер заданий) и мониторинг состояния вычислительных ресурсов К. Е. Афанасьев. В случае отсутствия систем такового рода вероятны конфликты в процессе запроса вычислительных мощностей во время проведения тестов, что приведет к падению общей производительности системы. Таким макаром, разработка программных систем, решающих эти К. Е. Афанасьев задачки, является нужным условием удачного развития вычислительных систем рассматриваемого класса.

В текущее время существует несколько методов удаленного доступа к вычислительным ресурсам. Более всераспространенными являются терминальный доступ через службы telnet и ssh, X-Терминалы К. Е. Афанасьев и доступ через спец сервер. В данном случае мы сталкиваемся с ограничением, связанным c тем, что несколько юзеров авторизовавшиеся на кластере под одним и этим же логином употребляют одни и те же разделяемые К. Е. Афанасьев сборники и могут разрушить файлы и процессы другого юзера, также поглотить все ресурсы, выделенные для юзеров с этим логином. Потому удаленный доступ фактически не употребляется.

Все эти препядствия можно решить при помощи систем К. Е. Афанасьев пакетной обработки заданий (OpenPBS, TORQUE, Condor), но большими способностями обладает доступ через некоторый спец сервер.

Многие организации, а в особенности институты, имеют несколько компьютерных классов, на базе каждого из которых просто К. Е. Афанасьев может быть организован однородный кластер. Так, к примеру, в ЦНИТ КемГУ организован распределенный вычислительный ресурс на базе уже имеющихся учебных компьютерных классов, включенных в единую университетскую сеть. В текущее время кластер К. Е. Афанасьев КемГУ доступен только через трансляцию сетевых адресов (NAT). Внедрение технологии NAT затрудняет удаленный доступ до кластера. Для более действенного использования ресурсов кластера нужен доступ к его вычислительным мощностям через Веб, также через К. Е. Афанасьев локальные сети института при помощи комфортной графической оболочки. Студенты, которые желают запускать и компилировать программки обязаны иметь возможность делать это на компьютерах соединенных с локальной сетью КемГУ.

Основными средствами для организации параллельных вычислений К. Е. Афанасьев являются разные реализации эталона MPI. C помощью этих библиотек ведется компиляция и пуск программ юзеров. Есть препядствия использования MPI: во-1-х, перед пуском приложения нужно копирование приложения на все компы кластера; во К. Е. Афанасьев-2-х, перед пуском приложения нужна информация о реально работающих компьютерах кластера для редактирования файла конфигурации кластера, который содержит имена машин; в-3-х, в MPI имеющейся реализации не поддерживается динамическое регулирование процессов, т К. Е. Афанасьев.е. если один из узлов выходит из строя, то общий вычислительный процесс прекращается [2].

Потому создание системы удаленного доступа к распределенным вычислительным ресурсам (УДРВР), являющейся информационной средой для проведения численных тестов К. Е. Афанасьев и хранения результатов, является животрепещущей и принципиальной задачей увеличения эффективности и удобства использования высокопроизводительных вычислительных ресурсов в научных исследовательских работах.

В реальный момент в Кемеровском муниципальном институте коллективом аспирантов и студентов, под общим управлением доктора К. Е. Афанасьев К.Е. Афанасьева, ведётся разработка «Системы удаленного доступа к распределенным вычислительным ресурсам». Предназначением данной системы является обеспечение ученых и студентов комфортным инструментарием для работы с вычислительными ресурсами института.


При проектировании К. Е. Афанасьев системы УДРВР была выбрана трехуровневая архитектура «клиент – сервер – Менеджер Вычислительного Ресурса» (Набросок 1).




^ Набросок 1. Структура системы УДРВР

В рамках разработки системы была поставлена цель - создать компонент «подсистема управления вычислительным кластером», который в предстоящем К. Е. Афанасьев именуется «менеджер кластера», выполняющий последующие задачки:

  1. Автоматическая компиляция заданий юзеров на кластере;

  2. Автоматический пуск заданий (параллельных и поочередных) на кластере с следующим возвращением результатов юзеру;

  3. Мониторинг состояния узлов кластера.

Дипломная работа состоит из содержания, введения К. Е. Афанасьев, 5 параграфов, заключения, перечня литературы и приложений.

В первом параграфе описываются систематизации многопроцессорных систем, пакеты управления вычислительными ресурсами, пакеты мониторинга.

Во 2-м параграфе описывается цель данной работы, также делается постановка задачки, определяются общие К. Е. Афанасьев и многофункциональные требования к системе и подсистеме.

В 3-ем параграфе рассказывается о моделировании и проектировании подсистем.

В четвертом параграфе описывается реализация подсистем.

В 5-ом параграфе рассказывается о тестировании действующей системы на К. Е. Афанасьев вычислительном кластере кафедры ЮНЕСКО в Кемеровском муниципальном институте.

В 2008 году работа захватила диплом II степени на VII Всероссийской научно-технической конференции с интернациональным ролью, проходившей в Анжеро-Судженске, "Информационные технологии и К. Е. Афанасьев математическое моделирование - 2008".

В 2009 году работа была представлена на XLVII Интернациональной научной студенческой конференции, проходившей в Новосибирске, "Студент и научно-технический прогресс", где получила дипломом II степени [11].


k-etomu-vremeni-mon-mnogomu-nauchilsya-iz-trudnostej-dolgih-skitanij-i-poiskov-izvlek-mnogo-poleznogo.html
k-federalnomu-zakonu-ob-ocenochnoj-deyatelnosti.html
k-formam-gosudarstvennogo-kredita-otnosyatsya.html