[robot dreams] Архитектура высоких нагрузок. 2021 [Михаил Михалев]

Robot · 17 Сен 2022

Чтобы никогда больше не проектировать системы по принципу copy-paste и не разгребать последствия падения, подключитесь к обучению на курсе. Вы узнаете, как компании справляются с высокой нагрузкой, и научитесь выбирать подходящие архитектурные решения исходя из требований бизнеса.

О курсе:
Недостаточно выявлять и устранять проблемы, связанные с высокой нагрузкой, потому что в этом случае ваш бизнес все равно терпит репутационные и финансовые убытки. Важно научиться планировать и проектировать системы на старте так, чтобы они могли масштабироваться в любой момент и при этом корректно работать.

На курсе вы получите фундаментальные знания в области системного дизайна. Будете разбирать кейсы известных компаний, применять и адаптировать современные Highload-практики. В результате ― научитесь самостоятельно проектировать и разрабатывать системы, которые могут выдержать ≥ 1 млн пользователей ежедневно.

Курс подойдет:
1. Developers / Software Architect
Если вы уже > 2 лет занимаетесь разработкой и проектированием систем, сталкиваетесь с проблемами, которые возникают из-за высокого трафика, и вынуждены предотвращать их постфактум.
2. DevOps / Tech Lead / Team Lead
Если вы не первый год руководите командой разработчиков и сами имеете опыт в промышленной разработке, но устали «тушить пожары» и хотите строить системы, которые смогут выдержать даже 1 млн пользователей ежедневно.
3. CEO / CTO
Если вы периодически терпите репутационные и финансовые потери из-за того, что система не справляется с трафиком, но не знаете всех нюансов проектирования и хотите понять, что происходит с системой во время высокой нагрузки.

Модуль 1 - Введение в Highload-архитектуру

Узнайте, что такое Highload и Data-Intensive Apps.
Разберитесь в задачах, которые стоят перед архитектором высоконагруженных систем.
Узнайте, с какими проблемами он сталкивается в своей работе.
Ознакомьтесь с основными принципами, которые помогают выстроить систему from 0 to millions users.
Научитесь делать грубые расчеты архитектуры приложений.
Сделайте первый черновик Highload-дизайна.

Модуль 2 - Требования к архитектуре

Разберитесь в базовых терминах, которые применяют в Highload-архитектуре.
Узнайте trade-offs высоконагруженных систем: как выбрать компромисс между надежностью, возможностью масштабироваться и быстро восстанавливаться после падения.
Научитесь собирать и составлять требования к приложению.

Модуль 3 - Формат хранения и передачи данных

Изучите глубинную разницу между форматами хранения и передачи данных [JSON/XML/Binary].
Ознакомьтесь с преимуществами и недостатками каждого подхода и научитесь выбирать подход исходя из своих задач и требований бизнеса.

Модуль 4 - Коммуникация системы с внешним миром

Узнайте, как работает коммуникация приложения с внешним миром.
Разберитесь в отличиях Load balancer.
Ознакомьтесь с разными методами имплементации rate limiter.
Научитесь выбирать оптимальный вариант коммуникации исходя из требований бизнеса.
Напишите алгоритм rate limiter.

Модуль 5 - Модели передачи данных

Ознакомьтесь с моделями передачи данных [Database-through model, Service-through model (REST/RPC), Message-passing model].
Узнайте о преимуществах и недостатках каждой модели.
Научитесь выбирать модель исходя из конкретных требований.

Модуль 6 - Хранение данных

Ознакомьтесь с моделями хранения данных [Relational model и document-based model].
Разберите разницу между declarative query languages и imperative query languages.
Изучите жизненный цикл Database Management System [DBMS].
Ознакомьтесь с моделями графовых данных.
Научитесь выбирать лучший вариант хранения данных исходя из требований бизнеса.

Модуль 7 - Структуры данных

Узнайте, как устроены базы данных и в каком виде в них хранится информация.
Найдите необходимую информацию с помощью индексов.
Выберите оптимальный вариант DBMS исходя из требований бизнеса по хранению данных.

Модуль 8 - Аналитика и хранение big data

Узнайте, как нужно хранить данные для аналитики.
Ознакомьтесь с алгоритмом построения Data Warehouse.
Разберитесь в особенностях и отличиях Data Warehouse и Data Lake.
Узнайте, какие факторы нужно учитывать при проектировании хранилища под big data и для чего нужны column-oriented storages.
Напишите key-value хранилище данных исходя из требований.

Модуль 9 - Распределенные данные: САР-теорема

Узнайте, для чего нужно распределять данные и какие проблемы решает такой подход.
Узнайте также, какие проблемы могут возникнуть при таком подходе и научитесь их решать.
Ознакомьтесь с САР-теоремой и научитесь выбирать наиболее подходящее решение по распределению исходя из требований.

Модуль 10 - Распределенные данные: репликация [replication]

Изучите основы репликации данных.
Ознакомьтесь со стратегиями репликации [Multi-leader replication, Leaderless replication].
Изучите преимущества и недостатки каждой стратегии.
Ознакомьтесь с примерами и готовыми решениями рынка, которые используют ту или иную стратегию.

Модуль 11 - Распределенные данные: секционирование [partitioning]

Изучите основы секционирования и поймите, как оно связано с репликацией.
Ознакомьтесь со стратегиями ребалансировки и готовыми решениями, которые применяют компании на практике.
Продолжите работу с key-value data warehouse.

Модуль 12 - Распределенные данные: транзакции [transaction]

Узнайте, что такое ACID и зачем нужны Isolation levels.
Разберитесь в особенностях каждого уровня и научитесь выбирать Isolation level исходя из требований бизнеса.

Модуль 13 - Распределенные данные: целостность [сonsistency]

Узнайте, что такое целостность данных в контексте распределенных систем.
Ознакомьтесь с типами целостности.
На реальных примерах узнайте о преимуществах и недостатках каждого типа.
Научитесь выбирать тип целостности данных исходя из требований бизнеса.

Модуль 14 - Распределенные данные: консенсус [сonsensus]

Узнайте, что такое консенсус в распределенных системах.
Ознакомьтесь с популярными алгоритмами консенсуса [Paxos и Raft].
Поймите, как работают популярные распределенные хранилища данных с точки зрения консенсуса.
Реализуйте выбранный тип консенсуса.

Модуль 15 - Batch and Stream Рrocessing

Изучите особенности работы пакетного режима и потокового режима.
Ознакомьтесь с моделью MapReduce и узнайте, для каких задач ее применять.
Получите информацию о различных Messaging systems, определите их преимущества и недостатки.

Модуль 16 - Event sourcing and streams

Разберитесь в понятиях [state], [stream] и [immutability].
Узнайте, что такое [event stream] и [event sourcing] и когда необходимо их применять.
Добавьте event stream или event sourcing в ваш дизайн.

Модуль 17 - Metrics. Monitoring. Alerting

Узнайте, зачем нужен мониторинг, и научитесь грамотно настраивать оповещения.
Разберитесь в метриках и узнайте, в чем отличие метрик от логов.
Опишите метрики для одного из компонентов системы.

Модуль 18 - Презентация курсового проекта

Создайте и защитите архитектуру выбранного [или своего] проекта, учитывая что дизайн обязательно должен предусматривать высокую нагрузку.