Аутстаффинг ИТ-специалистов

Apache Kafka · Настройка · Сопровождение

Настройка и сопровождение Apache Kafka

Разворачиваем и сопровождаем Apache Kafka: топики, доступы, хранение событий и наблюдение за потребителями. Согласуем партиционирование и проверяем работу клиентов под выбранной нагрузкой.

Порядок событий и гарантии обработки зависят от конфигурации и приложения. Повторное чтение согласуем с учётом возможных повторных действий потребителя.

Рабочая KafkaПараметры топиковРегламент обработки

Подготовим вводные

Уточним задачу: Apache Kafka

Три вопроса помогут определить контур работ и следующий шаг к оценке.

≈ 1 минута
Вопрос 1 из 3
Можно вернуться и изменить ответ

Какие задачи решаем

Состав работ зависит от вашей системы и согласованных критериев результата.

Задача / 01

Описать потоки / Подготовить кластер

Собираем продюсеров, потребителей и требования к событиям.

Согласуем узлы, контроллеры и ресурсы.

Задача / 02

Настроить топики

Проверяем партиции, репликацию, хранение и права.

Задача / 03

Организовать контроль

Наблюдаем lag, ошибки, состояние реплик и диски.

Специалисты, которые могут участвовать в вашем проекте

Состав команды и участие сотрудников согласуем с учётом задач проекта и сроков.

Специалистов: 9

Иллюстрация профиля Дмитрий М.

Дмитрий М.

Junior DevOps Engineer

MiddleОпыт 3+ лет
PythonGoAWS/GCP/AzureTerraform
Все навыки (8)
SpinnakerKafkaOpenStackDatadog
Иллюстрация профиля Олег М.

Олег М.

DevOps Engineer

SeniorОпыт 9+ лет
PythonOpenShiftAnsibleJenkins
Все навыки (6)
KafkaRHCE
Иллюстрация профиля Валерия Л.

Валерия Л.

DevOps Engineer

Senior+Опыт 11+ лет
PythonSQLGrafanaGitOps
Все навыки (15)
Архитектура KubernetesDisaster RecoveryDatadogELKPromQLCloudWatchOpenShiftAnsibleJenkinsKafkaRHCE
Иллюстрация профиля Янина С.

Янина С.

DevOps Analyst

MiddleОпыт 14+ лет
GoTerraformAWSKafka
Все навыки (7)
CrossplaneSpinnakerFinOps
Иллюстрация профиля Полина М.

Полина М.

SRE-инженер

MiddleОпыт 3+ лет
GoPythonDockerKafka
Все навыки (8)
AWS (EC2/S3/RDS)GitLab CIHelmPostgreSQL
Иллюстрация профиля Никита В.

Никита В.

SRE-инженер

MiddleОпыт 4+ лет
C++PythonKafkaHelm
Все навыки (7)
ArtifactoryNginxPostgreSQL
Иллюстрация профиля Илья Г.

Илья Г.

SRE-инженер

Senior+Опыт 14+ лет
GoPythonKubernetesSLO / SLI
Все навыки (15)
Capacity planningChaos engineeringTerraformAnsibleELK StackCassandraKafkaSLO/SLI-фреймворкиGCP AnthosIstioCortex
Иллюстрация профиля Ксения Ж.

Ксения Ж.

SRE-инженер

SeniorОпыт 6+ лет
GoKafkaTerraformAWS
Все навыки (7)
IstioSpinnakerDatadog
Иллюстрация профиля Ангелина О.

Ангелина О.

SRE-инженер

SeniorОпыт 12+ лет
GoPythonKafkaSLO/SLI-фреймворки
Все навыки (7)
GCP AnthosIstioCortex

Состав и границы услуги

В состав работ

Собираем продюсеров, потребителей и требования к событиям. Согласуем узлы, контроллеры и ресурсы. Проверяем партиции, репликацию, хранение и права. Наблюдаем lag, ошибки, состояние реплик и диски.

Зависимости

Объём, размер и частота сообщений. Группы потребителей и требования к порядку. Сроки, доступность и допустимые задержки.

Не входит автоматически

Состав доработок приложений, закупку лицензий и дальнейшее сопровождение согласуем отдельно от первичной настройки.

Что получите по итогам работ

Конкретный состав артефактов и критерии приёмки фиксируем перед началом работ.

Рабочая Kafka

Кластер и доступы подготовлены для выбранных клиентов.

Параметры топиков

Настройки связаны с нагрузкой и сроками хранения.

Регламент обработки

Инструкции для диагностики отставания и обслуживания.

Инструменты и конфигурация

Состав решения согласуем с учётом вашей инфраструктуры и задач.

Рабочая Kafka

Кластер и доступы подготовлены для выбранных клиентов.

Начнём с вашей текущей системы

Разберём вашу задачу

Начнём с текущей схемы и требований. Согласуем пилот, критерии результата и последовательность изменений.

Доступы согласуем отдельно

Предоставляйте только необходимые сведения и минимальные права для выбранного этапа.

ПЕРЕД СТАРТОМ

Карта вашей системы

  1. СобытияОбъём, размер и частота сообщений.
  2. КлиентыГруппы потребителей и требования к порядку.
  3. ХранениеСроки, доступность и допустимые задержки.

Общая картина проектаОснова для оценки объёма и плана работ

Форматы выполнения работ

Формат сотрудничества / 01

Оценка задачи

Разберём текущую схему и определим объём изменений.

Этапы проекта

01

Согласуем задачу

Определим исходное состояние, границы работ и критерии приёмки.

РЕЗУЛЬТАТ ЭТАПАПлан и критерии
Подробнее об этапе

Начнём с текущей схемы и требований. Согласуем пилот, критерии результата и последовательность изменений.

02

Выполним работы

Реализуем согласованный объём на выбранном контуре.

РЕЗУЛЬТАТ ЭТАПАГотовое решение
Подробнее об этапе

Согласуем узлы, контроллеры и ресурсы. Проверяем партиции, репликацию, хранение и права.

03

Проверим и передадим

Проверим результат по согласованным сценариям и передадим материалы команде.

РЕЗУЛЬТАТ ЭТАПАРезультат и инструкции
Подробнее об этапе

Проверяем публикацию и чтение контрольных событий. Проверяем наблюдение за lag потребителей. Проверяем выбранный сценарий сбоя и восстановления. Инструкции для диагностики отставания и обслуживания.

Стоимость и сроки: что влияет на оценку

Стоимость и продолжительность определяем после анализа исходных данных, доступа и согласованного объёма. Подготовим индивидуальную оценку с учётом требований к результату.

Объём+Зависимости+Проверка→Оценка работ
Факторы оценки: Apache Kafka
ФакторЧто оцениваем
СобытияОбъём, размер и частота сообщений.
КлиентыГруппы потребителей и требования к порядку.
ХранениеСроки, доступность и допустимые задержки.
Охват внедренияКоличество проектов, окружений и контрольных сценариев; необходимая глубина автоматизации.

Проверка, передача и дальнейшие действия

01

Обмен

Проверяем публикацию и чтение контрольных событий.

02

Отставание

Проверяем наблюдение за lag потребителей.

03

Отказ

Проверяем выбранный сценарий сбоя и восстановления.

Передача результата

Передаём согласованные настройки, результаты проверки и инструкции. Дополнительное сопровождение и режим реакции обсуждаем отдельно.

Опыт команды в проектах

Существующие проекты и отзывы компании CodeHub. Примеры не означают, что именно эта услуга выполнялась в каждом проекте.

Видеоотзывы клиентов

Отзывы клиентов о работе компании CodeHub; они не являются подтверждением выполнения конкретно этой услуги.

Вопросы об услуге: Apache Kafka

Порядок гарантирован во всём топике?

Порядок рассматривается в пределах партиции; способ распределения событий согласуем с приложением.

Можете разработать обработчики?

Разработку клиентов и бизнес-логики оцениваем отдельно от настройки инфраструктуры.

Как принимается результат?

Согласуем контрольные сценарии до начала работ, передадим настройки, результаты проверок и инструкции.

Какие материалы нужны для оценки?

Описание среды, требования и примеры конфигураций без секретов. Доступы для выполнения работ согласуем по этапам.

Как определяются сроки и стоимость?

По результатам оценки согласуем охват систем, этапы работ и критерии приёмки. Расходы на внешние сервисы укажем отдельно.

Можно начать с пилотного проекта?

Да. Выберем ограниченный объект, проверим результат и затем согласуем расширение.

Обсудим задачу

Опишите задачу по услуге «Настройка и сопровождение Apache Kafka». Уточним вводные, ограничения и следующий шаг к оценке.

Онлайн-отправка пока недоступна. Свяжитесь с менеджером по телефону или email.

Обсудить проект

Онлайн-отправка пока недоступна. Позвоните нам: +7 (905) 884-06-92 или напишите на info@itcodehub.ru.

Видеоотзыв клиента