Kafka Engineer

Wynagrodzenie

B2B: 1000 – 1200 PLN / dzień netto

Poszukujemy doświadczonego Kafka Engineera z dogłębną znajomością Confluent Platform, Confluent Kafka oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.

Projekt obejmuje:

• budowę rozwiązania Kafka w chmurze AWS, w tym . Aurora, MSK, EKS,
• implementację replikacji danych pomiędzy klastrami on-premise i AWS z wykorzystaniem MirrorMaker 2, Cluster Linking oraz Confluent Replicator,
• stworzenie procesów CI/CD oraz rozwiązań Infrastructure-as-Code dla środowiska AWS,
• zapewnienie wysokiej dostępności, bezpieczeństwa, monitoringu oraz odpowiedniej wydajności platformy.

Zakres obowiązków

1. Architektura i projektowanie

• Projektowanie hybrydowej topologii Kafka (on-premise ↔ AWS).
• Dobór i konfiguracja komponentów Confluent Platform, .:

  • Schema Registry,

  • Flink,
  • Control Center,
  • Tableflow.

• Projektowanie architektury zapewniającej wysoką dostępność, bezpieczeństwo i skalowalność.

2. Budowa środowiska AWS

• Tworzenie i konfiguracja klastrów Kafka, w tym Amazon MSK oraz Confluent Cloud.
• Konfiguracja niezbędnych usług AWS, .:

  • VPC,

  • IAM,
  • EC2,
  • EKS,
  • S3,
  • KMS,
  • Secrets Manager.

• Integracja komponentów Kafka z istniejącą infrastrukturą on-premise.

3. Replikacja i synchronizacja danych

• Implementacja i konfiguracja:

  • MirrorMaker 2,

  • Cluster Linking,
  • Confluent Replicator.

• Zapewnienie spójności danych pomiędzy środowiskami on-premise i AWS.

• Optymalizacja mechanizmów replikacji pod kątem wydajności i niskich opóźnień.

• Monitorowanie procesów replikacji i reagowanie na problemy z synchronizacją.

4. CI/CD i Infrastructure-as-Code

• Projektowanie i utrzymywanie pipeline'ów CI/CD z wykorzystaniem:

  • GitHub Actions,

  • GitLab CI,
  • Jenkins.

• Automatyzacja wdrożeń Kafki, schematów oraz aplikacji konsumenckich.

• Implementacja Infrastructure-as-Code w Terraform:

  • tworzenie i utrzymywanie modułów,
  • wersjonowanie infrastruktury,
  • testowanie planów,
  • automatyzacja procesu apply.

• Automatyzacja testów integracyjnych dla środowisk Kafka.

• Wykorzystanie Ansible do automatyzacji konfiguracji i wdrożeń.

5. Monitoring, observability i operacje

• Implementacja i utrzymywanie monitoringu z wykorzystaniem:

  • Prometheus,

  • Grafana,
  • Confluent Control Center,
  • OpenTelemetry,
  • Elastic Stack.

• Tworzenie i utrzymywanie:

  • runbooków,
  • alertów,
  • SLA/SLO.

• Rozwiązywanie incydentów oraz problemów związanych z działaniem platformy.

• Optymalizacja wydajności i tuning konfiguracji Kafka.

6. Bezpieczeństwo

• Konfiguracja i utrzymanie mechanizmów bezpieczeństwa:

  • TLS,

  • SASL,
  • ACL,
  • RBAC.

• Implementacja szyfrowania danych w spoczynku oraz podczas transmisji.

• Współpraca z zespołami Security przy projektowaniu bezpiecznej architektury.

7. Współpraca i mentoring

• Praca w ramach zespołu Data Platform we współpracy z Data Engineers, DevOps oraz Security.
• Mentoring mniej doświadczonych członków zespołu.
• Prowadzenie warsztatów i dzielenie się wiedzą techniczną.

Wymagania techniczne – must-have

Kafka i Confluent

• Minimum 4 lata doświadczenia z Apache Kafka.
• Biegła znajomość:

  • Confluent Platform (Enterprise),

  • Confluent Kafka,
  • Confluent Cloud.

AWS

Praktyczna znajomość usług:

• VPC,
• IAM,
• EC2,
• EKS,
• MSK,
• S3,
• KMS,
• AWS Secrets Manager.

Środowiska hybrydowe

• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych on-premise ↔ AWS.

Infrastructure-as-Code

• Bardzo dobra znajomość Terraform, w tym:

  • tworzenie modułów,

  • zarządzanie stanem i wersjonowaniem,
  • testowanie infrastruktury,
  • Terratest,
  • tfsec.

• Znajomość Ansible.

CI/CD

• Doświadczenie w tworzeniu i utrzymywaniu pipeline'ów CI/CD.
• Znajomość:

  • GitHub Actions,

  • GitLab CI,
  • Jenkins.

• Doświadczenie w automatyzacji testów integracyjnych dla Kafki.

Programowanie i scripting

• Znajomość:

  • Python,

  • Bash,
  • Ansible.

Monitoring i observability

• Doświadczenie z:

  • Prometheus,

  • Grafana,
  • Confluent Control Center,
  • OpenTelemetry,
  • Elastic Stack.

Bezpieczeństwo

• Znajomość:

  • TLS,

  • SASL,
  • ACL,
  • RBAC,
  • szyfrowania danych w spoczynku,
  • szyfrowania danych w tranzycie.

Metodyki pracy

• Doświadczenie w pracy w Scrum i/lub Kanban.
• Znajomość narzędzi:

  • Jira,

  • Confluence.