Архитектура платформы обработки и хранения данных для обучения GenAI моделей

- Какую задачу мы решаем с помощью платформы обработки и хранения данных

- Какие вехи в разработке архитектуры мы прошли и что поняли на каждом шаге

- Как функционирует многоуровневая архитектура платформы данных - как в одном продукте уживается cloud.ru, apache spark, apache airflow, apache iceberg и parquet, и почему мы все пишем на python

- Как мы используем имеющиеся инструменты

- Какие строим планы на будущее