大数据开发工具

大数据开发工具用于数据采集、计算、查询、调度和可视化。

常见工具

• Hadoop；
• Hive；
• Spark；
• Flink；
• Kafka；
• ClickHouse；
• DataX；
• DolphinScheduler；
• Superset；
• Grafana。

选择建议

• 离线计算关注 Spark/Hive。
• 实时计算关注 Flink/Kafka。
• OLAP 查询关注 ClickHouse/Trino。
• 调度关注 Airflow/DolphinScheduler。