Delta Lake

델타 레이크는 오폰소스 트랜잭션 스토리지 레이어로 HDFS, S3와 같은 스토리지 위에 위치한다. 이 계층을 사용하면 스토리지에 파케이 포맷으로 데이터를 저장한다.

특징으로는 이기종 데이터 소스를 쉽게 통합할 수 있고 스트리밍 데이터와 배치 데이터를 통합해서 분석할 수있다. 또한, 머신러닝, 고급 분석에 ETL 및 SQL 쿼리를 통합하여 분석할 수 있다.

출처: https://databricks.com/blog/2018/07/19/simplify-streaming-stock-data-analysis-using-databricks-delta.html

참고자료

https://docs.microsoft.com/ko-kr/azure/databricks/delta/delta-intro https://databricks.com/kr/product/delta-lake-on-databricks https://databricks.com/blog/2018/07/19/simplify-streaming-stock-data-analysis-using-databricks-delta.html