Delta Lake
Last updated
Was this helpful?
Last updated
Was this helpful?
๋ธํ ๋ ์ดํฌ๋ ์คํฐ์์ค ํธ๋์ญ์ ์คํ ๋ฆฌ์ง ๋ ์ด์ด๋ก HDFS, S3์ ๊ฐ์ ์คํ ๋ฆฌ์ง ์์ ์์นํ๋ค. ์ด ๊ณ์ธต์ ์ฌ์ฉํ๋ฉด ์คํ ๋ฆฌ์ง์ ํ์ผ์ด ํฌ๋งท์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์ ์ฅํ๋ค.
ํน์ง์ผ๋ก๋ ์ด๊ธฐ์ข ๋ฐ์ดํฐ ์์ค๋ฅผ ์ฝ๊ฒ ํตํฉํ ์ ์๊ณ ์คํธ๋ฆฌ๋ฐ ๋ฐ์ดํฐ์ ๋ฐฐ์น ๋ฐ์ดํฐ๋ฅผ ํตํฉํด์ ๋ถ์ํ ์์๋ค. ๋ํ, ๋จธ์ ๋ฌ๋, ๊ณ ๊ธ ๋ถ์์ ETL ๋ฐ SQL ์ฟผ๋ฆฌ๋ฅผ ํตํฉํ์ฌ ๋ถ์ํ ์ ์๋ค.
https://docs.microsoft.com/ko-kr/azure/databricks/delta/delta-intro https://databricks.com/kr/product/delta-lake-on-databricks https://databricks.com/blog/2018/07/19/simplify-streaming-stock-data-analysis-using-databricks-delta.html