- 최신 데이터 인프라를 위한 새로운 아키텍처 2.0
https://news.hada.io/topic?id=6435
내 최고의 관심사 등장!!!
2년 전에 나왔던 "최신 데이터 인프라를 위한 새로운 아키텍처" 글이 버전업 되어서 "최신 데이터 인프라를 위한 새로운 아키텍처 2.0" 글이 나왔습니다. 데이터 디스커버리, 데이터 워크스페이스, 리버스 ETL 등을 지원하는 새로운 도구들이 많이 추가되었고요. 하나로 묶여 있었던 Ingestion & Transformation이 나눠지면서 Ingestion & Transport 와 Transformation으로 분할되고 Metrics Layer가 추가되었습니다. 재미난 건 글 말미에 "데이터 플랫폼"에 대한 가설을 제시하는데요. 기존의 데이터 인프라 스택은 다양한 도구들을 엮어서 사용하는 수준이었다면, 이제는 이런 도구들이 백엔드 수준에서 통합되면서 개발자들이 그 위에서 새로운 데이터 앱들을 손쉽게 만들 수 있는 형태로 발전해가는 모습들이 보인다고 얘기합니다. 지난 몇 년간 데이터 인프라 제품들이 계속 만들어지는 것은, 플랫폼이 되었을 때 가지는 가치가 매우 크기 때문에 벤더들이 경쟁하기 때문이라는 게 바로 이 플랫폼 가설인데요. 아직 엄격하게 정의 내리기는 어렵지만, 이런 플랫폼이 구성되고 그 위에서 어떻게 앱 레이어가 변화해 갈지 살펴보면 좋을 것 같습니다.
성공적인 위험감수(Risk-Taking) 문화 구축을 위한 팁
https://news.hada.io/topic?id=6434Coursera가 추천하는 초보자를 위한 데이터 분석 책들 : 2022
https://www.coursera.org/articles/data-analytics-books-for-beginners
- Numsense! 수학 없이 배우는 데이터 과학과 알고리즘
- 데이터를 다루며 배우는 파이썬
- 빅 데이터가 만드는 세상 : 데이터는 알고 있다
- 비즈니스를 위한 데이터 과학 빅데이터를 바라보는 데이터 마이닝과 분석적 사고
- 데이터 스토리텔링 연습 : 연습 문제와 다양한 사례로 익히는 데이터 시각화 기법
- The Hundred-Page Machine Learning Book:수식과 간결한 설명을 바탕으로 하는 핵심 머신 러닝
- 벌거벗은 통계학 : 복잡한 세상을 꿰뚫는 수학적 통찰력
- 대량살상 수학무기 어떻게 빅데이터는 불평등을 확산하고 민주주의를 위협하는가
- Data Analytics Made Accessible by Dr. Anil Maheshwari
- Artificial Intelligence: A Guide for Thinking Humans by Melanie Mitchell
- SQL QuickStart Guide: The Simplified Beginner's Guide to Managing, Analyzing, and Manipulating Data With SQL by Walter Shields
- Business unIntelligence: Insight and Innovation beyond Analytics and Big Data by Dr. Barry Devlin
- Datasette - 개인용 데이터 웨어하우스 오픈소스
- 다양한 종류의 데이터를 수집 & 분석하고 웹사이트로 퍼블리싱 하도록 도와주는 도구
- 데이터 저널리스트, 과학자, 연구자등을 대상
- SQLite 기반이며, macOS용 데스크탑앱 제공
- 수집한 데이터를 JSON/GraphQL API등으로 제공 가능. 인터랙티브 프로토타입의 백엔드로 사용하거나 Observable/Jupyter 노트북등에서 사용 가능
- 38개의 관련 도구 및 87개의 플러그인이 있으며 계속 늘어나는 중
- Publish 기능으로 만들어진 결과물(인터랙티브 웹사이트)을 Heroku/Google CloudRun 및 Vercel, Fly.io등에 배포 가능
↳
나온지 좀 된 도구인데, 저도 좀 써보고 추천하려다 늦어졌네요.
제작자인 Simon Willison이 처음에 소개한 글을 읽어보시면 좋습니다.
Personal Data Warehouses: Reclaiming Your Data
관련해서 제작자가 운영하는 Dogsheep 프로젝트에 보시면
다양한 소스에서 SQLite로 데이터를 가져오는 것을 지원합니다.
Twitter, GitHub, Apple HealthKit, Apple Photos, Google Takeout, Evernote, HackerNews, Pocket, Foursquare Swarm..
이런 소스에서 데이터를 가져다가 맘대로 분석해서 뭔가 유의미한 결과물을 만들수 있게 지원해주는 도구입니다.
개인 오픈소스 프로젝트라 조금 인터페이스가 열악하긴 한데, 다양하게 활용 가능합니다.
제작자가 계속 관련해서 개선하고 이런 저런 용도로 사용한 글을 쓰고 있으니 같이 참고하세요
https://simonwillison.net/search/?tag=datasette
- FE News - 네이버 프론트엔드 기술 소식
'Etc > GeekNewsWeekly' 카테고리의 다른 글
Things that used to be hard and are now easy (0) | 2022.08.23 |
---|---|
2022년 PyTorch 와 TensorFlow 비교 (0) | 2022.08.23 |
22.04.25 GeekNews Weekly (0) | 2022.08.23 |
22.04.18 GeekNews Weekly (1) | 2022.08.23 |
22.04.12 GeekNews Weekly (0) | 2022.08.23 |