Data & Engineering & AI

ML을 공부하고 데이터에 관심이 많은 사람이었지만 근본에 대해 살펴보고자 한다. 한번쯤 나만의 정의를 하고 싶어서 써보는 글 

 

 

 

1. what is data?

딕셔너리의 내용을 가져와서 하나씩 분석하기엔 재미가 없으니까 곧바로 정리를 해보자 

 

By definition, data itself should reflect a fact or a group of facts in the real world, which is its foremost important characteristic. Data can be collected in different ways and stored in various formats, and the optimal way depends on usefulness and efficiency

 

On the other hand, information is about what can be derived and leveraged from the data. It is more abstract and requires careful design and programming to retrieve what is needed by the data stakeholders. 

 

=> 즉, 데이터를 처리해서 유용한 정보를 얻어낸다.

 

 

2. what is engineering?

 

Engineering combines the fields of science and maths to solve real world problems that improve the world around us. What really distinguishes an engineer is their ability to implement ideas in a cost effective and practical approach. This ability to take a thought, or abstract idea, and translate it into reality is what separates an engineer from other fields of science and mathematics. Consider some things you use in your everyday life: Buildings, roads and bridges, vehicles (cars, planes and boats), computers and other electronic devices. Not a single one of them would exist without engineers! You wouldn’t have been able to drive to work, check your Facebook status or even use the toilet this morning!

 

=> 추상적인 아이디어를 사실적으로 바꾸는 것 그 능력을 엔지니어링이라고 한다. 

그러니까 생각하고 뚝딱뚝딱 만들어야 한다는 걸 말함. 이렇게 무언가를 '생산'해내는 매력에 빠지는 게 '진짜'엔지니어가 아닐까 싶다. 

 

3. Data Engineering

 

 

Fundamentals of Data Engineering 의 저자는 아래와 같이 정의합니다.

Data engineering is the development, implementation, and maintenance of systems and processes that take in raw data and produce high-quality consistent informatkon that supports downstream use cases, such as analysis and machine learning. Data engineering is the intersection of security, data management, DataOps, data architecture, orchestraion, and software engineering. A data engineer manages the data engineering lifecycle, beginning with getting data from source systems and ending with serving data for use cases, such as analysis or machine learning.

=> data engineering이란 데이터의 생명주기를 관리하는 작업. 데이터가 필요한 사용자에 맞게 데이터 니즈를 효율적으로 만드는 것 뿐만이 아닌 그런 솔루션을 유지,보수 즉 관리하는 것이 데이터 엔지니어의 역할이다.

 

4. AI/ ML/ DL

자 이제 본격적으로 오늘 글쓰기에 중심인 ML로 돌아가보자, 불과 1년 전만해도 본인은 그니까 Ai랑 머신러닝이랑 딥러닝의 상관관계가 뭔데? 라고 말하던 과거의 본인; 이제는 피할 수 없게 되었다. 아무래도 운명인가보다... 그러니 한단계씩 내 것으로 만들어보려고 한다.

 

일단, 저 세 단어의 관계를 알아보자,

 

 

 

 

- 머신러닝과 딥러닝을 포괄하는 개념이 AI

- 인공지능(Artifical Intelligence): 인공적으로 만들어진(인간의 학습능력, 추론능력, 지각능력, 언어 이해 능력 등)을 컴퓨터에 구현한 기술

- 기존의 소프트웨어는 개발자가 어떠한 문제를 해결하기 위하여 알고리즘을  구상하여 그 알고리즘에 따라 행동하는 프로그램이다.

- 하지만 인공지능은 인간이 구성한 '네트워크' 안에서 스스로 학습하여 최적의 알고리즘을 발견한다. 그래서 더 복잡하고 뛰어난 수준으로 문제를 해결할 수 있다. 

- 머신러닝과 딥러닝의 차이: 뉴런 네트워크(인공신경망)의 사용 유무/ 피쳐만 쓰면 머신러닝, 레이어를 쓰면 딥러닝

 

✓ 머신러닝의 3가지 분야: 지도학습/ 비지도 학습/ 강화학습

 

 

 

Reference)

https://towardsdatascience.com/what-is-data-ade94b37204a

What is Data?

https://engineering.umaine.edu/what-is-engineering/

What is Engineering? - College of Engineering - University of Maine

https://blog.lgcns.com/2212

딥러닝, 데이터로 세상을 파악하다(1)

 

https://www.philgineer.com/2020/05/machine-learning01.html

[비전공자를 위한 딥러닝] 1.1 - 그래서 '학습'이 뭔데? (1)