데이터사이언스 스터디

데이터분석을 하는 경우 보통 R 또는 파이썬을 사용합니다. 현장에서는 아무래도 머신러닝/인공지능까지 접목이 용이한 파이썬을 더 선호하는 추세입니다. 처음 데이터분석을 배우고 싶어하시는 분들이 가장 어려워 하시는 점이 파이썬에 익숙치 않아서 인데요. 하지만 걱정 안하셔도 됩니다. 우리는 모든 파이썬 문법을 알 필요가 없으니까요. 그래서!! 정말 필요한 것만 압축해서 문서 1장에 담았습니다. 파이썬을 잘 몰라도 데이터분석을 할 수는 있지만 잘 다룰 줄 알면 더 쉽게 데이터 분석을 할 수 있답니다. 문서를 HTML과 노트북 파일로 첨부를 드릴 테니 필요하신 분들을 가져다가 연습하세요!

김정욱 (파이썬+판다스+크롤링) 2020. 4. 19. 11:47

주피터 노트북에서 문서를 쉽게 작성할 수 있는 단축키를 알려드리겠습니다. 주피터 노트북 화면에서 아래 그림과 같은 빨간색 사각형 내의 버튼을 누르면 단축키를 안내해줍니다. 그 중에서 자주 사용하는 몇 개를 알려드릴게요~ 1. ESC - 명령모드로 전환하는 단축키입니다. 코드나 마크다운을 작성하다가 ESC키를 누르면 셀에서 커서가 사라지게 됩니다. 이 때부터 단축키를 사용할 수 있습니다. 2. shift-enter - 셀 창을 실행하는 단축키입니다. 코드 셀창이면 코드가 실행되고 마크다운 셀창이면 글씨를 작성합니다. 3. M - 마크다운 셀 창으로 바꾸는 단축키입니다. #을 붙이면 글씨 크기를 조정할 수 있습니다. 4. Y - 코드 셀 창으로 바꾸는 단축키입니다. 코드를 작성할 수 있습니다. 5. C - ..

김정욱 (파이썬+판다스+크롤링) 2020. 3. 2. 23:40

이번시간에는 데이터를 다루는 데이터 사이언스의 개념에 대해서 알아보도록 하겠습니다. 데이터 사이언스의 개념 데이터 사이언스는 수학, 통계학, 데이터 공학, 컴퓨터 공학 등의 전문지식을 종합한 학문이다, 데이터로부터 의미있는 정보를 추츨해내는 학문으로 정형 또는 비정형을 막론하고 다양한 유형의 데이터를 대상으로 분석뿐 아니라 효과적으로 구현하고 전달하는 과정 그러면 데이터 사이언스이 영역은 어떻게 될까요? 데이터 사이언스의 영역 데이터 사인어스의 영역은 크게 3가지 정도로 생각할 수 있습니다. ① 분석 영역 : 수학, 확률모델, 통계, 머신러닝, 불확실성 모델링 등 ② IT 영역 : 프로그래밍, 데이터 엔지니어링, 데이터 웨어하우스 등 ③ 비즈니스 영역 : 프레젠테이션, 스토리텔링, 시각화 등 그러면 데이..

이정훈 (선형대수+수리통계+미적분) 2020. 2. 29. 23:40

빅데이터라는 개념은 다음과 같은 출현배경을 가집니다. ① 산업계: 고객 데이터를 축적하여 보유하여 데이터의 숨어있는 가치를 발굴하고 출현 ② 학 계: 거대 데이터를 다루는 학문 분야가 늘어나면서 기술 아키텍처 및 통계 도구 발전 ③ 기술발전: 디지털화, 저장 기술의 발달, 인터넷의 보급 등의 기술 발전 그러면 현대의 빅데이터란 무엇인가? 단지 큰 양을 가지는 데이터를 말하는 것일까요? 빅데이터의 정의를 살펴보기 위하여 가트너 그룹(Gartner Group)의 더그 래니(Doug Laney)의 3V를 알아보도록 하겠습니다. 가트너 그룹(Gartner Group)의 더그 래니(Doug Laney)의 3V 3V 양(Volume) 다양성(Variety) 속도(Velocity) 센싱데이터, 비정형데이터 영상, 사..

이정훈 (선형대수+수리통계+미적분) 2020. 2. 27. 23:19

변수에 저장하는 데이터가 숫자일 경우를 살펴봅시다. 파이썬에서 숫자 데이터는 정수형과 실수형이 있습니다. 정수형은 int, 실수형은 float 으로 표현하지요~ 숫자형의 가장 큰 특징은 연산이 가능한 것입니다. +, -, *, / 과 같은 사칙연산 뿐만 아니라 다양한 연산이 가능합니다. 아래표를 참고하세요~ a=5, b=2 사용법 결과 더하기 a + b 7 빼기 a – b 3 곱하기 a * b 10 나누기 a / b 2.5 몫 구하기 a // b 2 나머지 구하기 a % b 1 제곱 구하기 a ** b 25 최댓값 max(a,b) 5 최솟값 min(a,b) 2

김정욱 (파이썬+판다스+크롤링) 2020. 2. 25. 00:23

저번 시간에는 데이터에 대해서 간단히 살펴보았습니다. 이번에는 데이터 베이스(data base)에 대하여 공부해보도록 하겠습니다. 1. 데이터베이스의 정의 분류 정의 1차 개념확대 (정형데이터 관리) 소재를 체계적으로 배열 또는 구성한 편집물로서 개별적으로 그 소재에 접근하거나 그 소재를 검색할 수 있도록 한것 2차 개념확대 (빅데이터의 출현으로 비정형데이터 포함) 문자, 기호, 음성, 화상, 영상 등 상호 관련 된 다수의 콘텐츠를 정보 처리 및 정보 통신 기기에 의하여 체계적으로 수집, 축적하여 다양한 용도와 방법으로 이용할 수 있도록 정리한 정보의 집합체 기술 발전에 따라서 데이터베이스의 개념도 확대되었습니다. 다음으로는 데이터베이스의 특징에 대해서 알아보도록 하겠습니다. 2. 데이터베이스의 특성 통..

이정훈 (선형대수+수리통계+미적분) 2020. 2. 23. 17:57

Ubuntu 의 Docker 환경으로 Jupyter Notebook 서버를 돌리고 있을 때 matplotlib 한글 깨짐 현상이 종종일어납니다. 이럴 땐 한 번 한글폰트 설치 후 Image를 백업시키는 것도 방법이 될 수 있습니다. 일단, Ubuntu + Docker 조합으로 Jupyter Notebook서버를 돌리시는 분들을 위하여 한글 깨짐 현상을 해결해 보도록 하겠습니다. 설치는 bash shell에서 진행할 수도 있고, jupyter notebook에 !를 맨 앞에 붙혀주면, bash command를 실행하게 됩니다. 나눔 폰트 설치 및 cache 제거 나눔 폰트 설치 !apt-get install -y fonts-nanum 나눔 폰트가 설치되었는지 확인 !ls -l /usr/share/fonts..

테디 (머신러닝+딥러닝) 2020. 2. 22. 19:44

데이터분석을 위해서는 데이터를 저장하는 공간이 필요하겠죠? 우리는 이를 변수라고 부릅니다. 그리고 아래와 같이 만들죠. a(변수명) = 6(변수값) → a 라는 이름을 가진 공간에 6이라는 값을 넣어라~ 우리가 사용하는 데이터는 종류가 다양하기 때문에 저장할 데이터의 형태에 따라 변수의 형태도 달라집니다. 이를 자료형이라고 합니다. 컴퓨터 언어마다 조금씩 다르지만, 파이썬에서는 아래와 같이 데이터의 형태에 따라 자료형이 달라집니다. 1) a=6 데이터가 정수일 경우 -> int 2) b=3.14 데이터가 실수일 경우 -> float 3) c=“python” 데이터가 문자열일 경우 -> str 4) d=[1, 2, 3, 4, 5] 데이터가 리스트일 경우 -> list 5) e={“사과”:”apple”, “..

김정욱 (파이썬+판다스+크롤링) 2020. 2. 20. 23:57