"데이터 분석가"가 되어보자

딥러닝"컴퓨터가 스스로 생각을 할 수 있을까?" 라는 질문에서 시작한 인공지능 (Artificial Intelligence, AI) 는 이제는"컴퓨터는 우리가 명시적으로 지시한 특정 목표를 달성할 수 있는가?"의 생각 아래 머신 러닝 (Machine Learning, ML)의 단계까지 도달하게 되었다. 질문과 해답을 넣어주면 둘 사이의 규칙을 알려주는 머신 러닝은 이제는 인간의 신경망 처럼 질문과 해답 사이에 수많은 은닉층 (Hidden Layer)을 통해 더욱 복잡한 규칙을 구현할 수 있게 되었으며 진화 알고리즘의 자연선택에서 영감을 받은 유전적 알고리즘 또한 최적화 문제에 많이 사용되고 있다. Artificial Neural NetworkANN은 기본적으로 데이터로부터의 학습이 필요하다. 이 때, 데..

판다스에는 데이터 프레임을 변형할 수 있는 여러가지 방법이 있다. Pivotpivot() 자료들은 보통 "Record"나 "Wide" 포맷으로 되어있다.이 포맷은 하나의 레코드가 여러 컬럼마다 하나의 값을 가지는 형식인데,이를 피벗화 해주면 컬럼 별 레코드를 확인할 수 있다.예를들어, "시간 별 컬럼 1의 변화량"을 보고 싶다면 pivot을 활용하면 편리하다.  이를 파이썬을 활용해 구하면 아래와 같다. df_pivoted = df.pivot(index="date", columns="variable", values="value")##outcomevariable A B C Ddate 2020-01-03 0 3 6 92020-01-04 1 4 7 ..

오늘은 아래의 아티클을 읽고 이를 정리해보았다. 태블로 Tableau란? 기능 소개, 사용 방법, 가격 후기 - 뉴스젤리 : 데이터 시각화 전문 기업데이터에 대한 생각을 바꾸는 Tableaunewsjel.ly 추가로, 태블로에 예측 기능이 있는 것을 알았고 이에 대해 리서치를 해보았다.   1. 많은 양의 데이터를 빠르게 연동하기태블로는 파일, 서버에 연결하는 두 가지 방법으로 데이터를 업로드 할 수 있다.파일의 경우 엑셀, csv, pdf 등 여러 형태를 업로드할 수 있다. 2. 추천 시스템을 통한 쉬운 차트 시각화드래그 앤 드롭 방식으로 손쉽게 시트를 시각화할 수 있다.데이터의 차원과 측정값을 동시에 선택해 우측 화면에 '표현 방식'을 보는 것으로 원하는 시각화를 할 수 있다. 3. 통계 기능을 통해..

확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘아티클에 대한 정리확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT (wishket.com) 확실히 알아두면 만사가 편해지는 머신러닝 10가지 알고리즘 | 요즘IT실무에서 원활히 머신러닝으로 데이터를 분석하는 데 얼마나 많은 알고리즘을 알고 있어야 할까요? 선형, 군집, 트리 같은 기본 개념을 알고 XGBoost와 LightGBM 같은 최신 알고리즘을 알면 우선 현yozm.wishket.com1.     Linear Regression머신러닝의 기초 알고리즘. 구분: 지도학습유형: 회귀데이터 유형: 종속변수와 독립변수가 선형 관계에 있는 데이터장점: 간단하고 해석이 쉬움. 모델링에 긴 시간이 걸리지 않음.단점: 예측력이 비교적..

오늘은 아래의 아티클들에 대한 아티클 스터디를 했다.  개발 지식이 없는 클라이언트와 효과적으로 소통하는 방법 5가지 | 요즘IT클라이언트와 원활한 커뮤니케이션을 하기 어려우신가요? 각자 다른 경험과 지식을 갖고 있기 때문에 당연한 일이지요. 개발 지식이 없는 클라이언트가 이해하기 쉽게 여러분의 요점을 전달하yozm.wishket.com [커뮤니케이션] 데이터 분석가와 클라이언트 간의 눈높이 맞추기Intro 데이터 분석가로 일하면서 느낀점은 생각보다 "말할 일이 많다." 였습니다. 수다맨(갑자기 세대차이?) 만큼은 아닙니다만 데이터 분석가도 말할 일이 많습니다. 그리고, 그만큼 대화를 하면gibles-deepmind.tistory.com  개발자와의 커뮤니케이션이 당황스러웠던 이유 | 요즘IT개발 부서와..

오늘은 다중 검정의 일종으로, 3개 이상의 집단의 평균을 비교하는 분산분석 ANOVA와, F 값과 F의 분포, 그리고 다중 검정에서의 문제와 이를 해결하는 사후분석 Post-hoc들을 알아보았다. 아래는 이를 정리한 본인의 글이다.https://thebuck104.tistory.com/68 [STAT 101] ANOVA 검정과 다중 검정의 문제분산분석 Analysis of Variance, ANOVA Test데이터가 서로 다른 세 개 이상의 모집단으로부터 추출된 경우에 사용하는 분석으로, 각 집단의 평균을 비교하는 분석인데 통계적 유의성을 검증할 때 분산을thebuck104.tistory.com

오늘은 하루종일 통계 스터디를 했다. 먼저 실무에서 많이들 사용한다는 AB Test에 관해 알아보았다.Frequentist의 관점에서, AB 테스트는 사실상 independent two-sample T test에 가까우며,이는 Bayesian의 관점을 더 해서 더 복잡하지만 더 Reliable한 결과를 도출할 수 있게된다. 다음은 이를 정리한 본인의 블로그 글이다.https://thebuck104.tistory.com/66 [STAT 101] 베이지안 AB Test의 전환율 검정과 기대수익 분석베이지안 확률 Bayesian Probability동전을 여러번 던졌을 때 앞면이 나올 확률 처럼 시행 횟수를 여러번 할 수 있는 빈도 확률 (Frequentist Probability)와는 다르게, 예를 들어 화..

오늘은 다음 아티클에 관한 스터디를 했다.머신러닝 딥러닝 차이점 5가지 - 크몽 (kmong.com) 머신러닝 딥러닝 차이점 5가지 - 크몽머신러닝과 딥러닝, 비슷한듯 다른 이 두 기술의 차이점은 무엇일까요? 머신러닝 모델과 딥러닝 모델 등을 자세히 알아봅시다.kmong.com머신러닝과 딥러닝의 차이점 머신러닝이란컴퓨터 프로그램이 데이터를 학습하고 이를 활용해 작업을 수행하는 인공지능의 한 분야1.     예측 및 분류2.     패턴인식3.     자동화 및 최적화4.     의사 결정 지원5.     자연어 처리 딥러닝이란인공 신경망을 사용해 인공지능을 만드는 머신러닝의 한 분야1.     표현 학습2.     자동화된 특징 추출3.     이미지 및 비디오 처리4.     패턴인식5.     연구 ..

그 데이터는 잘 못 해석되었습니다.https://yozm.wishket.com/magazine/detail/1816/ 그 데이터는 잘못 해석되었습니다 | 요즘IT무엇이든 데이터가 있으면 쉽게 결정을 내릴 수 있을 것 같습니다. 하지만 현업에서는 데이터가 있어도 결정을 내리기 어려운 상황들이 있습니다. 특히 데이터를 통한 의사결정을 내릴 때, 가장yozm.wishket.com  잘못 해석되는 데이터의 상황 별 유형  1.     생존자 편향의 오류 대상은 전체 이용자를 대상으로 해야 한다.이탈자만을 대상으로 하면 편향된 오류가 생길 수 있다.  2.     심슨의 역설 전체가 말하는 것이 세분화 그룹이 말하는 것과 다른 것 전체 집단의 큰 지표가 아닌, 집단을 더 나누어 지표를 확인하는 과정이 필요함.종합..

오늘은 iteration에 도움이 되는 여러가지 메소드가 있는 Python의 itertools 라이브러리를 소개해보겠다. itertools란 " 효율적인 루핑을 위한 이터레이터를 만두는 함수 " 1. combinations()list를 n 수 만큼 컴비네이션들을 튜플 형식으로 만들어준다.from itertools import combinationsl = [1,2,3]for i in combinations(l,2): print(i)# 출력 결과:# (1, 2)# (1, 3)# (2, 3)# 리스트화해서 인덱싱 콜 하기combi = list(combinations(l, 2))print (combi[0])# 출력 결과:# (1, 2) 2. combinations_with_replacement() list를 n..