티스토리

Apatheia
검색하기

블로그 홈

Apatheia

astart.tistory.com/m

2022 하반기부터 프로그래밍, 데이터 분석, 데이터 사이언스 관련 분야를 주로 서술하고 있습니다.

구독자
6
방명록 방문하기
공지 여러분의 방문을 환영합니다! 모두보기
728x90

주요 글 목록

  • [Machine learning 평가] Pipeline 형태, Classifier의 평가지표{confusion matrix, 혼동오류, f1 score 개념} 머신러닝의 모델 중 표현방식을 다르게 바꿔주는 set_config와 pipeline에 대해서 알아보겠습니다. 또한 Classifier(분류) 모델의 여러가지 평가 지표를 확인해보고자 합니다. 이번 시간에는 데이터셋이나 feature engineering에 대해 많은 지면을 할애하진 않고 모델 자체에 중점을 두고자 합니다. 너무나 잘 알려진 데이터셋이기도 하고, 이제까지 많은 머신러닝, 캐글 관련 서적에서 다뤄본 적 있는 주제이기 때문이지요. 바로, 타이타닉 생존자 데이터셋 입니다. Kaggle Competitions Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com 잠깐 설명하자면, 타이타닉에 올라탔었던 승객들과 승객에 대한 정보, 그리고.. 공감수 0 댓글수 0 2023. 2. 10.
  • [Machine Learning] 해외 IT직종 근무자 Layoff 분석_KMeans Kaggle 데이터셋 중 Technology Company Layoffs(2022-2023) 을 분석한 자료입니다. 이번 시간에는 캐글 데이터를 확인하던 중, 최근에 올라온 흥미로운 데이터셋이 있어 몇가지 확인해보고, 비지도학습을 넣어볼 예정입니다. 미래의 우리와 관련이 있을 수도 있는 Technology company의 근무자 중 layoff 상태가 된 인원의 분석입니다. layoffs는 기업측의 사정으로 인해 일시적 해고를 의미합니다. 여기서는 '정리해고'나 '구조조정' 정도의 의미로 통할 수 있습니다. 안타깝게도 한국의 사례는 없고 미국과 캐나다, 일부 유럽의 사례를 조사한 데이터입니다. 현재 기준, 제출된지 하루 밖에 되지않은 따끈따끈한 통계자료입니다. 잦은 구조조정은 우리나라만의 문제는 아니었군.. 공감수 0 댓글수 0 2023. 1. 25.
  • [Machine Learning] PCA + Dimension 축소 학습 서론 이전까지 머신러닝의 모델에서는 어느정도 column들이 정제된, 즉 피쳐가 보기좋게 들어가있는 모델들을 확인해보았습니다. 하지만 현실에서 마주하는 여러가지 상황에서, 우리는 column들이 항상 잘 정제되어 있는 데이터만을 보긴 어렵습니다. 종종 변수가 연관관계를 지닐지, 지니지 않을지 정말 구분하기도 어려운 데이터프레임을 볼 때도 있습니다. 이러한 상황에서, 우리는 규칙성이 없던 것에 규칙성을 만들어보려고 하는 여러가지 시도들을 해보게 됩니다. 그러한 시도들 중의 하나가 바로 PCA 입니다. Principal Component Analysis 본 글은 공돌이의 수학정리노트 에서 영감을 받았습니다. ▼링크 https://angeloyeo.github.io/2019/07/27/PCA.html 주성분 .. 공감수 0 댓글수 1 2023. 1. 6.
  • [Feature engineering] 데이터 처리 사례_2021 서울시 농산물 가격 분석_2 서론 지난 시간에 이어서, 서울시 농수축산물 가격 데이터에 대해서 분석을 진행합니다. 몇가지 수정되야 할 점이 있어서 , 따로 정리했습니다. 1) 2021년 한 해의 데이터만으로는 변화하는 양상을 보기 어려울 것으로 판단, 2019년과 2020년의 데이터를 조회하여 3년간의 양상을 살펴봅니다. 2) 날짜 데이터인 년도-월에 대해서 월을 빼고 , 연도만 조회해서 사용합니다. 3) 이 날짜 데이터도 독립변수에 포함하게 됩니다. 4) DecisionTree 회귀 모델을 통해서 score를 높이게 됩니다. 시작 df_19 = pd.read_csv('생필품 농수축산물 가격 정보(2019년).csv', encoding = 'cp949') df_20 = pd.read_csv('생필품 농수축산물 가격 정보(2020년).. 공감수 0 댓글수 0 2023. 1. 2.
  • [Feature engineering] 데이터 처리 사례_2021 서울시 농산물 가격 분석_1 서론 이번 시간에는 사이드 프로젝트로 진행했던 2021년의 서울시 먹거리 가격정보에 대한 데이터셋으로 데이터 인사이트 및 전처리를 진행해볼 예정입니다. 출처는 서울 열린데이터 광장(https://data.seoul.go.kr/)에서 농수축산물 가격 정보를 열람했습니다. 추가적으로, 열린 데이터 광장은 인공지능 개발을 위한 공공 학습 데이터, 시민을 위한 열린 데이터를 손쉽게 활용할 수 있도록 무료로 공개하여 더 많은 연구 자료가 발전할 수 있도록 노력하고 있습니다. 독자분들도 실습을 위한 학습 데이터셋이 필요할 때, kaggle에서 영어 데이터만 읽는 것도 지쳤다면, 서울 열린데이터 광장도 추천 드립니다. 한글인 점이 매우 마음에 드네요. 시작하기에 앞서, 사용한 학습 종류는 지도학습의 회귀(Regres.. 공감수 0 댓글수 0 2023. 1. 1.
  • [Machine Learning] Kaggle_데이터셋 분석_미 초소형 기업 밀도 예측_ep.2 서론 바로 지난시간에 이어서, 미국의 자치구별 초소형 기업의 밀도에 대한 분석 데이터입니다. 같은 데이터를 그대로 이어서 사용했고 표준화 스케일링을 진행한 상태입니다. 이번엔 KNN 모델을 사용해서 회귀 문제를 제시해보았는데요? * K-Nearest Neighbors Regressor 이때 KNN모델이란, 주변의 가장 인접한(Nearst) 이웃의(Neighbors) K개의 샘플을 이용해서 임의의 값을 예측하는 방식을 의미합니다. K가 5개일 경우, 5개의 가장 가까웃 이웃을 찾아 평균을 계산해서 값을 예측합니다. 지난번에는 KNN모델의 분류문제를 해결하는데 사용했었죠? https://astart.tistory.com/34 [Machine Learning] KNN 알고리즘 실습사례_wine 분류 KNN A.. 공감수 0 댓글수 0 2022. 12. 31.
  • [Machine Learning] Kaggle_데이터셋 분석_미 초소형 기업 밀도 예측 서론 이번 시간에는 현재 진행중인 미국 내 통계사의 산업통계 데이터를 통해 2022년 이후의 카운티 별(county) 초소형 기업(Microbusiness) 현황에 대해 간단한 분석을 해보고, 필자 나름대로의 데이터 전처리를 진행하려 합니다. *county : 자치주, 자치군 등 영미권의 행정 구역을 뜻합니다. (예컨대 미 주소에서 체로키 카운티, 달라스 카운티 등이 존재) 데이터셋의 목표이자 컴피티션의 목표는 북미 통계청에서 제공한 census 통계자료를 확인해보고, 이를 feature로 판단하여 train 세트에서 확인한 후 미래의 기업밀도를 예측하는 것입니다. # 목표 설정 # 북미의 지역구 별 초소형 기업의 밀도 분석 # 타겟(종속변수) : microbuisiness_density # 피쳐 : 밀.. 공감수 0 댓글수 0 2022. 12. 30.
  • [Machine Learning] Kaggle_데이터셋 분석_Video_Games_Sales.1 서론 이번 시간에는, 필자의 자유 주제로 kaggle에 분석용 데이터(Datasets)에 공유되어 있는 Video Game Sales를 활용해서, 여러가지 분석을 진행해보고자 합니다! 데이터셋 자체에 특별한 목표는 없지만, 일정한 흐름들은 있는데요. 바로 Global sales(전세계 판매량)과 그에 따른 platform이나, publisher(회사)의 순위들 입니다. 실제로 1100여건이 넘는 코드들을 보면 매우 다양한 방법으로 비디오 게임 데이터를 시각화한 그래프를 보실 수 있습니다. 아래는 원본 입니다. https://www.kaggle.com/datasets/gregorut/videogamesales Video Game Sales Analyze sales data from more than 16,.. 공감수 0 댓글수 0 2022. 12. 29.
  • [Machine Learning] Kaggle_연습사례 분석_Spaceship_titanic_2 서론 지난 시간에 이어서, 잘 전송된 승객의 수를 예측하는 과정을 서술하겠습니다. 첫번째 글에서는 kaggle의 Spaceship-titanic 의 데이터셋을 분석하여 LightGBM을 통해 알고리즘 모델을 넣고, 전송 승객을 예측하는 모델을 도출했습니다. 추가적으로 정확도 점수도 분석해보고, 변수 중요도(feature important)도 잠깐 도출했습니다. 데이터 자체가 titanic의 데이터셋과 유사한 형태와 목표를 갖고 있기 때문에 큰 어려움은 없을 것이라고 예상됩니다. 이번에는 test.csv 파일 로드부터 시작합니다! 이번 파일에서도 PassengerId를 인덱스로 바로 들고 왔습니다. 파일 경로는 따로 원본 데이터셋을 다운받은 경로입니다. df = pd.read_csv('C:\myPyCode.. 공감수 0 댓글수 0 2022. 12. 28.
  • [Machine Learning] Kaggle_연습사례 분석_Spaceship_titanic 서론 이번시간에는 Kaggle의 완전 기초, 시작단계(Getting Started) 컴피티션에 놓여져있는 Spaceship Titanic 데이터에 대해서 개인적으로 분석한 머신러닝 사례를 진행해 보고자 합니다. 먼저, 원본 데이터 링크입니다. https://www.kaggle.com/competitions/spaceship-titanic Spaceship Titanic | Kaggle www.kaggle.com 제 노트북은 아래에서 보실 수 있습니다. 빠르게 요약된 버전을 보시려면, 아래 링크를 보셔도 무방합니다! (처음에 파일 로드할 시의 경로만 다릅니다) https://www.kaggle.com/code/apatheia0/space-titanic-lightgbm-test/notebook 먼저 몇가지 .. 공감수 0 댓글수 2 2022. 12. 27.
  • [Machine Learning] Naive_Bayes 모델_ep.2 colab 검색기 서론 지난 시간에서 나이브 베이즈 모델을 통해 spam mail 리스트 중에서 특정한 단어가 포함되어 있을 시 자동으로 spam으로 표시하는 자연어 처리에 대해서 실습해보았습니다. 이번 시간에는 진행했던 파일을 갖고, 우리가 특정한 단어를 입력하면 "스팸이다", "스팸이 아니다" 등 문장으로 구분해주는 알고리즘을 만들어 보고자 합니다. 먼저 지난 시간에 했던 모델입니다. # 나이브 베이즈 모델 from sklearn.naive_bayes import MultinomialNB # 모델링 model = MultinomialNB() model.fit(X_train, y_train) pred = model.predict(X_test) pred array([0, 1, 1, ..., 0, 0, 0]) 혼동 행렬(c.. 공감수 0 댓글수 0 2022. 12. 26.
  • [Machine Learning] Naive_Bayes 모델 사례_spam mail 분석 서론 Naive Bayes 모델은 통계학에서의 베이즈 정리에서 응용한 자연어 처리용 분류 모델입니다. 이후에 나오는 모델에 비해 단순하고 낮은 수준의 모델이지만 이 모델을 사용하는 이유는 속도가 빠르고 순진(naive)하기 때문에 쉬운 수준에서의 알고리즘 분석에는 유용했기 때문입니다. 나이브 베이즈를 위해서는 베이즈 정리에 대해서 잠깐 알아봐야 하는데요? 많은 사전, 블로그에서는 베이즈 정리에 대한 다양한 정의를 소개하고 있습니다만, 필자는 이 설명을 선호합니다. 이전의 경험과 현재의 증거를 토대로 어떤 사건의 확률을 추론하는 알고리즘 이 설명이 왜 나왔을까요. 베이즈 정리의 본 공식입니다. 사건 B가 발생함으로 인해 , 사건 A의 확률이 어떻게 변화하는지를 표현한 정리입니다. 즉, 베이즈 정리를 쓰면 .. 공감수 0 댓글수 5 2022. 12. 25.
  • [Machine Learning] 결정트리_회귀(Regression) 실습 사례- 보험비 서론 보험료는 우리 삶에 큰 영향을 끼치는 중요한 수치 중 하나입니다. 어떤 요소가 보험료에 영향을 미치고, 어떤 것이 보험료를 낮추는지 알아맞춘다면 여러분이 더 윤택한 삶을 사는데 도움을 주겠죠? 질병의 있고 없음이 보험료에 영향을 미칠까요? 성별이 영향을 미칠까요. 혹은 흡연 여부가 영향을 미칠까요? 이름이 영향을 미치진 않을까요? 이번 시간에는 지난번에 했던 Decision Tree를 이용하여, 범주형 데이터가 아닌 연속형 데이터를 사용하여 회귀 문제로 해외 건강보험에 대한 실제 사례를 분석해보겠습니다. 원본 csv 데이터는 캐글의 insuarance 데이터로, 짧은 크기에 feature를 갖고 있는 데이터 프레임 입니다. 아래 원본 링크에서 보실 수 있습니다. https://www.kaggle.c.. 공감수 0 댓글수 0 2022. 12. 22.
  • [Machine Learning] 결정트리 알고리즘 분류 실습사례_wine 서론 얼마 있으면 이쁜 트리가 거리에서 많이 보이는 크리스마스가 시작되네요! 이번 시간에는 지난번 실시했던 똑같은 wine csv 파일을 통해 결정트리 문제를 진행해보겠습니다. 원본은 동일한 csv파일이고, 분류하는 알고리즘만 변형시킨 것입니다. 목표는 각 feature별로 조건이 분기되는 트리를 만드는 것입니다. 분류문제의 평가 점수를 계산한 후에, plot_tree를 통해 시각화가 어떻게 구현되는지 보게될 것입니다. 마찬가지로, 실습을 서술한 글이기 때문에, 오류와 오판이 있을 수 있음에 양해 드립니다 먼저 결정트리(Decision Tree)란 무엇인지 간단하게 보겠습니다. Decision Tree 개념 기본적으로 분류 문제와 회귀 문제를 해결하는 툴로 나뉩니다. 분류문제를 DecisIon Tree .. 공감수 0 댓글수 0 2022. 12. 22.
  • [Machine Learning] KNN 알고리즘 실습사례_wine 분류2_solution 서론 지난 글에서 필자가 KNN 알고리즘의 낮은 점수(accuracy_score)로 인해 문제점이 있다고 밝힌 바 있습니다. 스케일링에 대한 부분이 비어있었기 때문인데요. 이번 게시글에서는 Standard Scaler 대신 MinMax Scaler(최소-최대 스케일링)을 통해서 낮은 점수를 해결하도록 노력하겠습니다!💪 지난 시간 링크 : https://astart.tistory.com/34 [Machine Learning] KNN 알고리즘 실습사례_wine 분류 KNN Algorithm 간단하게 시작하자면 K개의 이웃(Neighbors)한 점들을 인접한(Nearest) 영역에서 포집시키는 방법입니다. KNN 알고리즘은 비교적 합리적이고 유용한 방식은 아니지만, 빠르고 쉬우며 분류나 astart.tisto.. 공감수 0 댓글수 0 2022. 12. 21.
  • [Machine Learning] KNN 알고리즘 실습사례_wine 분류 KNN Algorithm 간단하게 시작하자면 K개의 이웃(Neighbors)한 점들을 인접한(Nearest) 영역에서 포집시키는 방법입니다. KNN 알고리즘은 비교적 합리적이고 유용한 방식은 아니지만, 빠르고 쉬우며 분류나 회귀, 두 분석에서 모두 사용되지만 분류에서 자주 사용됩니다. 단 아웃라이어(outlier)에 매우 취약하다는 약점도 있습니다. 원본 csv파일은 데이터분석 공모전 사이트 kaggle.com에서 받아왔다는 점을 알립니다. 원본 : Wine_data | Kaggle Wine_data UCI Wine Dataset for Classification www.kaggle.com 본 게시글에서는 데이터 분석의 지도용 파일이 아닌 실습 파일로 구성되어 있습니다. 오류나 오독이 존재할 수 있으니,.. 공감수 0 댓글수 0 2022. 12. 19.
  • 선형회귀 ep2. 결정계수에 관하여 지난 글에서와 같이, 선형회귀에서는 예측값과 실제값 사이의 차이, 즉 오차들을 보고 모델의 성능을 결정한다고 언급했습니다. 이번에는 이 오차들에 대한 부분입니다. SSR과 SST에 대한 용어는 공식이 들어있지 않는한, 용어 자체에 대한 정의가 쟁점인 것 같습니다. 용어에 대해서 탐구하는 것이 머신러닝이나 회귀분석에서 없어선 안될 요소는 아니기 때문에, 이런 것이 존재한다는 것만 이해하고 넘어가겠습니다. 필자는 아래 티스토리(씩씩한 IT 블로그)님의 글을 참고했습니다. https://sosoeasy.tistory.com/371 R² 의 공식에 대하여 먼저 SSE부터 볼까요 천천히 설명해보겠습니다. SSE는 Sum of Squares estimate of Error 입니다. 일반적으로 설명이 안되는 변동이라.. 공감수 1 댓글수 2 2022. 12. 16.
  • Machine Learning ep.1 선형회귀 기초개념 & 마을의 보험료 예측 선형회귀란? 우리의 일상에서는 많은 지표와 숫자들이 있습니다. 지표와 숫자, 개체와 갯수, 데이터와 데이터 등의 관계에서 관계를 찾을 수도 있는데요. 이것이 저것을 불러오고, 어떤 것이 저런 것을 가져오는, 일종의 인과관계 를 상상할 수도 있습니다. 선형회귀는 여러가지 데이터들을 활용하여 연속형 변수인 목표 변수를 예측하는 것이 목적입니다. 즉, 연속된 변수를 우리가 예측하는 최적의 직선 그것을 찾는 알고리즘이 바로 선형 회귀 (Linear Regression) 입니다. 선형 회귀는 머신러닝의 기초적인 알고리즘 입니다. 복잡한 알고리즘에 비해 예측력이 떨어지지만 데이터의 특성이 복잡하지 않을 땐 더 쉽고 빠른 예측이 가능하기 때문에 자주 사용됩니다. 선형 회귀는 다른 모델과의 성능을 비교하는 기준 모델로.. 공감수 0 댓글수 0 2022. 12. 15.
    728x90
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.