필기정리 (16) 썸네일형 리스트형 [ADSP] 2023년도 1회 (36회차) ADSP 시험 복기 및 후기 이번주에는 ADSP 36회차 시험이 있는 주간이었습니다. 이에 필자또한 ADSP 개념들을 주로 정리해왔고, 오늘 시험을 치루고 왔습니다. 시험의 결과나 필자의 소감을 말하기에 앞서서 일단 ADSP의 다음 회차를 준비하시는 분들이나 이 시험을 준비할까? 말까? 에 대해서 생각하고 있는 분들을 위해서 2023년 1회차 복기부터 시작하겠습니다. 시험 일자는 2월 26일(일), 가채점 일자는 3월 17일(금)으로 예정되어 있습니다. 3주 정도의 준비 기간이 있습니다. 1과목 [데이터 이해] 일단 단답형은 기출문제에서 제시되는 단어들을 약간 변형하거나, 재서술 하는 방식으로 나왔습니다 답 자체는 사물인터넷과 블록체인 이었는데요. (3월 17일 가채점 이후 수정 예정) 물론 다음 회차에서는 그대로 외우면 안되겠지요.. [ADSP] 데이터 웨어하우스와 마트에 관하여 이번 시간에는 데이터 웨어하우스와 데이터 마트에 관해 살펴보겠습니다. 데이터 마트는 데이터 웨어하우스와 사용자의 중간지점에 존재함으로서 사용자들이 데이터를 사용할 수 있도록 하는 역할을 합니다. 그러면 사용자들은 특정한 목적을 위해 데이터를 사용하게 됩니다. 마트의 위치는 주로 데이터 웨어하우스의 일부분에서 나오지만, 자체적으로 수집되는 경우도 있습니다. 예시 문제 다음 중 데이터 웨어하우스와 데이터 마트에 대한 설명으로 올바른 것은 무엇인가 ① 데이터 웨어하우스는 데이터 마트의 일부분이다. ② 데이터 마트는 사용자의 의사결정에 도움을 주기 위해 분산된 데이터들을 한 곳에 공통된 형식으로 변환하여 모아놓은 집합이다. ③ 데이터 웨어하우스와 데이터 마트는 반드시 데이터베이스 관리 시스템으로 관리되어야 한다.. [ADSP] 데이터 분석기획 개념 - 데이터 거버넌스에 대하여 이번 시간에 눈여겨볼 곳은 ADSP 2과목, 데이터 분석기획입니다. 분석기획에서 자주 등장하는 개념인 데이터 거버넌스에 대하여 한번 살펴보겠습니다. 서론 개인적으로 행정학을 복수전공한 관점에서, '거버넌스'라는 개념이 손쉽게 사용되긴 어려운 개념이라고 생각됩니다. 거시적으로도, 미시적으로도 개념을 재정립할 수 있고 정책적인 내용을 서술하는 지면에서 반드시 등장해야 하는 개념이면서 국제빈곤 개발이나 지역사회 개발 분야에서도 폭넓게 쓰이는 용어였기 때문입니다. 거시적인 측면에서는 주권을 갖고있는 '거의 모든 것' 이라고 할 수 있겠습니다. 정부는 당연히 포함되고 공공기관, 각종 행정부서, 지방자치단체 등은 물론, public 서비스를 주는 모든 곳이어야 해서 비영리단체나 시민들도 대부분 포함된다고 봅니다. .. [ADSP] R프로그램 명령어와 형식에 관하여 이번 시간에는 ADSP의 3과목, 에서 결코 간과할 수 없는 통계 프로그램인 R의 여러 가지 사용법과 명령어에 대해서 살펴보고자 합니다. ※ 버전이나 해석본에 따라 오류나 오기가 있을 수 있는 점 양해 부탁드립니다. - 모든 코드는 R을 사용하여 진행했으며 부득이한 경우 이미지 캡처를 사용했습니다 먼저 데이터 분석 툴이자 프로그램인 R(프로그래밍 언어 자체를 뜻하기도 함!)은 개발 당시 널리 쓰이고 있었던 프로그래밍 언어 S를 통해서 구현되었습니다. 데이터 처리 부분은 Scheme이라는 언어로 영감받았습니다. R을 만든 분들은 로버트 젠틀맨과 로스 이타카라는 연구진으로, 둘다 이름의 시작 철자에 R이 포함되어서 이런 이름이 탄생한 것입니다. 운영체제는 윈도우와 맥, 리눅스 등 다양한 os에도 모두 돌아갑.. [ADSP] 시계열 분석 - 정상성 가정에 대하여 ADSP에 출제되는 주요 개념에 대한 정리 입니다 이번 시간에는 ADSP(데이터 분석 준전문가) 준비 중 헷갈리거나, 자주 출제되는 개념을 정리하던 중 따로 찾은 부분입니다. 정상성 가정에 대해서 살펴보도록 하겠습니다. 위의 9가지 그래프를 먼저 보겠습니다. a부터 i까지 정말 다양한 형태가 존재합니다. (a), (i)처럼 우상향을 보이는 그래프도 존재하고, (e), (c)와 같이 우하향을 보이는 차트도 있습니다. frequency가 빽빽한 그래프, frequency가 일정한 형태를 보이는 그래프 등등 패턴도 다양합니다. 그렇다면 이중에서 정상성을 보이는 그래프는 어떤 것일까요? 바로 (b)와 (g) 입니다. 정상성은 시간에 따라서 특정한 추세가 없고, 옛날 = 현재 = 미래의 분산이 같아야 합니다. 평.. [Web crawling] 구글에서 자동으로 원하는 이미지 다운받기 이미지 크롤링(image crawling) 이번 시간에는 딥러닝에 쓸 데이터셋을 구하던 중, 웹 크롤링의 방법이 생각보다 다양하여 한번 정리하고자 합니다. 웹 크롤링 기법이 사용된 이후로, selenium, beautifulsoup4 등 다양한 라이브러리들이 개발되고 있는데요. 이번 차시에서는 다른 것은 생략하고 깔끔하게 이미지만을 다뤄보겠습니다. - google 이미지 사이트에서의 동적인 이미지 크롤링을 진행합니다. selenium은 동적 크롤링을 지원합니다. 쉽게 말해, 이리저리 브라우저를 움직이면서 더 많은 데이터를 수집할 수 있는 것이 동적 움직임이 적거나 없는 것이 정적 크롤링 입니다! (*동적도 입력값이 작으면 더 적은 데이터를 가져올 수 있습니다) 전체 소스코드는 가장 아래에 공개하겠습니다... 이전 1 2 3 다음
