본문 바로가기

분류 전체보기

(38)
[공공빅데이터 청년인턴십] [day13 - 07.21(수)] 디자인씽킹 기반 문제해결 방법론 공빅 전문교육 과정은 아래와 같은 루틴으로 돌아간다. 월, 화 - 프로그래밍 및 시각화 언어, 툴 + 개별실습 수, 목 - 데이터분석 기획 + 워크샵 (팀과제) 금 - 데이터베이스 (SQL) + 개별실습 수, 목요일 시간에는 새로운 내용을 학습하기보다는, 기획의 겉핥기 같은 느낌이라 다들 가벼운? 회의적인? 마음으로 팀활동을 수행하고 산출물을 제출하곤 한다. 오늘 수행한 4가지 워크샵은 아래와 같다. 워크샵#1. 익숙한 물건에 대한 재정의 워크샵#2. 브레인스토밍 기법을 활용한 문제 정의 워크샵#3. 사용자(고객) 여정지도 워크샵 워크샵#4. 프로토타이핑 및 동영상 촬영 각각의 워크샵 산출물에 대한 다같이 의견을 취합하고 ppt보고서 정리는 주로 내가 담당했다. (워크샵 1의 경우, 그냥 텍스트로 정리하..
[공공빅데이터 청년인턴십] [day12 - 07.20(화)] Q-GIS 공간분석 실습기초(2) R로 배우는 데이터분석 이해(탐색적분석) Q-GIS 공간분석 실습기초(2) 오늘 강의 역시 위와 같이 총 2개의 파트로 구성되는데, 처음에는 R을 활용해 탐색적 분석에 대해 학습하고 그 다음에 어제의 QGIS 공간분석 sw tool을 활용하는 실습시간을 갖는다. R로 배우는 데이터분석 이해(탐색적분석) 데이터 분석 유형 Descriptive Analysis(기술통계) - 주어진 데이터를 요약/집계하여 결과를 도출 - 과거의 데이터의 단순 계산/집계 fact - 분석 결과를 따로 해석하는 과정 거치지 않음 Exploratory Analysis(탐색적분석) - 여러 변수 간 trend, 패턴, 관계를 찾는 것 - 통계적 기법을 사용한 모델링이라기보다는 그래프, 주로 plot 을 통한 사실 확인이 주된 작업 ..
[공공빅데이터 청년인턴십] [day11 - 07.19(월)] Q-GIS 공간분석 실습기초(1) 3주차 월요일 공빅 (공공빅데이터분석 청년인턴십) 과정은 1개월 온라인 사전교육 1개월 오프라인 전문교육 (코로나 상황으로 온라인으로 대체) 1개월 프로젝트 6개월 인턴십 이렇게 구성되어 있다. 지금은 2. 1개월 오프라인 전문교육의 절반이 지난 시점이다. 수도권은 코로나로 인해 온라인 전면교육으로 변경됐는데, 어차피 오프라인 교육장에 가도 온라인 인강을 틀어줬기 때문에 (인강을 집에서 듣냐, 어디 가서 듣냐 그 차이) 지금 상황이 오히려 더 감사하다. 사실 하루도 빠짐없이 공부 내용을 블로그에 게시했는데 지난주에는 병행해야했던 일들이 많아서, 아직 정리가 끝나지 않은 날짜 내용은 비공개로 전환해두었다. 이번주엔 비공개 게시물도 모두 공개로 전환할 수 있도록 좀 더 시간을 쪼개어 최대로 활용하는 것이 목..
간만의 일기 지난번에 쓴 일기가 5월인가 6월인가 가물가물한데 벌써 7월도 절반이나 지났다. 캠퍼스타운 팀으로 활동중인 팀원 2명과 함께 이런저런 공모전에 지원을 많이 했는데 가장 첫 성과로 기획서/제안서가 공모전에 합격했다. 이제 기획안 바탕으로 어플리케이션 개발을 10월까지 완성하고 최종심사의 문턱을 넘어야 한다. 사실 팀원 중 한명은 경력개발자이긴 하지만 나머지 인원은 현재까지는 핵심역량이 사업/기획쪽이라 그냥 뭐 공부하면서 만들면 할 수 있겠지? 하는 막연한 희망+긍정.. 아무튼 이것 덕분에 요즘 내 인생이 상당히 바뿌다.. 와.. 투잡하는 분들 새삼 존경한다.. 나는.. 공빅 full-time으로 듣고 저녁시간에 팀활동을 한 게 얼마되지도 않았는데.. 벌써 이렇게나 고단하다.. 후.. 일기 쓸 기력도 부족한..
[공공빅데이터 청년인턴십] [day7 - 07.13(화)] Python으로 배우는 외부데이터 수집과 정제(2) 7일차.. 이제는 아침 8시 반 출첵에 상당히 적응이 됐다. 6시에 일어나서 씻고 사무실에 7시 반까지 오면 1시간 정도 복습 및 수업준비를 하며 여유있게 하루를 시작할 수 있다. 암튼 오늘 학습할 강의 목차는 다음과 같다. 크롤러 만들기 ☞ 기본 웹 크롤러 ☞ 고급 웹 크롤러 ☞ 셀레늄을 이용한 크롤러 2.1 기본 웹 크롤러 (1) 사용모듈 : Requests 대상사이트 : 한빛미디어 사이트의 "새로나온 책" 목록 방법: 새로나온 책의 목록들을 request 객체를 이용해서 접근, 목록 페이지에 포함되어 있는 상세페이지들의 link를 추출 목록페이지에서 퍼머링크 목록 추출 ㄴ 실습(1). 3.7.1.1.python_crawler_1.ipynb실습 http 요청을 보낼 때, 위의 대상 url을 가지고 정..
[Git] LF will be replaced by CRLF in 경고 해결 Git Desktop으로 변경사항이 반영되지 않아서 Git bash에 가서 직접 명령어를 입력해봤는데 git add . 수행 시 다음과 같은 경고메시지가 뜬다. LF will be replaced by CRLF in 파일명 예전에도 몇 번 이런적이 있어서 매번 검색해서 해결했는데 자주 접하는 문제이다보니 내 블로그에 스크랩해와서 편하게 보기로 했다. ▼▼▼ 해당 블로거 분께서 친절하게 설명해두셔서 이런 오류가 왜 생기고 어떻게 해야 해결되는 지 상세한 설명이 필요하면 해당 블로그 글을 참고하면 된다. https://dabo-dev.tistory.com/13 [Git 경고 메세지] LF will be replaced by CRLF in 해결 방안 안녕하세요(・∀・)ゞ Git을 설치하고 GitBash에서 g..
[공공빅데이터 청년인턴십] [day6 - 07.12(월)] Python으로 배우는 외부데이터 수집과 정제(1) 수업을 마치고 좀 더 정리해서 올리려고 하다보니 자꾸 게시물이 밀리고 있다. 수업이 끝나는 동시에 정리도 완료하는 걸 목표로 해야겠다. 이번주부터 투잡 느낌으로 너무나 바쁘다.. 오전 8시 반 ~ 오후 6시까지는 공빅(공공빅데이터 청년인턴십) 오후 6시부터 밤 10시,11시까지는 론칭 예정인 서비스 개발을 기획 및 진행 중에 있다. 게다가 이번주에는 면접까지 잡혀서 이렇게 되면 뺄 수 있는 물리적인 시간이 잠자는 시간밖에 없다. 어쨋든 이번 한주도 홧팅이다,, 1.1. 파이썬 크롤링 (웹페이지 크롤링) 웹 크롤링 - 웹페이지에서 우리가 필요한 데이터를 추출해오는 것 웹 스크래핑 - 신문스크랩하듯 우리가 원하는 부분을 발췌하는 것 ≫ 웹 크롤링을 통해 추출된 데이터 중에서 우리에게 꼭 필요한 데이터만 선별..
[공공빅데이터 청년인턴십] [day3 - 07.07(수)] Python 프로그래밍 이해(2) 3일차인 오늘은 다시 파이썬 기본문법에 대해 학습했다. 각각의 챕터 학습을 마친 후 실습시간이 주어진다. 오늘 학습한 6개 챕터의 실습파일은 수업이 종료된 후 압축파일로 제출해야한다. 내가 정리한 오늘 수업 및 실습내용은 아래와 같다. 실습(1). Python 프로그래밍 이해(2) - 7강 파이썬 셋/집합, 딕셔너리 # 파이썬 셋(set) ### 원소의 중복을 허용하지 않음 set1 = {'A','B','C','D','A','D','E','F','B'} set1 # {'A', 'B', 'C', 'D', 'E', 'F'} ### 인덱싱과 슬라이싱 불가 set1[0] # TypeError et1[:5] # TypeError ### remove()/pop() 함수 : 셋의 지정된 원소/마지막 원소 제거 set..