본문 바로가기

전체 글

 (131)
[240329] 파이썬 sqlalchmey로 SQL DB 연동해 데이터 불러오기 1. 파이썬 - SQL DB 연동 - 금번 최종 프로젝트에서 아마존 RDS에 데이터 베이스 구축 - sqlalchmey을 활용해 파이썬으로 SQL에 업로드 된 데이터베이스를 연동 └ colab에서는 pymysql 라이브러리도 가능했지만, 로컬에서 vscode 사용 시 오류 발생하여 sqlalchmeyFH 진행 # 라이브러리 불러오기 from sqlalchemy import create_engine from urllib.parse import quote # sqlalchemy로 DB 연동 # 접속 정보 user = 'xxx' pwd = 'xxx' host = 'xxx.amazonaws.com' port = xxx database = 'xxx' db_url = f'mysql+pymysql://{user}:{..
[240325주차] 본캠프 W15 WIL : Weekly I Learned 지난 일주일을 돌아봄으로써 나의 현재 상태를 파악하고 더 나은 다음 주를 만들기 위해 어떤 부분을 어떻게 채워나갈지 고민하는 것 내가 한 일(Facts) - SQL 코드카타 161~167, 파이썬 코드카타 46~49 문제풀이 - 클러스터링 수준별 학습 과제 및 제출 - 최종 프로젝트 주제 선정 및 기획안 작성, EDA 진행 - TIL 작성 느낀점(Feelings) - 금주 최종 프로젝트가 시작됐다. 데이터 선정 자체는 순조롭게 진행되었다. 다만 맨 처음 데이터와 친해지고, 분석 내용을 구체화하는 과정이 가장 어려운 것 같다. 이번 주는 데이터를 요리조리 뜯어 보았으니, 차주에는 가설을 구체화 하고 클러스터링 포함 본격적인(?) 분석을 시작할 예정이다. 한 달이 길..
[240328] 파이썬: 코드카타 49 & SQL: 코드카타 167 [파이썬 코드카타] 두 개 뽑아서 더하기 https://school.programmers.co.kr/learn/courses/30/lessons/68644 *참고 intertools 라이브러리 설명 및 활용 문제 풀이 및 https://datananalysis.tistory.com/112 1) 어떤 문제가 있었나 정수 배열 number에서 서로 다른 인덱스의 2개 수를 뽑은 뒤 더해서 만들 수 있는 모든 수를 오름차순 배열로 담아 반환 numbers = [2,1,3,4,1] result = [2,3,4,5,6,7] 2) 내가 시도해본 건 무엇인가 지난 문제풀이에서 활용했던 itertools 라이브러리 활용 3) 어떻게 해결했나 def solution(numbers): import itertools as ..
[240327] 파이썬: 코드카타 48 & SQL: 코드카타 166 [파이썬 코드카타] K번째수 https://school.programmers.co.kr/learn/courses/30/lessons/42748 1) 어떤 문제가 있었나 배열 array의 i번째 숫자부터 j번째 숫자까지 자르고 정렬했을 때, k번째에 있는 수를 구하는 문제 array = [1, 5, 2, 6, 3, 7, 4] commands = [[2, 5, 3], [4, 4, 1], [1, 7, 3]] #각 리스트 속 원소가 i, j, k result = [5, 6, 3] 2) 내가 시도해본 건 무엇인가 - command 원소의 길이는 3으로 고정인 점을 활용해 1차 for문으로 우선 slice list 생성 - 2차 for문에서 zip으로 slice list와 command의 마지막 반환 자릿수를 한 ..
[240326] 파이썬: 코드카타 47 & SQL: 코드카타 165 [파이썬 코드카타] 문자열 내 마음대로 정렬하기 https://school.programmers.co.kr/learn/courses/30/lessons/12915 1) 어떤 문제가 있었나 리스트에 포함된 문자열의 인덱스 n번째 음절 순서대로 정렬하는 문제 [예시] strings = ["sun", "bed", "car"] n = 1 result = ["car", "bed", "sun"] 2) 내가 시도해본 건 무엇인가 - 인덱스 n번째 음절을 key 값으로, 문자열을 value 값으로 넣은 딕셔너리 생성 {'u': 'sun', 'e': 'bed', 'a': 'car'} - key 값 기준으로 정렬하고 value 값 리스트 출력 - 인덱스 n번째 음절이 같을 경우(중복), 딕셔너리 key 값이 마지막 값으로..
[240325] 파이썬: 코드카타 46 & SQL: 코드카타 161~164 [파이썬 코드카타] 숫자 문자열과 영단어 https://school.programmers.co.kr/learn/courses/30/lessons/81301 1) 어떤 문제가 있었나 정수형 숫자와 숫자 영단어가 섞여 있는 문자열을 숫자로 반환하는 문제 s = "2three45sixseven" result = 234567 2) 내가 시도해본 건 무엇인가 숫자와 영단어를 각 리스트로 생성한 후 영단어 앞뒤에 뛰어쓰기를 추가해 split(" ") 함수를 적용해보려고 했으나 실패 3) 어떻게 해결했나 - zip()과 replace() 함수를 이용해 영단어 문자열이 포함돼 있으면, 숫자로 바꾸도록 조건 지정 def solution(s): voca = ['zero','one', 'two', 'three','four'..
[240322] 파이썬 실습 코드: 메모리 경량화 (with parquet) * 데이터 출처: App_review_data 1. csv 파일 병합 후 전처리하여 parquet로 저장하기 1) 고용량 데이터 불러오기 - glob 라이브러리 및 함수: 인자로 받은 패턴과 이름이 일치하는 모든 파일과 디렉터리의 리스트 반환 - tqdm 라이브러리 및 함수: 코드 진행률을 파악할 수 있는 프로세스바 지원 from glob import glob from datetime import timedelta from tqdm import tqdm import pandas as pd import matplotlib.pyplot as plt glob(".../app_review_data/*.csv") # ['.../app_review_data\\FACEBOOK_REVIEWS.csv', # '.../a..
[240318주차] 본캠프 W14 WIL : Weekly I Learned 지난 일주일을 돌아봄으로써 나의 현재 상태를 파악하고 더 나은 다음 주를 만들기 위해 어떤 부분을 어떻게 채워나갈지 고민하는 것 내가 한 일(Facts) - SQL 코드카타 149~160, 파이썬 코드카타 43~45 문제풀이 - [spark를 이용한 빅데이터 분석] 완강 및 1주차 실습 코드 복습 - 클러스터링 수준별 학습 1~3차 강의 수강 및 복습 - TIL 작성 느낀점(Feelings) - 금주 스파크 강의를 수강했다. 스파크는 큰 규모의 데이터를 처리할 때 필요한 프로그램인데, 어렵다고 명성이 자자했다. 총 3주차 중 1~2주차는 컴퓨터의 메모리나 코어의 개념을 바탕으로 스파크를 쓰지 않고 파이썬 판다스로 최대한 버틸 수 있는 팁들이 담겼다. 3주차는 어려..

티스토리툴바