본문 바로가기

Python29

(파이썬 다시보기)파이썬, Python_행과 열, axis=0, 1_혼란의 연속 목차 1. 행과 열, axis = 0, 1 파이썬에서 배열이나 데이터프레임 등을 만지다 보면 행과 열 단위로 drop 하거나 집계를 해야하는 일이 생긴다. 처음에는 행과 열의 개념이 헷갈리지 않았는데 drop(axis = 0)이면 행이 사라지고, count(axis = 0)을 하면 열로 카운트가 되는 것 같이 보여 갑자기 큰 혼란에 빠졌다. 2. 행과 열의 의미 혼란이 왔으니 간단하게 행과 열의 의미를 짚고 넘어가보자. 우선, 행은 '가로'의 의미로 row 라고 하며, 열은 '세로'의 의미로 colunm 라고 한다. 3. drop, 집계, concat 함수들에서의 행과 열 설정하기 먼저, 가장 이해하기 쉬운 drop 함수를 살펴보자. drop 에서는 axis 라는 파라미터를 설정하여 axis=0 이면 해.. 2023. 5. 25.
(데이터분석)파이썬, Python_타이타닉 데이터셋 전처리 하기 목차 kaggle에 있는 타이타닉 데이터셋을 Seaborn에 내장된 타이타닉 데이터셋 처럼 전처리를 하고자 한다. https://www.kaggle.com/competitions/titanic/overview Titanic - Machine Learning from Disaster | Kaggle www.kaggle.com 데이터 확인하기 - kaggle Titanic dataset (Train) - seaborn Titanic dataset - shape - null 값 우선 컬럼을 비교해보자면, kaggle 데이터셋에는 'class', 'who', 'adult_male', 'deck', 'embark_town', 'alive', 'alone' 컬럼이 없고, 'PassengerId', 'Name', '.. 2023. 5. 24.
(웹크롤링)파이썬, Python, BeautifulSoup, Selenium_네이버 블로그 크롤링 목차 1. Overview 네이버 블로그 주소 URL 를 추출하여 해당 URL에 있는 블로그 내용을 크롤링하고자 한다. 2. Code 2-1. 라이브러리 및 모듈 from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.common.by import By import re from bs4 import BeautifulSoup import time import pandas as pd 2-2. 크롤링할 네이버 블로그 주소 df 만들기 # 드라이버 경로 지정 driver_path = 'C:/*****/chromdriver.exe' #본인 driver 주소 입력 driver = webdriver.Chrome(drive.. 2023. 5. 19.
(웹크롤링)파이썬, python, BeautifulSoup_ 3. 멜론 차트 크롤링 목차 1. 기본 설정 import requests from bs4 import BeautifulSoup from selenium import webdriver # 멜론 차트 사이트 접속 driver_path = 'C:/Users/Playdata/Desktop/dev/setup/chromdriver.exe' driver = webdriver.Chrome(driver_path) url = 'https://www.melon.com/chart/' driver.get(url) # 멜론 차트 크롤링 html = driver.page_source soup = BeautifulSoup(html, 'html.parser') 2. 웹크롤링 서비스, 순위, 제목, 가수 정보를 크롤링 하여 엑셀 파일로 저장하기 2-1. 제목.. 2023. 5. 18.
(웹크롤링)파이썬, python, BeautifulSoup_ 2. BeautifulSoup 설치 및 기본 목차 1. BeautifulSoup 설치 pip install beautifulsoup4 # 터미널에서 설치 python -m pip install beautifulsoup4 # 가상환경의 파이썬에서 설치 python -m pip install requests 2. BeautifulSoup 기본 실습 from bs4 import BeautifulSoup import requests # html 코드 가져오기 response = requests.get('http://127.0.0.1:5500/crawling/01.%20html_basic/html_basic_table.html') html = response.text print(response.text) 2-1. select html = response.t.. 2023. 5. 17.
(웹크롤링) 1. 웹크롤링 Intro 목차 Intro 웹 크롤링을 할 때, 원하는 부분만 추출하기 위해서 HTML과 CSS 기본을 배워야한다. 오늘은 웹페이지의 기본 뼈대인 HTML의 간단한 태그들을 배우고 이 태그들을 선택하기 위한 CSS를 배울 예정이다. 또한, 파이썬의 웹크롤링 라이브러리는 BeautifulSoup과 Selenium 을 사용하는데 각자의 장점인 부분을 활용하여 보통 둘다 사용하기 때문에 모두 다뤄볼 예정이다. 1. 웹의 기초 개념: Overview https://wikidocs.net/85426 01장-2 WEB이란 .list ol { border: 1px solid blue; width:100% height:50px; padding:20px 50px; margin-bottom… wikidocs.net 앱은 OS마다 개.. 2023. 5. 17.
(도전)파이썬 GUI 프로그래밍: streamlit으로 카페 주문 만들기 목차 1. code import streamlit as st import json st.image('https://cdn.pixabay.com/photo/2017/04/25/08/02/coffee-beans-2258839_960_720.jpg', width=567) st.title('카페 주문 :sunglasses:') # 메뉴판 생성 menus = {'아메리카노': 1500, '카페라떼': 2000, '밀크티': 3000} for menu, price in menus.items(): st.text(f'{menu}: {format(price, ",")}원') # 메뉴 선택 버튼 with st.container(): cols = st.columns(len(menus)) buttons = {} for i, .. 2023. 5. 12.
(도전)파이썬 GUI 프로그래밍: streamlit으로 서울 자전거 데이터 분석 구현하기 목차 지난 번에 판다스 없이 진행해보았던 서울 자전거 데이터 분석을 streamlit 이라는 라이브러리를 통해 파이썬 GUI 프로그래밍에 도전해봤습니다. 지난 번에 전처리를 해놓았던 데이터를 csv 파일로 저장하고 불러와서 사용했으니 해당 링크로 들어가 참고하시면 됩니다. https://openthehabang.tistory.com/12 (도전)파이썬, python: 서울 자전거 데이터 분석을 판다스 없이 해보기 목차 과제: 월별 자전거 대여량 평균 구하기 * data: SeoulBikeData.csv 출처: https://archive.ics.uci.edu/ml/datasets/Seoul+Bike+Sharing+Demand UCI Machine Learning Repository: Seoul Bike .. 2023. 5. 11.