Plug & Play Life

[파이썬] requests + BeautifulSoup 으로 웹 크롤링 하기

웹 크롤링 실전 편입니다. 정적 페이지에서는 requests와 BeautifulSoup을 사용하여 효율적이고 빠르게 데이터를 추출할 수 있습니다.데이터가 페이지 소스에 바로 포함되어 있는 정적 콘텐츠에 적합합니다.반면 JavaScript로 렌더링 되거나 상호작용이 필요한 동적 웹페이지의 경우는 Selenium을 사용합니다. 이제 정적 페이지를 requests와 BeautifulSoup을 사용하여 웹 크롤링을 해봅시다. ▶ 순서 1. pip로 패키지 설치2. 가져올 페이지 분석하기3. 코딩하기4. 실행하기 1. pip로 패키지 설치 파이썬 라이브러리 패키지는 pip를 사용해 설치합니다.앞으로 수많은 패키지를 설치하게 될 겁니다.이번에 필요한 거는 requests + BeautifulSoup입니다. 한꺼번에..

[파이썬] VS Code로 파이썬 개발을 위한 초기 설정

비주얼 스튜디오 코드(이하 VS Code)로 파이썬 개발을 위한 초기 설정에 대해 알아봅시다. 순서1. Python 확장 설치2. 작업 폴더 만들기3. 첫 코딩해 보기4. 마치며 1. Python 확장 설치 비주얼 스튜디오 코드(이하 VS Code)는 범용 IDE 여서 필요한 언어의 확장팩을 설치해서 사용합니다.파이썬 개발을 위해 먼저 Python 확장을 설치해 봅시다. 왼쪽 사이드바에서 Extensions 뷰(네모 아이콘)를 클릭하거나 Ctrl+Shift+X 단축키를 누릅니다.추가 확장 프로그램을 설치할 수 있는 창입니다.검색창에 "Python"을 입력하고 가장 위쪽에 나오는 파이썬에 Install을 클릭하여 설치해 줍니다. 설치에 약간의 시간이 걸립니다. 진행바 같은 게 안 나오기에 얼마나 남았는지 ..

저번 글을 통해 파이썬을 설치하고, IDE(통합개발환경)이 왜 필요하고 어떤 것들이 있는지 알아봤습니다.이제 IDE를 선택해서 본격적인 코딩 준비를 해야 합니다. 대표적으로 많이들 쓰는 파이참(PyCharm)도 좋지만 VS Code(Visual Studio Code)를 이번에 사용할 겁니다.두 가지 다 사용해 본 개인적인 느낌은- 파이참은 기능이 많아 리소스 많이 소모하여 실행이 느리지만 파이썬에 특화.- VS CODE는 가볍고 빠른 속도, 다른 언어들도 지원(파이썬, C++, 자바스크립트, html 등등) 파이썬만 하실 분들은 파이참을 설치하여 강력한 IDE를 사용하시고,저처럼 여러 다른 언어들도 사용하실 거면 VS CODE 하나로 사용하시는 것도 좋을 거 같아요. ▶ 순서 1. VS Code 다운로드..

웹 크롤링(Web Crawling)은 웹 페이지에 존재하는 데이터를 자동으로 수집하고 활용하는 기술로, 데이터 분석과 정보 수집에 필수적인 도구로 자리 잡았습니다. 이를 통해 뉴스 기사, 제품 정보, 가격 비교, 통계 자료 등 다양한 데이터를 손쉽게 확보할 수 있습니다. 하지만 크롤링 작업을 시작하기 위해서는 웹 사이트의 구조를 이해하고, 적절한 도구를 선택해야 합니다. 또한, 법적 문제와 크롤링 윤리를 준수하는 것도 매우 중요합니다.  파이썬 웹 크롤링하는 방법에는 requests + BeautifulSoup와 Selenium 이 있습니다.  그럼 이제 본격적으로 파이썬으로 웹 크롤링을 하는 방법에 대해 알아봅시다. requests + BeautifulSoup와 Selenium은 목적과 사용 방식에서 ..

개발자의 첫걸음을 내딛는 여러분!파이썬을 설치하고, '나도 이제 코딩 천재가 될 거야!'라고 외쳤다면, 다음 단계는 뭘까요? 바로 멋진 IDE(통합 개발 환경)를 선택해 작업 환경을 완성하는 것입니다.왜 IDE가 중요하냐고요? 훌륭한 개발자는 좋은 도구를 고르는 데서 시작한다고 하잖아요. 오늘은 코딩의 재미를 한층 더 업그레이드해 줄 IDE를 함께 설치해 보며, 파이썬 세계를 제대로 탐험해 보겠습니다. ▶ 순서1. 통합 개발 환경(IDE)이란?2. 왜 통합 개발 환경이 필요할까?3. 파이썬 개발에서 IDE가 특히 중요한 이유4. 대표적인 파이썬 IDE 비교    5. 마치며  1. 통합 개발 환경(IDE)이란?  통합 개발 환경(IDE, Integrated Development Environment)이란..

"프로그래밍은 어렵고 전문가들만 하는 거 아니야?"라는 생각이 들었다면, 파이썬이 그 고정관념을 깨 줍니다.실제로 비전공자들도 "엑셀 업무를 자동화하다 보니 파이썬이 필요했어요"라거나, "데이터 분석이 궁금해서 시작했는데 생각보다 쉬워서 놀랐어요" 같은 이야기를 자주 합니다.파이썬은 처음 배울 때 '헷갈리고 복잡하다'는 느낌 대신, "어? 이렇게 간단한 거였어?"라는 깨달음을 주는 언어입니다.배우기 쉽고 실생활에 바로 써먹을 수 있어서 비전공자들에게도 추천해 줄 수 있습니다.파이썬은 초보자부터 전문가까지 쉽게 접근할 수 있는 강력한 프로그래밍 언어입니다. 오늘은 윈도우 운영 체제를 사용하는 초보자를 위한 파이썬 설치 과정을 처음부터 끝까지 자세히 설명해 드리겠습니다.설치 과정 하나하나 꼼꼼히 다뤄볼 테니..