Plug & Play Life

이번 포스트에서는 구글 트렌드 RSS의 개념, 데이터 구조, 그리고 이를 파이썬으로 처리하는 방법을 자세히 다루어 보려합니다. 구글 트렌드 RSS 데이터를 파이썬을 사용해 CSV 파일로 저장하는 방법을 알아보겠습니다. 어렵지 않으니 차근차근 따라오세요! 구글 트렌드 RSS란? 구글 트렌드 RSS는 특정 지역에서 인기 있는 검색어와 관련된 데이터를 제공하는 RSS(Really Simple Syndication) 피드입니다. RSS는 주로 웹사이트에서 새로운 콘텐츠를 자동으로 받아볼 수 있게 하는 기술로, 구글 트렌드의 RSS는 매일 갱신되는 검색 트렌드 정보를 제공합니다. 이 데이터를 활용하면 현재 사람들이 관심 있어 하는 주제를 파악하거나, 분석 자료로 활용할 수 있습니다. RSS 데이터를 자동으로 수집..

파이썬(Python)은 배우기 쉽고 강력한 프로그래밍 언어로, 초보자부터 전문가까지 폭넓게 사용되고 있습니다. 파이썬 프로젝트를 작성, 실행, 배포, 그리고 웹에서 호스팅 하기 위해 무료로 이용할 수 있는 플랫폼들을 소개합니다. 여기서, 작성 및 실행은 코딩하는 그 자체를 말하는건데요. 주로 내  PC에서 실행됩니다.내가 만든 프로젝트를 공개하는 과정이 배포와 호스팅입니다.  배포와 호스팅에 대해서도 알아보고 초보자를 위한 무료 배포 호스팅 플랫폼도 알아봅시다.이러한 도구들은 별도의 복잡한 설정 없이 쉽게 파이썬을 배우고 프로젝트를 공유하는 데 매우 유용합니다. 1. 배포와 호스팅이란? 배포와 호스팅은 소프트웨어, 특히 웹 애플리케이션을 온라인에서 사용할 수 있도록 만드는 과정입니다.이를 일상적인 상황에..

저번 시간에 이어 실제로 네이버 뉴스 페이지를 웹 크롤링해 텍스트와 링크, 이미지를 가져오는 방법을 함께 해봅시다. 웹 크롤링의 단계를 간단하게 말하면,1. 원하는 웹 페이지의 html문서를 싹 긁어온다.  ☞ requests2. 긁어온 html 문서를 파싱(Parsing)한다.  ☞  BeautifulSoup3. 파싱 한 html 문서에서 원하는 것을 골라서 사용한다. ☞ find, select 여기에 한발 더 나아가서+ 텍스트, 링크, 이미지를 가져온다. ☞ get_text, attrs['href'], attrs['src']저번 글에서의 기본적인 크롤링을 이해하셨다면 이번도 잘 따라오실 수 있을 겁니다. ▶ 순서  1. 가져올 페이지 분석하기2. get_text로 텍스트 가져오기3. attr['hre..

웹 크롤링 실전 편입니다. 정적 페이지에서는 requests와 BeautifulSoup을 사용하여 효율적이고 빠르게 데이터를 추출할 수 있습니다.데이터가 페이지 소스에 바로 포함되어 있는 정적 콘텐츠에 적합합니다.반면 JavaScript로 렌더링 되거나 상호작용이 필요한 동적 웹페이지의 경우는 Selenium을 사용합니다. 이제 정적 페이지를 requests와 BeautifulSoup을 사용하여 웹 크롤링을 해봅시다. ▶ 순서 1. pip로 패키지 설치2. 가져올 페이지 분석하기3. 코딩하기4. 실행하기 1. pip로 패키지 설치 파이썬 라이브러리 패키지는 pip를 사용해 설치합니다.앞으로 수많은 패키지를 설치하게 될 겁니다.이번에 필요한 거는 requests + BeautifulSoup입니다. 한꺼번에..

간밤에 FOMC 발표와 파월 의장의 발언이 있었습니다. FOMC 결과 발표로 1차, 점도표에서 2차, 파월이 3차로 시장을 패대기 쳐벼렸습니다.산타 랠리는 이대로 물 건너 간 걸까요?    다우지수, S&P 500, 나스닥 모두 순식간에 무너지다!내년 금리 인하 폭 축소를 시사한 미국 연방준비제도(Fed ·연준)의 올해 마지막 통화정책 회의 결과와제롬 파월 연준 의장의 '매파적' 발언이 투자심리에 찬물을 끼얹어 일제히 급락 마감했습니다.우량주 그룹 다우지수는 장 초반, 9거래일 연속 하락세를 끊고 반등에 성공하는 듯했으나 통화정책 회의 결과가 나온 후 변동성이 커지면서 방향을 틀어 10거래일 연속 하락했습니다. 1974년 10월(11거래일 연속↓) 이후 최장기간 하락 기록이랍니다.뉴욕증권거래소(NYSE)..

비주얼 스튜디오 코드(이하 VS Code)로 파이썬 개발을 위한 초기 설정에 대해 알아봅시다. 순서1. Python 확장 설치2. 작업 폴더 만들기3. 첫 코딩해 보기4. 마치며 1. Python 확장 설치 비주얼 스튜디오 코드(이하 VS Code)는 범용 IDE 여서 필요한 언어의 확장팩을 설치해서 사용합니다.파이썬 개발을 위해 먼저 Python 확장을 설치해 봅시다. 왼쪽 사이드바에서 Extensions 뷰(네모 아이콘)를 클릭하거나 Ctrl+Shift+X 단축키를 누릅니다.추가 확장 프로그램을 설치할 수 있는 창입니다.검색창에 "Python"을 입력하고 가장 위쪽에 나오는 파이썬에 Install을 클릭하여 설치해 줍니다. 설치에 약간의 시간이 걸립니다. 진행바 같은 게 안 나오기에 얼마나 남았는지 ..

저번 글을 통해 파이썬을 설치하고, IDE(통합개발환경)이 왜 필요하고 어떤 것들이 있는지 알아봤습니다.이제 IDE를 선택해서 본격적인 코딩 준비를 해야 합니다. 대표적으로 많이들 쓰는 파이참(PyCharm)도 좋지만 VS Code(Visual Studio Code)를 이번에 사용할 겁니다.두 가지 다 사용해 본 개인적인 느낌은- 파이참은 기능이 많아 리소스 많이 소모하여 실행이 느리지만 파이썬에 특화.- VS CODE는 가볍고 빠른 속도, 다른 언어들도 지원(파이썬, C++, 자바스크립트, html 등등) 파이썬만 하실 분들은 파이참을 설치하여 강력한 IDE를 사용하시고,저처럼 여러 다른 언어들도 사용하실 거면 VS CODE 하나로 사용하시는 것도 좋을 거 같아요. ▶ 순서 1. VS Code 다운로드..

웹 크롤링(Web Crawling)은 웹 페이지에 존재하는 데이터를 자동으로 수집하고 활용하는 기술로, 데이터 분석과 정보 수집에 필수적인 도구로 자리 잡았습니다. 이를 통해 뉴스 기사, 제품 정보, 가격 비교, 통계 자료 등 다양한 데이터를 손쉽게 확보할 수 있습니다. 하지만 크롤링 작업을 시작하기 위해서는 웹 사이트의 구조를 이해하고, 적절한 도구를 선택해야 합니다. 또한, 법적 문제와 크롤링 윤리를 준수하는 것도 매우 중요합니다.  파이썬 웹 크롤링하는 방법에는 requests + BeautifulSoup와 Selenium 이 있습니다.  그럼 이제 본격적으로 파이썬으로 웹 크롤링을 하는 방법에 대해 알아봅시다. requests + BeautifulSoup와 Selenium은 목적과 사용 방식에서 ..

개발자의 첫걸음을 내딛는 여러분!파이썬을 설치하고, '나도 이제 코딩 천재가 될 거야!'라고 외쳤다면, 다음 단계는 뭘까요? 바로 멋진 IDE(통합 개발 환경)를 선택해 작업 환경을 완성하는 것입니다.왜 IDE가 중요하냐고요? 훌륭한 개발자는 좋은 도구를 고르는 데서 시작한다고 하잖아요. 오늘은 코딩의 재미를 한층 더 업그레이드해 줄 IDE를 함께 설치해 보며, 파이썬 세계를 제대로 탐험해 보겠습니다. ▶ 순서1. 통합 개발 환경(IDE)이란?2. 왜 통합 개발 환경이 필요할까?3. 파이썬 개발에서 IDE가 특히 중요한 이유4. 대표적인 파이썬 IDE 비교    5. 마치며  1. 통합 개발 환경(IDE)이란?  통합 개발 환경(IDE, Integrated Development Environment)이란..

인터넷의 개방성 덕분에 다양한 정보와 콘텐츠를 손쉽게 공유할 수 있는 시대입니다. 그러나 창작자가 공들여 만든 콘텐츠가 무단으로 퍼가는 불펌 행위는 창작자들에게 큰 피해를 주고 있습니다. 특히 블로그 운영자들은 이러한 상황을 자주 겪게 됩니다. 블로그의 글, 사진, 자료가 허락 없이 복사되어 다른 사이트나 플랫폼에 사용되는 것을 방지하려면, 불펌 방지 설정을 통해 미리 대비할 필요가 있습니다.  이번 글에서는 티스토리에서 불펌을 방지할 수 있는 두 가지 주요 방법과 추가적인 팁을 소개하겠습니다.  ▶ 순서 1. 티스토리 플러그인 기능 활용 - 마우스 오른쪽 클릭 방지 2. HTML 코드 삽입: '우클릭 복사 금지'와 '드래그 금지' 3. 불펌 방지 설정의 한계 4. 마치며 1. 티스토리 플러그인 기능 ..