Plug & Play Life

[파이썬] requests + BeautifulSoup 으로 웹 크롤링 하기

웹 크롤링 실전 편입니다. 정적 페이지에서는 requests와 BeautifulSoup을 사용하여 효율적이고 빠르게 데이터를 추출할 수 있습니다.데이터가 페이지 소스에 바로 포함되어 있는 정적 콘텐츠에 적합합니다.반면 JavaScript로 렌더링 되거나 상호작용이 필요한 동적 웹페이지의 경우는 Selenium을 사용합니다. 이제 정적 페이지를 requests와 BeautifulSoup을 사용하여 웹 크롤링을 해봅시다. ▶ 순서 1. pip로 패키지 설치2. 가져올 페이지 분석하기3. 코딩하기4. 실행하기 1. pip로 패키지 설치 파이썬 라이브러리 패키지는 pip를 사용해 설치합니다.앞으로 수많은 패키지를 설치하게 될 겁니다.이번에 필요한 거는 requests + BeautifulSoup입니다. 한꺼번에..

파월 코인시장 미국주식 모두 패대기 치다!

간밤에 FOMC 발표와 파월 의장의 발언이 있었습니다. FOMC 결과 발표로 1차, 점도표에서 2차, 파월이 3차로 시장을 패대기 쳐벼렸습니다.산타 랠리는 이대로 물 건너 간 걸까요?    다우지수, S&P 500, 나스닥 모두 순식간에 무너지다!내년 금리 인하 폭 축소를 시사한 미국 연방준비제도(Fed ·연준)의 올해 마지막 통화정책 회의 결과와제롬 파월 연준 의장의 '매파적' 발언이 투자심리에 찬물을 끼얹어 일제히 급락 마감했습니다.우량주 그룹 다우지수는 장 초반, 9거래일 연속 하락세를 끊고 반등에 성공하는 듯했으나 통화정책 회의 결과가 나온 후 변동성이 커지면서 방향을 틀어 10거래일 연속 하락했습니다. 1974년 10월(11거래일 연속↓) 이후 최장기간 하락 기록이랍니다.뉴욕증권거래소(NYSE)..

비주얼 스튜디오 코드(이하 VS Code)로 파이썬 개발을 위한 초기 설정에 대해 알아봅시다. 순서1. Python 확장 설치2. 작업 폴더 만들기3. 첫 코딩해 보기4. 마치며 1. Python 확장 설치 비주얼 스튜디오 코드(이하 VS Code)는 범용 IDE 여서 필요한 언어의 확장팩을 설치해서 사용합니다.파이썬 개발을 위해 먼저 Python 확장을 설치해 봅시다. 왼쪽 사이드바에서 Extensions 뷰(네모 아이콘)를 클릭하거나 Ctrl+Shift+X 단축키를 누릅니다.추가 확장 프로그램을 설치할 수 있는 창입니다.검색창에 "Python"을 입력하고 가장 위쪽에 나오는 파이썬에 Install을 클릭하여 설치해 줍니다. 설치에 약간의 시간이 걸립니다. 진행바 같은 게 안 나오기에 얼마나 남았는지 ..

저번 글을 통해 파이썬을 설치하고, IDE(통합개발환경)이 왜 필요하고 어떤 것들이 있는지 알아봤습니다.이제 IDE를 선택해서 본격적인 코딩 준비를 해야 합니다. 대표적으로 많이들 쓰는 파이참(PyCharm)도 좋지만 VS Code(Visual Studio Code)를 이번에 사용할 겁니다.두 가지 다 사용해 본 개인적인 느낌은- 파이참은 기능이 많아 리소스 많이 소모하여 실행이 느리지만 파이썬에 특화.- VS CODE는 가볍고 빠른 속도, 다른 언어들도 지원(파이썬, C++, 자바스크립트, html 등등) 파이썬만 하실 분들은 파이참을 설치하여 강력한 IDE를 사용하시고,저처럼 여러 다른 언어들도 사용하실 거면 VS CODE 하나로 사용하시는 것도 좋을 거 같아요. ▶ 순서 1. VS Code 다운로드..

웹 크롤링(Web Crawling)은 웹 페이지에 존재하는 데이터를 자동으로 수집하고 활용하는 기술로, 데이터 분석과 정보 수집에 필수적인 도구로 자리 잡았습니다. 이를 통해 뉴스 기사, 제품 정보, 가격 비교, 통계 자료 등 다양한 데이터를 손쉽게 확보할 수 있습니다. 하지만 크롤링 작업을 시작하기 위해서는 웹 사이트의 구조를 이해하고, 적절한 도구를 선택해야 합니다. 또한, 법적 문제와 크롤링 윤리를 준수하는 것도 매우 중요합니다.  파이썬 웹 크롤링하는 방법에는 requests + BeautifulSoup와 Selenium 이 있습니다.  그럼 이제 본격적으로 파이썬으로 웹 크롤링을 하는 방법에 대해 알아봅시다. requests + BeautifulSoup와 Selenium은 목적과 사용 방식에서 ..

개발자의 첫걸음을 내딛는 여러분!파이썬을 설치하고, '나도 이제 코딩 천재가 될 거야!'라고 외쳤다면, 다음 단계는 뭘까요? 바로 멋진 IDE(통합 개발 환경)를 선택해 작업 환경을 완성하는 것입니다.왜 IDE가 중요하냐고요? 훌륭한 개발자는 좋은 도구를 고르는 데서 시작한다고 하잖아요. 오늘은 코딩의 재미를 한층 더 업그레이드해 줄 IDE를 함께 설치해 보며, 파이썬 세계를 제대로 탐험해 보겠습니다. ▶ 순서1. 통합 개발 환경(IDE)이란?2. 왜 통합 개발 환경이 필요할까?3. 파이썬 개발에서 IDE가 특히 중요한 이유4. 대표적인 파이썬 IDE 비교    5. 마치며  1. 통합 개발 환경(IDE)이란?  통합 개발 환경(IDE, Integrated Development Environment)이란..

인터넷의 개방성 덕분에 다양한 정보와 콘텐츠를 손쉽게 공유할 수 있는 시대입니다. 그러나 창작자가 공들여 만든 콘텐츠가 무단으로 퍼가는 불펌 행위는 창작자들에게 큰 피해를 주고 있습니다. 특히 블로그 운영자들은 이러한 상황을 자주 겪게 됩니다. 블로그의 글, 사진, 자료가 허락 없이 복사되어 다른 사이트나 플랫폼에 사용되는 것을 방지하려면, 불펌 방지 설정을 통해 미리 대비할 필요가 있습니다.  이번 글에서는 티스토리에서 불펌을 방지할 수 있는 두 가지 주요 방법과 추가적인 팁을 소개하겠습니다.  ▶ 순서 1. 티스토리 플러그인 기능 활용 - 마우스 오른쪽 클릭 방지 2. HTML 코드 삽입: '우클릭 복사 금지'와 '드래그 금지' 3. 불펌 방지 설정의 한계 4. 마치며 1. 티스토리 플러그인 기능 ..

"프로그래밍은 어렵고 전문가들만 하는 거 아니야?"라는 생각이 들었다면, 파이썬이 그 고정관념을 깨 줍니다.실제로 비전공자들도 "엑셀 업무를 자동화하다 보니 파이썬이 필요했어요"라거나, "데이터 분석이 궁금해서 시작했는데 생각보다 쉬워서 놀랐어요" 같은 이야기를 자주 합니다.파이썬은 처음 배울 때 '헷갈리고 복잡하다'는 느낌 대신, "어? 이렇게 간단한 거였어?"라는 깨달음을 주는 언어입니다.배우기 쉽고 실생활에 바로 써먹을 수 있어서 비전공자들에게도 추천해 줄 수 있습니다.파이썬은 초보자부터 전문가까지 쉽게 접근할 수 있는 강력한 프로그래밍 언어입니다. 오늘은 윈도우 운영 체제를 사용하는 초보자를 위한 파이썬 설치 과정을 처음부터 끝까지 자세히 설명해 드리겠습니다.설치 과정 하나하나 꼼꼼히 다뤄볼 테니..

안녕하세요 최근 몇 년간 인공지능(AI)은 기술 산업 전반에 걸쳐 큰 변화를 가져왔습니다.송종호 저자의 AI 투자 전쟁은 이러한 변화의 중심에서 투자자로서 어떤 기회를 잡아야 할지에 대한 깊이 있는 통찰을 제공합니다.반도체 애널리스트와 자산운용사 CIO를 역임한 저자는 AI 기술의 발전과 그로 인한 경제적, 사회적 변화에 대한 명확한 분석을 제시합니다. 투자자로서 어떤 인사이트 있을까 궁금해졌습니다.저자 소개   저자인 송종호 대표는 물리학과 재무학을 전공한 이력으로 기술과 금융을 폭넓게 이해하는 전문가입니다. 대우증권, 신한 BNP파리바자산운용, SK하이닉스 등에서 반도체와 기술주 관련 경험을 쌓았고, 필승코리아펀드와 그린코리아펀드 같은 성공적인 펀드를 기획했습니다. 이 책은 그의 첫 저서로, 반도체와..

안녕하세요 알리에서 저렴하게 구입한 제품이며 설치를 위해 테스트를 해봤습니다.혹시 어렵게 생각하시거나 궁금하실 분들을 위해 설치 과정을 올립니다.쉽고 싸지만 아쉬운점도 있습니다.순서1. 구매 및 첫인상2. 설치 과정 및 앱 사용3. 주요 기능 및 화면4. 장단점6. 종합 평가 1. 구매 및 첫인상 지난해 알리익스프레스에서 약 1만 원대에 구매한 저가형 CCTV 카메라입니다.5MP 해상도를 자랑하며, 가격 대비 기능이 훌륭해 보였습니다.제품은 정식 판매 박스에 깔끔하게 포장되어 도착했고,카메라 본체, 어댑터, 전원 케이블, 부착용 나사, 간단한 설명서로 구성되어 있었습니다.아쉽게도 SD카드는 포함되어 있지 않아, 추후 따로 구매를 계획 중입니다. 카메라는 가볍고 소형으로, 설치 위치를 고민할 필요가 없었습..