পাইথন দিয়ে ওয়েব স্ক্র্যাপিং: একটি সহজ টিউটোরিয়াল

ওয়েব স্ক্র্যাপিং এমন একটি প্রক্রিয়া যেখানে কোনো ওয়েবসাইট থেকে তথ্য সংগ্রহ করা হয় এবং সেই তথ্য প্রোগ্রামের মাধ্যমে ব্যবহার করা হয়। পাইথন প্রোগ্রামিং ভাষা দিয়ে সহজেই ওয়েব স্ক্র্যাপিং করা যায়। এই টিউটোরিয়ালে আমরা BeautifulSoup এবং requests লাইব্রেরি ব্যবহার করে কীভাবে ওয়েব স্ক্র্যাপিং করতে হয় তা শিখব।

যা যা লাগবে:

আপনার কম্পিউটারে:

  1. Python ইন্সটল করা থাকতে হবে।
  2. requests এবং BeautifulSoup4 লাইব্রেরি ইন্সটল করা থাকতে হবে।

লাইব্রেরি ইন্সটল করা:

Python ইন্সটল করার পর requests ও beautifulsoup4 লাইব্রেরি ইন্সটল করে নিন। এজন্য টার্মিনাল বা কমান্ড উইন্ডোতে নীচের কমান্ড ব্যবহার করতে হবে। তবে তার আগে অবশ্যই pip ইন্সটল করে নিবেন।

pip install requests
pip install beautifulsoup4

ওয়েব স্ক্র্যাপিং এর ধাপসমূহ:

  1. ওয়েবসাইটে HTTP রিকোয়েস্ট পাঠানো।
  2. HTML কন্টেন্ট সংগ্রহ করা।
  3. HTML কন্টেন্ট পার্স করা।
  4. প্রয়োজনীয় তথ্য সংগ্রহ করা।

উদাহরণ:

ধরি, আমরা একটি উদাহরণ হিসেবে https://example.com ওয়েবসাইট থেকে শিরোনাম (h1 ট্যাগ) স্ক্র্যাপ করব।

কোড:

import requests
from bs4 import BeautifulSoup
# ওয়েবসাইটের URL
url = 'https://example.com'
# HTTP রিকোয়েস্ট পাঠানো
response = requests.get(url)
# HTML কন্টেন্ট সংগ্রহ করা
html_content = response.text
# BeautifulSoup দিয়ে HTML পার্স করা
soup = BeautifulSoup(html_content, 'html.parser')
# শিরোনাম (h1 ট্যাগ) সংগ্রহ করা
h1_tag = soup.find('h1')
# শিরোনাম প্রিন্ট করা
print(h1_tag.text)

কোড ব্যাখ্যা:

  1. requests.get(url) ফাংশনের মাধ্যমে আমরা ওয়েবসাইট থেকে HTML কন্টেন্ট সংগ্রহ করি।
  2. BeautifulSoup দিয়ে HTML কন্টেন্ট পার্স করি।
  3. soup.find('h1') এর মাধ্যমে প্রথম h1 ট্যাগ খুঁজে বের করি।
  4. h1_tag.text এর মাধ্যমে h1 ট্যাগের ভেতরের টেক্সট প্রিন্ট করি।

অন্য ট্যাগ বা তথ্য সংগ্রহ:

যদি আপনি অন্যান্য ট্যাগ থেকে তথ্য সংগ্রহ করতে চান, তাহলে soup.find() বা soup.find_all() ফাংশন ব্যবহার করতে পারেন। যেমন, প্যারাগ্রাফ (p ট্যাগ) এর জন্য:

p_tags = soup.find_all('p')
for p in p_tags:
    print(p.text)

নিরাপত্তা এবং নীতিমালা:

ওয়েব স্ক্র্যাপিং করার সময় ওয়েবসাইটের robots.txt ফাইল এবং ওয়েবসাইট ব্যবহারের শর্তাবলী মেনে চলা উচিত। প্রয়োজনীয় অনুমতি ছাড়া স্ক্র্যাপিং করা উচিৎ নয়।

উপসংহার:

পাইথন দিয়ে ওয়েব স্ক্র্যাপিং একটি শক্তিশালী টুল যা আপনাকে বিভিন্ন ধরনের তথ্য সংগ্রহ ও রিসার্চে সহায়তা করতে পারে। requests এবং BeautifulSoup লাইব্রেরি ব্যবহার করে সহজেই ওয়েবসাইট থেকে প্রয়োজনীয় তথ্য স্ক্র্যাপ করতে পারবেন।