Yapay zeka projelerinde veri toplamak için Python kullanımı giderek yaygınlaşıyor. BeautifulSoup ve Selenium kütüphaneleriyle bu işi pratik bir şekilde halledebilirsiniz.
Web scraping temel olarak iki adımdan oluşur: HTML içeriğini çekmek ve bu içerikten ihtiyacımız olan veriyi ayıklamak. Python ekosistemi bu işi çok rahat yapmamızı sağlayan birkaç kütüphane sunar; en çok kullanılanlar requests, BeautifulSoup ve Selenium’dur.
Statik (JavaScript içermeyen) sayfalarda requests ile sayfanın kaynağını alıp, BeautifulSoup ile parse ederiz.
`python
import requests
from bs4 import BeautifulSoup
url = "https://www.otomobil.com/ikinci-el-araba"
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/124.0 Safari/537.36"
}
resp = requests.get(url, headers=headers, timeout=10)
resp.raise_for_status() # hata alındıysa istisna fırlat
soup = BeautifulSoup(resp.text, "lxml")
titles = [t.get_text(strip=True) for t in soup.select(".listing-title")]
print(titles[:5])
`
İpuçları
- User‑Agent eklemek, sitenin “bot” olduğunu düşünmesini engeller.
- resp.raise_for_status() ile 404/500 hatalarını yakalarız.
- lxml parser’ı, html.parser’a göre çok daha hızlıdır.
Araç fiyatları, stok durumu gibi veriler genellikle JavaScript ile yüklenir. Bu durumda Selenium devreye girer.
`python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager
options = webdriver.ChromeOptions()
options.add_argument("--headless") # tarayıcıyı arka planda çalıştır
options.add_argument("--no-sandbox")
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()),
options=options)
driver.get("https://www.evsanayi.com/elektrikli-araclar")
driver.implicitly_wait(5)
prices = [elem.text for elem in driver.find_elements(By.CSS_SELECTOR, ".price")]
print(prices[:5])
driver.quit()
`
Dikkat Edilmesi Gerekenler
- Headless mod, kaynak tüketimini düşürür ama bazı siteler bunu tespit edip engelleyebilir.
- implicitly_wait yerine WebDriverWait + expected_conditions daha kontrollü bir bekleme sağlar.
- Selenium’da CAPTCHA veya IP blokajı ile karşılaşırsanız, proxy rotasyonu veya anti‑captcha servisleri gerekir.
Çektiğiniz ham veriyi pandas ile DataFrame’e dönüştürüp CSV/SQLite gibi formatlarda saklayabilirsiniz.
`python
import pandas as pd
df = pd.DataFrame({"title": titles, "price": prices})
df.to_csv("arac_ilanlari.csv", index=False, encoding="utf-8-sig")
`
time.sleep() ile gecikme ekleyin. | Sorun | Çözüm |
|-------|-------|
| 403 Forbidden | Header’da User-Agent ve Referer ekleyin. |
| Sayfa boş geliyor | JavaScript ile yüklenen kısmı Selenium ile alın. |
| IP blokajı | Rotatif proxy / VPN kullanın, istek sayısını azaltın. |
| CAPTCHA | 2Captcha, Anti‑Captcha gibi servislerle otomatik çözüm. |
Bu adımları takip ederek, araç ilanları, yedek parça fiyatları, şarj istasyonu konumları gibi otomotivle ilgili verileri rahatlıkla toplayabilirsiniz. İyi scraping’ler! ??