menu search
  • Kaydol
brightness_auto

Hoş geldiniz! TÜRKLER SORUYOR PLATFORMU'na katılmak ister misiniz? Hemen kayıt olun veya giriş yapın.

more_vert

Yapay zeka projelerinde veri toplamak için Python kullanımı giderek yaygınlaşıyor. BeautifulSoup ve Selenium kütüphaneleriyle bu işi pratik bir şekilde halledebilirsiniz.

thumb_up_off_alt 8 beğenilme thumb_down_off_alt 0 beğenilmeme

1 cevap

more_vert
 
done_all
En İyi Cevap

Python’da Web Scraping Temelleri

Web scraping temel olarak iki adımdan oluşur: HTML içeriğini çekmek ve bu içerikten ihtiyacımız olan veriyi ayıklamak. Python ekosistemi bu işi çok rahat yapmamızı sağlayan birkaç kütüphane sunar; en çok kullanılanlar requests, BeautifulSoup ve Selenium’dur.

1. Requests + BeautifulSoup ile Statik Sayfalar

Statik (JavaScript içermeyen) sayfalarda requests ile sayfanın kaynağını alıp, BeautifulSoup ile parse ederiz.

`python
import requests
from bs4 import BeautifulSoup

url = "https://www.otomobil.com/ikinci-el-araba"
headers = {

"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
              "AppleWebKit/537.36 (KHTML, like Gecko) "
              "Chrome/124.0 Safari/537.36"

}
resp = requests.get(url, headers=headers, timeout=10)
resp.raise_for_status() # hata alındıysa istisna fırlat

soup = BeautifulSoup(resp.text, "lxml")

örnek: ilan başlıklarını çek

titles = [t.get_text(strip=True) for t in soup.select(".listing-title")]
print(titles[:5])
`

İpuçları
- User‑Agent eklemek, sitenin “bot” olduğunu düşünmesini engeller.
- resp.raise_for_status() ile 404/500 hatalarını yakalarız.
- lxml parser’ı, html.parser’a göre çok daha hızlıdır.

2. Selenium ile Dinamik Sayfalar

Araç fiyatları, stok durumu gibi veriler genellikle JavaScript ile yüklenir. Bu durumda Selenium devreye girer.

`python
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

options = webdriver.ChromeOptions()
options.add_argument("--headless") # tarayıcıyı arka planda çalıştır
options.add_argument("--no-sandbox")
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()),

                      options=options)

driver.get("https://www.evsanayi.com/elektrikli-araclar")

sayfa tamamen yüklensin diye kısa bir bekleme

driver.implicitly_wait(5)

örnek: fiyatları çek

prices = [elem.text for elem in driver.find_elements(By.CSS_SELECTOR, ".price")]
print(prices[:5])

driver.quit()
`

Dikkat Edilmesi Gerekenler
- Headless mod, kaynak tüketimini düşürür ama bazı siteler bunu tespit edip engelleyebilir.
- implicitly_wait yerine WebDriverWait + expected_conditions daha kontrollü bir bekleme sağlar.
- Selenium’da CAPTCHA veya IP blokajı ile karşılaşırsanız, proxy rotasyonu veya anti‑captcha servisleri gerekir.

3. Veri Temizleme ve Depolama

Çektiğiniz ham veriyi pandas ile DataFrame’e dönüştürüp CSV/SQLite gibi formatlarda saklayabilirsiniz.

`python
import pandas as pd

df = pd.DataFrame({"title": titles, "price": prices})
df.to_csv("arac_ilanlari.csv", index=False, encoding="utf-8-sig")
`

4. Etik ve Yasal Sınırlar

  • robots.txt dosyasını kontrol edin; izin verilen yolları aşmayın.
  • Çok sık istek gönderirseniz sunucuya yük bindirirsiniz; time.sleep() ile gecikme ekleyin.
  • Özellikle otomotiv firmalarının veri tabanlarını toplarken Kişisel Verileri Koruma Kanunu (KVKK) ve telif haklarını göz önünde bulundurun.

5. Sık Karşılaşılan Sorunlar

| Sorun | Çözüm |
|-------|-------|
| 403 Forbidden | Header’da User-Agent ve Referer ekleyin. |
| Sayfa boş geliyor | JavaScript ile yüklenen kısmı Selenium ile alın. |
| IP blokajı | Rotatif proxy / VPN kullanın, istek sayısını azaltın. |
| CAPTCHA | 2Captcha, Anti‑Captcha gibi servislerle otomatik çözüm. |

Bu adımları takip ederek, araç ilanları, yedek parça fiyatları, şarj istasyonu konumları gibi otomotivle ilgili verileri rahatlıkla toplayabilirsiniz. İyi scraping’ler! ??

thumb_up_off_alt 5 beğenilme thumb_down_off_alt 0 beğenilmeme

İlgili sorular

thumb_up_off_alt 8 beğenilme thumb_down_off_alt 0 beğenilmeme
1 cevap
thumb_up_off_alt 6 beğenilme thumb_down_off_alt 0 beğenilmeme
1 cevap
thumb_up_off_alt 3 beğenilme thumb_down_off_alt 0 beğenilmeme
1 cevap
thumb_up_off_alt 3 beğenilme thumb_down_off_alt 0 beğenilmeme
2 cevap
thumb_up_off_alt 4 beğenilme thumb_down_off_alt 0 beğenilmeme
3 cevap

12,261 soru

19,292 cevap

2 yorum

282 üye

Çevrimiçi Kullanıcı Sayısı: 27
0 Üye 27 Ziyaretçi
Bugünkü Ziyaretler: 1202
Dünkü Ziyaretler: 9009
Toplam Ziyaretler: 6567513

Son Kazanılan Rozetler

vedat.dinc Bir rozet kazandı
İbrahim_kaplan Bir rozet kazandı
İbrahim_korkmaz Bir rozet kazandı
meryem_yılmaz Bir rozet kazandı
ayşe_Şahin_08 Bir rozet kazandı
...