menu search
  • Kaydol
brightness_auto

Hoş geldiniz! TÜRKLER SORUYOR PLATFORMU'na katılmak ister misiniz? Hemen kayıt olun veya giriş yapın.

more_vert

Python ve ücretsiz API'ler kullanarak kendi asistanınızı kurmak istiyorum ama hangi kütüphanelerin işime yarayacağını tam olarak bilemedim.

thumb_up_off_alt 0 beğenilme thumb_down_off_alt 0 beğenilmeme

1 cevap

more_vert

Gerekli Ortam

  • Python ≥ 3.8 (sanallaştırma için venv ya da conda öneririm)
  • Git (kod yönetimi ve örnek projeleri klonlamak için)
  • GPU (isteğe bağlı, büyük modelleri yerel çalıştıracaksanız)

`bash
python -m venv venv
source venv/bin/activate # Windows: venv\Scripts\activate
pip install --upgrade pip
`

Önerilen Kütüphaneler

| Kütüphane | Kullanım Alanı | Neden tercih edilmeli? |
|-----------|----------------|------------------------|
| transformers (? Hugging Face) | Modelleri yükleyip inference yapmak | Çok sayıda açık‑kaynak LLM’i tek satır kodla çalıştırabilirsiniz. |
| sentence‑piece | Tokenizasyon | transformers ile uyumlu, modelin dil yapısını korur. |
| fastapi | HTTP API oluşturma | Hafif, async destekli, Docker’da sorunsuz çalışır. |
| uvicorn | ASGI sunucusu | fastapi ile birlikte yüksek performans sağlar. |
| pydantic | Veri doğrulama | Gelen isteklerde tip güvenliği sağlar, güvenlik risklerini azaltır. |
| torch / tensorflow | Model arka ucu | transformers için gerekli; GPU desteği varsa torch tercih edin. |
| python‑dotenv | Çevre değişkeni yönetimi | API anahtarlarını kod içinde tutmaz, güvenliği artırır. |

`bash
pip install transformers sentencepiece fastapi uvicorn pydantic python-dotenv
`

Ücretsiz API Seçenekleri

  1. OpenAI GPT‑3.5‑turbo (Free tier) – 3 M token’a kadar ücretsiz. openai paketini pip install openai ile ekleyin.
  2. Hugging Face Inference API – Ücretsiz planla gpt2, distilgpt2, mistral‑7b‑v0.1 gibi modelleri sınırlı istek sayısı içinde kullanabilirsiniz.
  3. Cohere / Anthropic – Deneme kredileri mevcut, basit metin tamamlama için yeterli.

Not: Ücretsiz planlarda günlük istek limiti ve yanıt gecikmesi yüksek olabilir; kritik bir asistan için yerel model (ör. GPT‑J‑6B, Llama‑2‑7B) tercih edilmesi uzun vadede maliyeti düşürür.

Temel Adımlar

  1. Modeli seç ve yükle
    `python
    from transformers import AutoModelForCausalLM, AutoTokenizer

    model_name = "gpt2" # ya da "EleutherAI/gpt-j-6b"
    tokenizer = AutoTokenizer.from_pretrained(model_name)
    model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
    `

  2. Sohbet fonksiyonunu tanımla
    `python
    def chat(prompt: str, max_len: int = 150):

    inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
    output = model.generate(**inputs, max_new_tokens=max_len, do_sample=True, temperature=0.7)
    return tokenizer.decode(output[0], skip_special_tokens=True)
    

    `

  3. FastAPI ile API oluştur
    `python
    from fastapi import FastAPI
    from pydantic import BaseModel

    app = FastAPI()

    class Query(BaseModel):

    message: str
    

    @app.post("/chat")
    async def get_reply(q: Query):

    reply = chat(q.message)
    return {"reply": reply}
    

    `

  4. Docker’da paketle (opsiyonel)
    `dockerfile
    FROM python:3.11-slim
    WORKDIR /app
    COPY . .
    RUN pip install -r requirements.txt
    CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]
    `

  5. Güvenlik önlemleri
    - API anahtarlarını .env dosyasında tut ve python-dotenv ile yükle.
    - Rate‑limit ve IP‑whitelist ekle (FastAPI‑Middleware ile basitçe yapılabilir).
    - Kullanıcı girdilerini sanitize et; prompt enjeksiyonunu önlemek için pydantic doğrulaması yeterli olmayabilir, ek regex kontrolü ekleyin.

Güvenlik ve Performans İpuçları

  • GPU yoksa torch.compile ve bitsandbytes ile 8‑bit quantization uygulayın; RAM tüketimi %70’e kadar düşer.
  • Cache (Redis) kullanarak aynı soruların tekrar işlenmesini önleyin; yanıt süresi 30 ms’ye kadar inebilir.
  • Loglama (örn. loguru) ile istek/yanıtları kaydedin, anormallik tespiti yapın.

Sonuç

Python ve ücretsiz API’ler sayesinde evde bir sohbet botu kurmak, kütüphane seçimi → model temini → API katmanı → güvenlik adımlarını doğru bir sırayla izlemekle mümkün. Finansal asistanlar için özellikle veri gizliliği ve hız kritik; bu yüzden yerel model tercih edip, sadece kritik dış API’leri (ör. gerçek‑zaman döviz/kredi verisi) ayrı bir katmanda tutmanız uzun vadede daha sürdürülebilir bir çözüm sunar. İyi kodlamalar!

thumb_up_off_alt 0 beğenilme thumb_down_off_alt 0 beğenilmeme

İlgili sorular

thumb_up_off_alt 6 beğenilme thumb_down_off_alt 0 beğenilmeme
1 cevap
thumb_up_off_alt 8 beğenilme thumb_down_off_alt 0 beğenilmeme
1 cevap
thumb_up_off_alt 8 beğenilme thumb_down_off_alt 0 beğenilmeme
1 cevap
thumb_up_off_alt 7 beğenilme thumb_down_off_alt 0 beğenilmeme
3 cevap
thumb_up_off_alt 3 beğenilme thumb_down_off_alt 0 beğenilmeme
3 cevap

12,330 soru

21,947 cevap

2 yorum

282 üye

Çevrimiçi Kullanıcı Sayısı: 74
0 Üye 74 Ziyaretçi
Bugünkü Ziyaretler: 13685
Dünkü Ziyaretler: 9009
Toplam Ziyaretler: 6580000

Son Kazanılan Rozetler

efe_acar Bir rozet kazandı
İbrahim_kaplan Bir rozet kazandı
Ömer_Çelik Bir rozet kazandı
fatma_arslan Bir rozet kazandı
volkan_güneş Bir rozet kazandı
...