Python ve ücretsiz API'ler kullanarak kendi asistanınızı kurmak istiyorum ama hangi kütüphanelerin işime yarayacağını tam olarak bilemedim.
venv ya da conda öneririm) `bash
python -m venv venv
source venv/bin/activate # Windows: venv\Scripts\activate
pip install --upgrade pip
`
| Kütüphane | Kullanım Alanı | Neden tercih edilmeli? |
|-----------|----------------|------------------------|
| transformers (? Hugging Face) | Modelleri yükleyip inference yapmak | Çok sayıda açık‑kaynak LLM’i tek satır kodla çalıştırabilirsiniz. |
| sentence‑piece | Tokenizasyon | transformers ile uyumlu, modelin dil yapısını korur. |
| fastapi | HTTP API oluşturma | Hafif, async destekli, Docker’da sorunsuz çalışır. |
| uvicorn | ASGI sunucusu | fastapi ile birlikte yüksek performans sağlar. |
| pydantic | Veri doğrulama | Gelen isteklerde tip güvenliği sağlar, güvenlik risklerini azaltır. |
| torch / tensorflow | Model arka ucu | transformers için gerekli; GPU desteği varsa torch tercih edin. |
| python‑dotenv | Çevre değişkeni yönetimi | API anahtarlarını kod içinde tutmaz, güvenliği artırır. |
`bash
pip install transformers sentencepiece fastapi uvicorn pydantic python-dotenv
`
openai paketini pip install openai ile ekleyin. gpt2, distilgpt2, mistral‑7b‑v0.1 gibi modelleri sınırlı istek sayısı içinde kullanabilirsiniz. Not: Ücretsiz planlarda günlük istek limiti ve yanıt gecikmesi yüksek olabilir; kritik bir asistan için yerel model (ör.
GPT‑J‑6B,Llama‑2‑7B) tercih edilmesi uzun vadede maliyeti düşürür.
Modeli seç ve yükle
`python
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "gpt2" # ya da "EleutherAI/gpt-j-6b"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, device_map="auto")
`
Sohbet fonksiyonunu tanımla
`python
def chat(prompt: str, max_len: int = 150):
inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
output = model.generate(**inputs, max_new_tokens=max_len, do_sample=True, temperature=0.7)
return tokenizer.decode(output[0], skip_special_tokens=True)
`
FastAPI ile API oluştur
`python
from fastapi import FastAPI
from pydantic import BaseModel
app = FastAPI()
class Query(BaseModel):
message: str
@app.post("/chat")
async def get_reply(q: Query):
reply = chat(q.message)
return {"reply": reply}
`
Docker’da paketle (opsiyonel)
`dockerfile
FROM python:3.11-slim
WORKDIR /app
COPY . .
RUN pip install -r requirements.txt
CMD ["uvicorn", "main:app", "--host", "0.0.0.0", "--port", "8000"]
`
Güvenlik önlemleri
- API anahtarlarını .env dosyasında tut ve python-dotenv ile yükle.
- Rate‑limit ve IP‑whitelist ekle (FastAPI‑Middleware ile basitçe yapılabilir).
- Kullanıcı girdilerini sanitize et; prompt enjeksiyonunu önlemek için pydantic doğrulaması yeterli olmayabilir, ek regex kontrolü ekleyin.
torch.compile ve bitsandbytes ile 8‑bit quantization uygulayın; RAM tüketimi %70’e kadar düşer. loguru) ile istek/yanıtları kaydedin, anormallik tespiti yapın.Python ve ücretsiz API’ler sayesinde evde bir sohbet botu kurmak, kütüphane seçimi → model temini → API katmanı → güvenlik adımlarını doğru bir sırayla izlemekle mümkün. Finansal asistanlar için özellikle veri gizliliği ve hız kritik; bu yüzden yerel model tercih edip, sadece kritik dış API’leri (ör. gerçek‑zaman döviz/kredi verisi) ayrı bir katmanda tutmanız uzun vadede daha sürdürülebilir bir çözüm sunar. İyi kodlamalar!