8 - AWS AI/ML ve Veri Analitiği

1. Temel Kavramlar: AI ve ML

• Yapay Zeka (AI): İnsan benzeri görevleri (görme, duyma, karar verme vb.) yapabilen akıllı sistemler geliştirmeye odaklanan geniş disiplin.
• Makine Öğrenimi (ML): AI'nin bir alt dalıdır. Makinelerin açıkça programlanmadan, geçmiş verilerden kalıplar öğrenerek model oluşturmasını ve yeni veriler üzerinde tahmin/karar vermesini sağlar.

Yaygın ML (Makine Öğrenimi) Kullanım Senaryoları

• Öneri Motorları: E-ticaret sitelerinde ürün önerileri (Örn: Amazon.com).
• Tahminleme: Gelecekteki hisse senedi fiyatları veya talep tahmini.
• Karar Verme: Müşteri hizmetlerinde otomatik çağrı yönlendirme.
• Anomali Tespiti: Bankacılıkta dolandırıcılık (fraud) tespiti.

2. AWS AI/ML Yığını (The AWS AI/ML Stack)

AWS, AI/ML çözümlerini kullanım kolaylığı ve özelleştirme ihtiyacına göre üç katmanlı bir yapıda sunar.

Katman 1: Hazır AI Hizmetleri (SaaS)

Önceden eğitilmiş modeller sunar. ML uzmanlığı gerektirmez, API ile entegre edilir.

• Dil ve Metin Hizmetleri:
  • Amazon Comprehend: Metinden duygu, anahtar kelime ve dil analizi yapar. (Kullanım: Müşteri geri bildirimi analizi).
  • Amazon Polly: Metni doğal konuşmaya (ses) çevirir.
  • Amazon Transcribe: Konuşmayı (ses) yazıya döker (Speech-to-Text).
  • Amazon Translate: Gerçek zamanlı ve toplu dil çevirisi yapar.
• Görüntü ve Arama Hizmetleri:
  • Amazon Rekognition: Resim ve videolarda nesne, yüz, metin ve aktivite tanır. (Kullanım: Kimlik doğrulama, içerik moderasyonu).
  • Amazon Kendra: Kurumsal belgeler içinde NLP (Doğal Dil İşleme) destekli akıllı arama motoru.
  • Amazon Textract: Belgelerden (el yazısı veya matbu) metin ve tablo verilerini çıkarır. (OCR'dan daha gelişmiştir).
• Sohbet ve Kişiselleştirme:
  • Amazon Lex: Sesli ve yazılı chatbotlar (sohbet botları) oluşturmayı sağlar. (Amazon Alexa'nın teknolojisidir).
  • Amazon Personalize: Kullanıcı verilerine dayalı kişiselleştirilmiş ürün/içerik önerileri sunar.

Katman 2: ML Hizmetleri (PaaS)

Model geliştirmek isteyen ancak altyapı yönetmek istemeyenler içindir.

• Amazon SageMaker AI: Model oluşturma, eğitme ve dağıtma (deploy) süreçlerinin tamamını yöneten tam kapsamlı bir hizmettir.
  • Avantajları: Veri bilimciler için IDE, analistler için kodsuz (no-code) arayüzler sunar. MLOps süreçlerini otomatikleştirir. Altyapı AWS tarafından yönetilir.

Katman 3: ML Çerçeveleri ve Altyapı (IaaS)

Tam kontrol ve derin uzmanlık gerektiren, özelleştirilmiş model geliştirme katmanıdır.

• Altyapı: ML için optimize edilmiş Amazon EC2 instance'ları (yüksek GPU/CPU gücü). SageMaker'dan farklı olarak sunucu yönetimi tamamen kullanıcıdadır.
• Çerçeveler (Frameworks): PyTorch, TensorFlow, Apache MXNet gibi popüler kütüphaneler desteklenir.

3. Üretken Yapay Zeka (Generative AI)

Geleneksel ML tek bir göreve odaklanırken, Üretken AI yeni içerikler (metin, görsel, kod) oluşturabilir.

• Derin Öğrenme (Deep Learning - DL): İnsan beynini taklit eden sinir ağlarını (neural networks) kullanır.
• Temel Modeller (Foundation Models - FMs): Devasa veri setleriyle eğitilmiş, birçok farklı göreve uyarlanabilen geniş kapsamlı modellerdir.
  • LLM (Large Language Models): İnsan dilini anlamak ve üretmek için özelleşmiş FM türüdür.

AWS Üretken AI Araçları

1. Amazon Bedrock:
   • Tanım: Amazon ve diğer sağlayıcıların (AI21, Anthropic, Cohere vb.) Temel Modellerine (FM) tek bir API üzerinden erişim sağlayan tam yönetilen (serverless) hizmettir.
   • Kullanım: Altyapı yönetmeden hızlıca GenAI uygulamaları geliştirmek için idealdir.
2. Amazon SageMaker JumpStart:
   • Tanım: SageMaker içinde, önceden eğitilmiş açık kaynaklı modellerin bulunduğu bir merkezdir.
   • Kullanım: Modelleri özelleştirmek, ince ayar (fine-tuning) yapmak ve kendi kontrolünüzdeki altyapıya dağıtmak için kullanılır.
3. Amazon Q:
   • Q Business: Şirket verilerinizle (wiki, belgeler, kod) entegre çalışan, çalışanlar için yapay zeka asistanı.
   • Q Developer: Yazılımcılar için kod önerileri, hata ayıklama ve güvenlik taraması yapan asistan.

4. Veri Analitiği

Veri analitiği, ham verinin işlenerek anlamlı içgörülere (insight) dönüştürülmesi sürecidir. Veri analitiği sadece raporlama için değildir; aynı zamanda başarılı bir Yapay Zeka (AI) projesinin temelidir. AI modelleri "Çöp Girerse, Çöp Çıkar" (Garbage In, Garbage Out) prensibiyle çalışır. Eğer modele hatalı veya eksik veri verirseniz, hatalı kararlar veren bir AI elde edersiniz.

Bu yüzden önce Veri Analitiği kullanarak verilerimizi inceler, hataları tespit eder ve temizleriz. Tertemiz hale gelen bu veri (Clean Data), daha sonra AI modellerini eğitmek için "yakıt" olarak kullanılabilir.

Veri analitiği ile temizlenip anlamlı hale getirilen veriler, sadece yapay zeka modellerini beslemek için kullanılmaz. Eğer bir AI projemiz yoksa, bu verileri Veri Analistleri ve İş Birimleri inceler.

Analistler bu verileri kullanarak:

• Şirketin geçmiş performansını raporlar,
• Hatalı giden süreçleri tespit eder,
• Ve yöneticilerin stratejik kararlar (bütçe, yatırım, yeni ürün vb.) almasını sağlar.

ETL Süreci (Extract, Transform, Load)

Verinin analize hazır hale gelmesi için şu aşamalardan geçmesi gerekir:

1. Extract (Çekme): Veriyi kaynaktan alma.
2. Transform (Dönüştürme): Veriyi temizleme, formatlama ve standartlaştırma.
3. Load (Yükleme): Veriyi hedef sisteme (Veri Ambarı vb.) kaydetme.

5. AWS Veri Pipeline Hizmetleri

ETL'yi verimli ve tekrarlanabilir kılan otomatik "montaj hatları"dır. AWS, entegre hizmetler (örneğin, Glue, Kinesis) ile kendi boru hatlarınızı kurmanızı sağlar.

A. Veri Alım (Ingestion)

(Not: Bu aşama ETL'deki Extract ile karıştırılmamalıdır. Ingestion, veriyi sadece 'eve getirmektir'. Henüz işleme veya temizleme yapılmaz, veri ham haliyle S3 gibi bir havuza dökülür.)

• Amazon Kinesis Data Streams: Gerçek zamanlı veri akışlarını (sensörler, loglar) yakalar.
• Amazon Data Firehose: Akış verilerini yakalayıp saniyeler içinde S3 veya Redshift gibi depolama alanlarına teslim eder (Near-real-time).

B. Veri Depolama (Storage)

• Amazon S3 (Data Lake): Yapılandırılmamış (resim, video, log) veya yapılandırılmış her türlü veriyi sınırsız ölçekte saklar.
• Amazon Redshift (Data Warehouse): Yapılandırılmış verileri (tablolar) saklamak ve SQL ile analiz etmek için kullanılan veri ambarıdır.

C. Veri Kataloglama ve İşleme

• AWS Glue: Tam yönetilen, sunucusuz ETL hizmetidir. Veriyi hazırlar, temizler ve dönüştürür.
  1. Extract (Çekme): Veriyi kaynaktan alma.
  2. Transform (Dönüştürme): Veriyi temizleme, formatlama ve standartlaştırma.
  3. Load (Yükleme): Veriyi hedef sisteme (Veri Ambarı vb.) kaydetme.
• AWS Glue Data Catalog: Verilerinizin nerede olduğunu ve şemasını tutan merkezi meta veri deposudur.
• Amazon EMR: Hadoop, Spark gibi büyük veri çerçevelerini kullanarak çok büyük verileri işlemek için kullanılır.

D. Veri Analizi ve Görselleştirme

• Amazon Athena: S3'te duran veriler üzerinde, sunucu kurmadan doğrudan SQL sorgusu atmanızı sağlar.
• Amazon QuickSight: İş zekası (BI) aracıdır. Grafikler ve interaktif panolar (dashboard) oluşturur. (Geçmişe bakış)
• Amazon OpenSearch Service: Log analizi ve uygulama izleme için kullanılan arama ve görselleştirme motorudur.

Hızlı Referans Tablosu