Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

TDD Web Application #9

Open
8 tasks
alisafaya opened this issue Feb 21, 2021 · 5 comments
Open
8 tasks

TDD Web Application #9

alisafaya opened this issue Feb 21, 2021 · 5 comments

Comments

@alisafaya
Copy link
Member

alisafaya commented Feb 21, 2021

TDD Web sitesi

TDD sitesi, ve icinde bulunacak araclar tdd.ai altinda bulunacak. Bunun icin EC2 acilmis durumda ve Taner gelistirmeye baslamistir.

Alt moduller:

  • Datasets explorer
  • Servis registeration API
  • Corpora exploration tool
  • NLP Pipeline arayuzu
  • Tokenization arayuzu
  • Timeline Tool arayuzu
  • Dictionaries arayuzu
  • Arayuz Turkce dil konfigurasyonu

Screenshot from 2021-01-29 16-16-47

@alisafaya
Copy link
Member Author

Taner'in onerdigi mimariyle ilerleyecegiz:

Tdd için statik sayfalardan oluşan temel içeriğimiz durağan olarak kök dizinde kalabilir. Bu sayfalarda değişiklik yalnızca bir paydaşın eklenmesi-çıkarılması olur, başka bir iş yapmaya gerek olmayacak.

blog.tdd.ai diye bir subdomainde WP çalıştırıp çeşitli yazarların buraya blog yazıları yazmalarını sağlayabiliriz. Popüler bilim yazıları hakkında tecrübeli bir gazetecinin de içerik eklemesi için Sertaç Hanımlar görüşmüş. Dolayısıyla bu blog tarafının WP ile organize edilmesi (yönetici, editör, yazar vb.) daha kolay olacaktır. WP tarafına bu kullanıcıların daha aşina olduğunu da teyit etmiştik.

dataset sorgularını başlı başına bir servis olarak düşünmeliyiz. Buraya gelen kullanıcılar her alandan olabilir. Buradaki registration yalnızca veri indirmede gerekli olacağı için blog veya ana sayfadan tamamen bağımsız olacak zaten. bu servisi dataset.tdd.ai sudomaininde tutabiliriz.

arayüzden sunacağımız araçları tools.tdd.ai subdomaninde tutabiliriz. burada limitli bir cevap döndüreceğimiz için görece sınırlı bir instance işimizi görecektir.

api servislerine gelen istek sayısının fazla olacağını ve uzun vadede ücretli servislere dönüşeceğini planlıyoruz. benim araçlar arasında en fazla istek gelen servis postagger sayfasına oluyor; tdd için de benzer bir durum olacaktır diye düşünüyorum. dolayısıyla
1- araçlara giden ve
2- doğrudan api üstünden cevap dönen
iki ayrı instance ile durumu uzun süreli yönetebilir bir şekilde tutabiliriz. api.tdd.ai web araçlarına cevap döner, proapi.tdd.ai doğrudan yanıt döndürüp authentication ile çalışır.

sözlükler için dictionary.tdd.ai subdomainini kullanabiliriz. burada birden fazla sözlük, ters dizim sözlüğü, imla denetleyicisi ile çeşitli sözlük listelerinde sorgu yapan araçlar çalışabilir.

dil derlemlerini corpus.tdd.ai altında cqpweb ile sunmak en kolayı. dil derlemlerinin sunması gereken dağılım, eşdizimlilik, sıralama, sıklık, alt derlem üretme vb. çok sayıda işlev var. bunları baştan yazmaya emek ve zaman harcamaya gerek yok.

graph.tdd.ai altında da modelleri görselleştirebileceğimiz araçları barındırabiliriz.

Peki neden böyle bir mimari öneriyorum:
1- Farklı instancelara erişimi kontrol altında tutabiliriz. Birliket çalıştığımız öğrencilerin zaman içinde değişeceğini göz önünde tutup yetkilerini işe/servise değil tek bir instance'a göre belirlemek daha kolay.

2- Daha küçük, kredimizi verimli kullanacak instanceslar ile ilerlememize olanak verir. Free Tier yapılar bile bazı servislere (örneğin ana sayfaya) yeterli olur.

3- Tek bir instanceda herşeyi tutup bu instance'ı sürekli yukarı ölçeklendirmek zorunda kalmayız. Minik işlerin toplamda büyük bir hacim üretmesinin önüne geçmiş oluruz.

@alisafaya
Copy link
Member Author

alisafaya commented Mar 17, 2021

Authentication servisi canlida auth.tdd.ai adresi altinda calisiyor. Bu authentication server'i tum subdomainler icin kullanilacak, bu sekilde kullanicilarimizin servislere ayri ayri kayit olmasina gerek olmayacak.

Simdilik kullanicilardan kayit olurken istedigimiz bilgiler bunlar:

  • Email
  • Name
  • Password

Bir de Affiliation eklenebilir, baska ne tur bilgiler isteyelim? @denizyuret @tanerim

Ayrica, bu servis icin birkac task daha var:

  • Registeration arayuzu
  • Login arayuzu
  • Account activation email servisinin eklenmesi
  • Servisin tekrar kurulumu (baska bir server'e tasinilmasi halinde) ve diger servislerin entegrasyonu icin gerekli dokumantasyonun hazirlanmasi

cc @nazyuksek

@denizyuret
Copy link

denizyuret commented Mar 18, 2021 via email

@tanerim
Copy link

tanerim commented Mar 18, 2021 via email

@alisafaya
Copy link
Member Author

alisafaya commented Mar 21, 2021

update: Authentication servisindeki email verification isini hallettim.

Bu arada bunu gecici olarak gmail'den aldigim bir adres ile cozuyorum. ama ileride domainden gelen bir email adresiyle yapmamiz gerekecek.

Su an soyle bir email geliyor:

Screenshot from 2021-03-22 00-10-21

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

6 participants