Derlenen diller varken pythonun en hızlı olmamaz mesala 3d olayına gireceksen kesınlıkle python yanlış bir seçim yada cpu ile hallay çekeceksen aşırı yanlış bir seçim olay ne kadar büyürse o kadar yavaşlıyor python bkz: Inkspace Gımp
abi yazdığının çoğuna katılsam da 'olay ne kadar büyürse o kadar yavaşlıyor python' cümlesine katılmıyorum çünkü python ile devasa uygulamalar yazabilirsin, çok yüksek hızda çıktılar üretebilirsin, veya gerçekten çok detaylı hesaplar yapabilirsin, tek problem ne kadar işlemciyi yoracağın. Eğer 1000x1000 iki matrisi çarpacaksan numpy ile python kullanırsan kötü bi seçim olmaz.
biyoenformatik uygulamalarini inceleyin, cogunun python oldugunu gorursunuz.. Milyonlarca 500kb text dosyalarin okunup, istatistik olarak yanyana gelecek olanlarini bulmaya calisirlar dna dizilimi yapan uygulamalar. Paralel programlamada marifet, her node icin uygun veri miktari ve islem gucunu, algoritmanizda iyi ayarlayabilmektir. Cogu yerde, yanlis sistem tasarimi nedeniyle, cpu degil disk I/O icin beklersiniz..
500kb mi? Abi bize gelen 1 sample 100 mb falan, onu alıp belli analiz tool'larından geçiriyoruz, çoğu C bu toolların ve python bindingleri yok, dolayısıyla subprocess yapmamız gerekiyor. Uygulamayı bi kere debugladım, C uygulaması olmasına rağmen %80'lik vakti io alıyor. Daha sonra bu uygulamanın çıktısını alıp python'da başka kütüphanelere sokuyoruz, onlar da C ile yazılmış kütüphaneler. İşimizi hızlandıracak tek şey elimizdeki bütün C uygulama ve kütüphanelerini Python ile sıfırdan yazıp hadoop'ta mapreduce yaparak kullanmak, çoğu thread'li çalışmasına rağmen io'da vakit kaybediyor. Bi kere io ile vakit harcayıp, sonra bütün işini map'leyip işlemciyi dibine kadar sömürüp reduce'layacaksın. (üstte bahsedilen iş genelde dna'nın dizilenmesi ile ilgili, bazı analizleri hadoop'a portlamayı hayal etmek bile zor geliyor bana, biyoenformatik firmasında çalışsam bile biyoenformatik algoritmalar benden üç dört gömlek büyük geliyor)
Benim bahsettigim 2010-2012 yilindan kalma.. Dna dizilim cihazi dnayi parcalayip duvara firlatiyor, firlatilan parcalarin resmini cekip dizilimleri cikariyor, sonra da istatistiksel olarak birlestirmeye calisiyor.. Size gelen veri dizilimden gecmis veridir buyuk ihtimalle.
bulut türkiyedeki biyoenformatik camiasında büyük bir no-no. Buluttayım diyorsan kötü iş yapıyorsun demektir. (bende ilk başta inanamadım, yeni yeni inanmaya başladım, böyle birşey harbiden varmış cidden)
Derlenen diller varken pythonun en hızlı olmamaz mesala 3d olayına gireceksen kesınlıkle python yanlış bir seçim yada cpu ile hallay çekeceksen aşırı yanlış bir seçim olay ne kadar büyürse o kadar yavaşlıyor python bkz: Inkspace Gımp
abi yazdığının çoğuna katılsam da 'olay ne kadar büyürse o kadar yavaşlıyor python' cümlesine katılmıyorum çünkü python ile devasa uygulamalar yazabilirsin, çok yüksek hızda çıktılar üretebilirsin, veya gerçekten çok detaylı hesaplar yapabilirsin, tek problem ne kadar işlemciyi yoracağın. Eğer 1000x1000 iki matrisi çarpacaksan numpy ile python kullanırsan kötü bi seçim olmaz.
biyoenformatik uygulamalarini inceleyin, cogunun python oldugunu gorursunuz.. Milyonlarca 500kb text dosyalarin okunup, istatistik olarak yanyana gelecek olanlarini bulmaya calisirlar dna dizilimi yapan uygulamalar. Paralel programlamada marifet, her node icin uygun veri miktari ve islem gucunu, algoritmanizda iyi ayarlayabilmektir. Cogu yerde, yanlis sistem tasarimi nedeniyle, cpu degil disk I/O icin beklersiniz..
500kb mi? Abi bize gelen 1 sample 100 mb falan, onu alıp belli analiz tool'larından geçiriyoruz, çoğu C bu toolların ve python bindingleri yok, dolayısıyla subprocess yapmamız gerekiyor. Uygulamayı bi kere debugladım, C uygulaması olmasına rağmen %80'lik vakti io alıyor. Daha sonra bu uygulamanın çıktısını alıp python'da başka kütüphanelere sokuyoruz, onlar da C ile yazılmış kütüphaneler. İşimizi hızlandıracak tek şey elimizdeki bütün C uygulama ve kütüphanelerini Python ile sıfırdan yazıp hadoop'ta mapreduce yaparak kullanmak, çoğu thread'li çalışmasına rağmen io'da vakit kaybediyor. Bi kere io ile vakit harcayıp, sonra bütün işini map'leyip işlemciyi dibine kadar sömürüp reduce'layacaksın. (üstte bahsedilen iş genelde dna'nın dizilenmesi ile ilgili, bazı analizleri hadoop'a portlamayı hayal etmek bile zor geliyor bana, biyoenformatik firmasında çalışsam bile biyoenformatik algoritmalar benden üç dört gömlek büyük geliyor)
Benim bahsettigim 2010-2012 yilindan kalma.. Dna dizilim cihazi dnayi parcalayip duvara firlatiyor, firlatilan parcalarin resmini cekip dizilimleri cikariyor, sonra da istatistiksel olarak birlestirmeye calisiyor.. Size gelen veri dizilimden gecmis veridir buyuk ihtimalle.
Umut Çakıray sizin donanim altyapinizin duzenlenmesi gerek.. Hersey bulutta mi, kendi sistemleriniz var mi?
bulut türkiyedeki biyoenformatik camiasında büyük bir no-no. Buluttayım diyorsan kötü iş yapıyorsun demektir. (bende ilk başta inanamadım, yeni yeni inanmaya başladım, böyle birşey harbiden varmış cidden)