Sunday, May 28, 2017

Pazarlama Faaliyetlerine Test Mühendisleri Nasıl Destek Verebilir

Test mühendisleri, geliştirilen sistemin / yazılımın ( = ürünün) tüm yeteneklerine hâkim oldukları için gerek fuarlardaki tanıtımlarda, gerek şirkete misafir olan potansiyele müşterilere yapılan sunumlarda, gerekse tanıtım araçlarının oluşturulmasında şirketlerin satış / pazarlama / iş geliştirme bölümlerine ciddi destekler verebilirler.

Aşağıdaki liste bu noktada aydınlatıcı olabilir:



  • Demo Hazırlığı
    • Geliştirilen ürünün demosunun, potansiyel müşteri gruplarına yönelik verilerini içererek hazırlanması,
    • Demo senaryosunun oluşturulması,
    • Demonun gerçekleştirilmesi  
  • Sunum Hazırlığı
    • Demo, fuar, müşteri ziyareti gibi amaçlara yönelik olarak ürünün genel olarak tanıtımını içeren sunum dosyasının hazırlanması,
    • Sunumda 5N1K sorularına yönelik cevaplar içerilmesi,
    • Potansiyel müşterinin hangi ihtiyaçlarına cevap verdiğinin net olarak belirtilmesi,
  • Pazarlama Araçları Hazırlığı
    • Hazırlanacak broşür için ürünün ekran görüntülerinin alınması,
    • Ekran görüntüleri ile ilişkili olarak ürünün yeteneklerinin listelenmesi,
    • Ürünün uyumlu olduğu standartların belirtilmesi,
    • Ürünün, sektördeki diğer ürünlere göre karşılaştırmalı performansının ölçülmesi,
    • Ürünün demo videosunun hazırlanması.

Wednesday, May 24, 2017

Gereksinim Anlaşılabilirlik Toplantısının Amacı

Her ne kadar gereksinim analizi çalışmaları sonucunda ortaya çıkan gereksinimler mümkün mertebe atomik hale getirilse ve okuyan herkesin aynı şeyi anlaması sağlanmaya çalışılsa da kimi gereksinimler özellikle farklı ekip üyeleri (yazılım mühendisi  - test mühendisi - kalite uzmanı - müşteri temsilcisi) tarafından farklı anlaşılabilmektedir.

Bu nedenle, özellikle gereksinim analizinin hemen ardından, müşteri tensilcilerinin de katılımıyla, (özellikle sistem seviyesi) hangi gereksinimde tam olarak neyin amaçlandığının net bir şekilde tüm ilgili ekip üyeleri tarafından anlaşılması çok önemlidir.

Bu amaçla yapılan toplantıların adı Gereksinim Anlaşılırlık Toplantısı veya Gereksinimleri Anlama Toplantısı'dır.


Tuesday, May 23, 2017

Test Mühendisliğinde Hangi Dokümanlar Üretilir, Amaçları Nedir

Kimi standartlarda ek olarak birkaç başka doküman olsa da, tüm standartlar ve metodolojiler tarafından istenen test dokümanları şunlardır:


  • Sistem Test Planı (STP)
    • Sistem seviyesinde, tüm alt-bileşenleri ve donanımları göz önüne alarak sistem seviyesi gereksinimlerin nerede, ne zaman, hangi testlerle, hangi ortamda, kimlerin katılımı ile doğrulanacağının planlandığı dokümandır.
  • Sistem Test Tanımları (STT)
    • STP'de belirlenen testlerin, detaylı test adımlarının yazıldığı dokümandır.
  • Sistem Entegrasyon Doğrulama Planı (SEDP)
    • Sistem Altsistem Tasarım Tanımları ve Arayüz Gereksinimleri Tanımları dokümanlarında belirtilen arayüz gereksinimlerinin nerede, ne zaman, hangi testlerle, hangi ortamda, kimlerin katılımı ile doğrulanacağının planlandığı  ve sistemi oluşturan modüllerin hangi sıra ile entegre edileceğinin belirtildiği dokümandır.
  • Sistem Entegrasyon Test Tanımları (SETT)
    • SEDP'de belirtilen testlerin detaylı test adımlarının yazıldığı dokümandır.
  • Yazılım Test Plan(lar)ı (YTP)
    • Yazılım seviyesi gereksinimlerin nerede, ne zaman, hangi testlerle, hangi ortamda, kimlerin katılımı ile doğrulanacağının planlandığı dokümandır.
    • Her bir alt-sistem (modül) için ayrı bir yazılım test planı hazırlanabileceği gibi, kimi projelerde tek bir tane YTP de hazırlanabilir.
  • Yazılım Test Tanımları (YTT)
    • YTP'de belirlenen testlerin detaylı test adımlarının yazıldığı dokümandır.
  • Test Raporu (Sistem / Sistem Entegrasyon / Yazılım) (STR - SETR - YTR)
    • Kurulum aşamasından başlayarak hangi işlemlerin yapıldığı, hangi testlerin koşturulduğu, hangi hataların çıktığının belirtildiği dokümandır.


Ek olarak projenin doğasına göre aşağıdaki dokümanlar da hazırlanabilir:
  • Test Mühendisliği Ana Planı
  • Yazılım Doğrulama ve Geçerleme Planı
  • Kabul Testi Tanımları
  • Test Araçları / Simülatör Geliştirme ve Doğrulama Dokümanı
  • Birim ve Birim Entegrasyon Test Tanımları

Monday, May 22, 2017

Test Hazırlık Gözden Geçirme: Neden Yapılır

Özellikle kabul testleri öncesinde, testlere başlayıp başlamama kararının verildiği toplantıdır.
Bazı şirketlerde dahili testler öncesinde de bu tarz toplantılar yapılabilir.



Bu toplantılarda incelenen ana durumlar şunlardır:

  • Test edilecek ürünün test dokümanları tamamlandı, gözden geçirildi ve bu dokümanlar kullanılarak en az bir kere baştan sona test yapıldı mı,
  • Gereksinim, tasarım ve/veya toplantı tutanaklarına işlenmiş maddeler ilgili dokümanlara yansıtıldı mı ve test dokümanları bunlara göre güncellendi mi,
  • Önceki testlerde çıkan hatalar düzeltildi mi,
    • Şirket için yapılan bu testlerde çıkan toplam hata sayısı genelde müşteriye söylenmez, söylenmesi de gereksizdir,
  • Testlerde bulunan fakat düzeltilememiş hatalar var mı,
    • Bunu belirtmek özellikle gereklidir. Çünkü halihazırda, sistemde var olduğunu bildiğiniz bir hata varsa fakat bunu müşteriye önceden söylemezseniz, kabul testi sırasında bu hatanın ortaya çıkması kabule engel bir duruma sebep olabilir.
    • Bilinen fakat henüz düzeltilememiş hatalarla teste başlayıp başlamama kararı, müşteri ile birlikte verilir.
  • Test ortamı kurulumu yapıldı mı ve test ortamı izole edildi mi,
    • Bazı projelerde müşteri, test ortamının tamamen baştan kurulması sürecini de görmek isteyebilir.
  • Testlerin süresi,
  • Test öncesinde müşteriye oryantasyonun nasıl ve nerede verileceği.
Proje ihtiyaçlarına göre bu listeye eklemeler de yapılır.

Sunday, May 21, 2017

Kabul Testi Nedir, Nelere Dikkat Etmek Gerekir



Gerek kamu gerekse özel sektöre yapılıyor olsun, yazılım projeleri bir nihai kabul makamı için geliştirilir. Yani bu projenin bütçesini oluşturan ve ödeme yapacak bir makam için geliştirilir.
Bu makamın görevlendirdiği ekip tarafından bir sözleşme hazırlanır, ihale süreci başlatılır ve bu sözleşmeyi karşılayacak sistem / yazılımı geliştirmeye tâlip şirketler ile görüşüldükten sonra sözleşme nihai haline gelir.

İhale sürecinin sonunda ihaleyi kazanan şirket, sözleşme isteklerine göre ürünü geliştirdikten ve dahili testlerini yaptıktan sonra, müşteri, müşteri temsilcisi ve/veya danışmanlık / müşavir firma katılımı ile, geliştirilen ürünün sözleşme isterleri ile uyumluğunun doğrulandığı kabul testi yapılır.

Kabul testi için, doğrudan sözleşme isterlerini doğrulayan bir Kabul Test Dokümanı kullanılabileceği gibi, müşteri onayı alınması durumunda, Sistem Test Dokümanı da kullanılabilir.

Bu aşamada dikkat edilmesi gerekenler:

  • Kabul testinde kullanılacak test dokümanının, sözleşme isterlerinin tamamını test ettiğinden emin olunmalıdır,
  • Test öncesinde, hatta Test Hazırlık Gözden Geçirme toplantısı öncesinde, müşteri temsilcileri ile ayrı bir toplantı yapıp, test dokümanının detayları, sözleşme maddelerinin hangi testlerle nasıl karşılandığı sunulmalıdır. Böylece, müşteri temsilcileri test dokümanına hâkim olacak, olası eksikler erken aşamada ortaya çıkmış olacak, müşterinin istediği ek testler varsa test dokümanına eklenebilecek ve müşteri temsilcileri sözleşmenin her maddesinin testten geçtiğini göreceği için içleri rahat olacaktır.
    • Bu aşamada, testler öncesinde senaryo akışı anlatılmalı ve üzerinden mutabık kalınmalıdır.
  • Kabul testine gelen kabul heyetinin (müşteri temsilcileri) asıl işlerinin yazılım geliştirme olmadığını düşünürsek, yazılacak test adımlarının yeterince açıklayıcı olması, test ettiği isterin ne olduğu açık olarak belirtilmelidir.

Thursday, May 18, 2017

Bir Regresyon Testi Yaklaşımı Önerisi

Regresyon testi, tanımı gereği, test edilmiş ve doğrulanmış bir ürüne yeni bir özelliğin eklenmesi ve/veya var olan özelliklerdeki bir hatanın düzeltilmesi sonrasında, testten geçmiş ürünün bu değişikliklerden olumsuz etkilenmediğini doğrulamak amacıyla yapılır.

Adı geçen bu değişiklikler kullanıcı arayüzü üzerindeki kozmetik değişiklikler olabileceği gibi, bir modülün çalışma şekline müdahale eden bir değişiklik de olabilir. Dolayısıyla yapılan bu değişikliğin halihazırdaki ürünü bozmadığından emin olmak gerekir.

Bir projenin yaşamı süresince ortaya çıkabilecek bazı regresyon testi ihtiyaçlarını ve neler yapılması gerektiğini aşağıdaki şemada örneklendirdim:



Peki nasıl bir test yaklaşımı ile regresyon testlerini planlamak gerekir?
Geliştirilen ürünün yapısına bağlı olarak farklı yaklaşımlar ortaya çıkacaktır. Ancak genel bir yaklaşım olarak şöyle bir yöntem izlenebilir (burada verilen yaklaşımlar örnektir, kendi proje ihtiyaçlarınıza göre çeşitlendirebilirsiniz):



Kozmetik Değişiklik


Ne Yapıldı?


Yazım Hatası Düzeltildi


Resim, İkon, Konum Değiştirildi


Font Değiştirildi

Nasıl Doğrulanacak?


Ürünü farklı platformlarda çalıştır (İşletim sistemi, internet gezgini, mobil cihaz)


Yapılan değişikliğin istendiği gibi göründüğünü doğrula


Yapılan değişikliğin aynı kullanıcı arayüzündeki diğer nesneleri bozmadığını doğrula
Yetenek Üzerinde Değişiklik


Ne Yapıldı?


Kullanıcı Arayüzünde Bir Nesne Silindi / Eklendi


Modüller Arası Arayüze Yeni Yetenek Eklendi / Varolan Silindi


Bir sınıfın çalışma mantığı değiştirildi


Veritabanı sorguları değiştirildi


Rapor şablonu değiştirildi


Kullanılan donanımlar değiştirildi


...

Nasıl Doğrulanacak?


Kullanıcı arayüzünü test et, istenen sonuçta olduğunu doğrula


Kullanıcı arayüzünü çağıran diğer arayüzleri test et, istenen sonuçta olduğunu doğrula


Arayüzü kullanan modülleri test ederek, iletişimde bulunan modüllerin istenen girdi ve çıktıları sağladığını doğrula


Değişiklik yapılan sınıfı birim test ile doğrula, bu sınıfı kullanan diğer sınıfları birim entegrasyon testi ile doğrula


Veritabanına atılan sorguyu gözden geçir


Ekran arayüzü üzerinden test yaparak veritabanına atılan sorguda doğru parametrelerin kullanıldığını doğrula


Farklı sayıda girdiler kullanarak farklı sayıda sayfa içeren raporlar üret, içeriğin istenen sonuçları içerdiğini doğrula


Donanıma özel olarak geliştirilmiş yeteneklerin olması durumunda, ilgili yeteneğin testlerini baştan sona tekrarla
Yaklaşım



Test mühendisi, deneyimine dayanarak hangi yeteneklerin etkilenmiş olabileceğinin listesini hazırlar, liste üzerinden tüm ilgili yetenekleri test eder,


Proje ekibi (en az 1 yazılılm mühendisi ve 1 test mühendisi), tasarım ve kod üzerinden etkilenmiş olabilecek yeteneklerin listesini çıkarır, birim seviyesi ve üst seviye testler tekrar edilir,


Test otomasyonu varsa, değişiklikten etkilenen testler güncellenir ve (tercihen, zaman varsa tüm) testler tekrarlanır

Tuesday, March 21, 2017

Test Ortamının Kurulumunu Kim Yapmalı ve Nelere Dikkat Edilmeli




Eğer şirket bünyesinde test ortamı kurulumlarını yapmak için bağımsız bir ekip yoksa, ortam kurulumlarını kimin yapması gerektiği ile ilgili tartışmalar yaşanmaktadır.

Benim görüşüm, bu işi kesinlikle test mühendislerinin yapması. Çünkü, nasıl ki geliştirilen uygulama bağımsız bir test mühendisi tarafından doğrulanmaktadır, geliştirilen doküman da bağımsız bir kişi tarafından doğrulanmalıdır. Nihayetinde, ortam kurulumu da bir doküman kullanılarak yapıldığına göre, dokümanda yazılanlar uygulandığında test ortamına kurulan ürünün teste hazır olduğunu doğrulamak gerekmektedir.
(Doküman ile kastedilen sadece Word belgesi değildir; bir veritabanı betiği, kurulum sihirbazı uygulaması, işletim sistemi betikleri, ... de birer dokümandır.)

Kurulum öncesinde ve esnasında dikkat edilmesi gerekenler;

  • Kurulum yapılacak ortamın "temiz" olması; ilgili donanımlar üzerinde önceki kurulumlardan kalan herhangi bir ürün olmaması. Bunu gerçekleştirmenin en kolay yolu, donanımlara işletim sistemi kurulduktan sonra sabit disklerin birer imajını alarak her kurulum öncesinde bu imajın sabit disklere geri yüklenmesidir.
  • Kurulum ortamında kullanılacak doküman ve yazılımların konfigürasyon yönetim aracı üzerinden alınması. 
  • Kurulumu yapılacak ürünlerin doğru versiyonlarının kurulduğundan emin olunması.
  • Kurulum dokümanında yazılan kurulum adımları uygulanırken her bir adımın anlaşılır (diğer kişiler tarafından da anlaşılır) bir şekilde yazıldığının doğrulanması.
  • Kurulum adımı gerçekleştirilirken İşlem'in tam olarak yapılabildiği ve Beklenen Sonuç'un gözlemlenebildiği görülmeli.
  • Herhangi bir adımın atlanmaması.
  • Kurulum sonrasında "duman testi" uygulayarak kurulumu yapılan uygulamaların çalışır olduğunun görülmesi.

Test Verisi Havuzu Oluşturmanın Faydaları ve Nelere Dikkat Edilmeli



Test verisi havuzu oluşturmak en az iki açıdan faydalıdır:

  • Testleri hazırlarken farklı test sınıflarına yönelik test durumları oluşturmak,
  • Testleri gerçekleştirirken uygun test verisi bulma zamanından tasarruf etmek.
Aşağıda farklı test sınıflarına yönelik olarak test verisi türlerini listeledim.Test altındaki uygulamanın arayüzlerindeki veri ihtiyacına göre bu liste genişletilebilir.
  • Normal Girdi
    • Metin, resim, ses, video ve diğer tür dosyaların çalışır durumdaki kopyaları.
    • Dosyaların bozuk olmadığından emin olunmalı, böylece, test altındaki uygulamaya bu dosyalar yüklendikten sonra uygulama üzerinden tekrar erişildğinde dosyanın halen çalışır durumda olduğu görülebilmeli. 
  • Hatalı Girdi
    • Dosya uzantıları bilinçli olarak değiştirilerek test altındaki uygulamaya yüklenir.
    • Dosya uzantısına karşı hassas olan uygulamalara sadece doğru uzantılı dosyaların yüklenebildiği doğrulanabilir.
  • Bozuk Dosyalar
    • Dosya içeriği bilinçli olarak bozulur.
    • Dosya içeriğine karşı hassas olan uygulamalara sadece çalışır durumdaki dosyaların yüklenebildiği doğrulanabilir.
  • Sıfır Boyutlu Dosyalar
    • Uzantısı geçerli ama içeriği olmayan sıfır boyutlu dosyalar oluşturularak test altındaki uygulamaya yüklenir.
    • Uygulamanın böyle bir dosya yüklendiğinde herhangi bir hataya neden olmadığı doğrulanabilir.
  • Büyük Boyutlu Dosyalar
    • Uygulamanın dosya yükleme sınırları içinde olmak üzere, (uygulamanın ihtiyacına göre) 10, 50, 100, 500 MB'lık dosyalar hazırlanır.
    • Farklı dosya formatları için birkaç adet dosya hazırlamak iyi olacaktır.
    • Uygulamaya bu dosyaların sorunsuz olarak yüklenebildiği doğrulanabilir.
  • Çok Büyük Boyutlu Dosyalar
    • Bu tür dosyaları kullanmanın amacı, uygulamanın tasarım sınırlarının üzerinde büyük boyutlu dosyalar yüklendiğinde, uygulamanın nasıl davrandığını test etmektir.
    • Herhangi bir dosya boyut sınırı olmayan (sadece depolama ortamının boyutu ile sınırlı olan) uygulamalarda da, dosya yükleme sürelerini ölçmek, çok büyük boyutlu bir dosya yüklenirken sistemin nasıl davrandığını gözlemlemek, birkaç farklı kullanıcı eşanlı olarak bu dosyaları yüklediğinde ne olduğunu gözlemlemek, dosyalar yüklenirken uygulamanın diğer yeteneklerinin kullanılıp kullanılamadığını gözlemlemek gibi pek çok test yapılabilir.
  • Dile Özel Karakterli Dosyalar
    • Geliştirilen uygulamanın hedef kullanıcılarının yerel dilleri ne(karakter setlerine) uygun dosyalar hazırlanır.
    • Örneğin, Arapça karakterler içeren bir metin dosyası uygulamaya yüklenip, uygulamadan geri çağrıldığında dosya içeriğindeki karakterlerin bozulup bozulmadığı doğrulanabilir.
  • Şifreli Dosyalar
    • Yukarıda belirtilen dosya türleri şifreleme yeteneği olan bir araç (7-Zip gibi) kullanılarak şifrelenir.
    • Uygulamaya yüklenen bu dosyalar, uygulamadan geri çağrılıp ilgili şifre girilerek açıldığında şifrenin herhangi bir sebeple bozulmadığı doğrulanabilir.

Monday, March 20, 2017

Sözleşme Aşamasında Test İhtiyaçlarının Belirlenmesi

Yazılım projelerine teklif veren şirketlerin, ihalenin kazanılması durumunda, ne tür test (doğrulama) faaliyetlerini gerçekleştireceklerini bilmeleri, bu faaliyetlerin iş gücü ihtiyaçlarını ve maliyetlerini tahmin edebilmeleri açısından önemli olmaktadır. Bu faaliyetleri bilmek, geliştirme ve kabul aşamalarında ortaya çıkabilecek risklerin de önceden görülebilmesi açısından ayrıca önemlidir. (Bakınız: Test Mühendisliğinde Olası Riskler )



Verilecek teklifin doğru maliyetlendirilebilmesi ve ileride yaşanabilecek sorunları öngörmek amacıyla teklife verilecek cevabın deneyimli bir ekip tarafından hazırlanması gerekmektedir. Bu ekipte test mühendislerinin de olması, aşağıda verilen başlıklardaki konularda test mühendislerinin girdilerini almak açısından gereklidir.

  • Ne Tür Doğrulama İhtiyaçları Bulunmaktadır,
    • Burada temel olarak hangi türde testlerin yapılmasının beklendiği belirlenir. Fonksiyonel, (Dış Sistemlerle) Entegrasyon, Performans (Yük / Stres), Güvenlik, Güvenilirlik, Uygunluk, Platform Bağımsızlık, Uyumluluk, Erişebilirlik, gibi. 
    • Ne tür testlere ihtiyaç duyulacağının bilinmesi personel, uzmanlık, araç / gereç, süre gibi ihtiyaçların tahminine temel teşkil edecektir.
  • Hangi Sahalarda Doğrulama İhtiyacı Vardır,
    • Sadece yüklenici ortamında yapılan bir doğrulama çoğunlukla yeterli olmaz. 
    • Yüklenici ortamında dahili ve fabrika kabul testlerinden sonra, müşterinin ortamında da en az bir seviye doğrulama faaliyetinin olması beklenir.
    • Buna ek olarak müşterinin ön kabul, ara kabul, nihai kabul gibi farklı kabul aşamaları da olacak mı, kaç farklı sahada / ortamda / platformda (hava, kara, deniz araçları) doğrulama faaliyeti olacak, sorularına yanıt bulunması gerekmektedir.
  • Ne Tür Donanımlar / Yazılımlar Üzerinde Doğrulama Yapılması Gerekmektedir,
    • Nihai kullanıcı ortamına en yakın test ortamının kurulabilmesi, ilerde yaşanacak donanım / yazılım uyumsuzluklarını asgariye indirecektir.
    • Bu amaçla (belirlenebildiği kadar) ne tür ve kaç adet sunucu, istemci, ağ donanımları (yük dengeliyici, router / switch, ...) ve mobil cihazlara ihtiyaç duyulacağı belirlenmeli. Ayrıca, bu donanımları müşterinin mi sağlayacağı yoksa şirketin kendisinin mi sağlayacağı belirlenmeli.
    • Hangi tür işletim sistemleri, internet gezginleri, ofis araçları ve diğer 3.taraf yazılımlarına ihtiyaç duyulacağı belirlenmeli.
    • Belirlenen donanım ve yazılımların satın alma mı yoksa kiralama yoluyla mı kullanılacağının belirlenmesi de faydalıdır.
  • Ne Tür Uzmanlık Alanlarına İhtiyaç Vardır,
    • Doğrulaması yapılacak ürün / sistem için ne tür uzmanlık alanlarına ihtiyaç vardır?
    • Bir ürünü / sistemi doğrulayabilmek için o konuyu iyi bilmek gerekmektedir. Doğrulamayı yapacak personelin bu yetkinliği var mıdır, yoksa bu yetkinliği ne kadar sürede kazanabilirler?
  • Ne Tür Test Araçlarına İhtiyaç Duyulması Beklenmektedir,
    • Yapılması beklenen doğrulama faaliyetleri belirlendikten sonra, bu faaliyetlerde kullanılması muhtemel test araçlarının da belirlenmesi faydalı olacaktır.
    • Fonksiyonel test araçları (Ranorex, Selenium, SoapUI, QTP, gibi), performans test araçları (LoadRunner, Jmeter, ....), güvenlik test araçları (OWASP, ...) gibi araçların kullanılma ihtiyacı varsa, bu araçları kullanmayı bilen deneyimli personel var mı, yoksa yetiştirmek ne kadar zaman alır? Dış kaynak kullanımı mümkün mü?
    • Araçların tahmini maliyeti ne kadar olur?
  • Kaç Kişilik Doğrulama Ekibine İhtiyaç Duyulması Beklenmekte,
    • Kaç türde ve seviyede, kaç sahada, ne tür araçlar kullanılarak doğrulama faaliyetlerinin yapılacağı belirlendikten sonra hangi yetkinlikte ve deneyim seviyesinde personele ihtiyaç duyulacağı da belirlenmelidir. 

Thursday, February 23, 2017

TestRail İncelemesi

TestRail bir test yönetim aracı.

Ürünün Web Sitesi: TestRail
Deneme Sürümü (Ücretsiz Üyelik): https://secure.gurock.com/customers/testrail/trial/
Kullanım Kitapçığı: http://docs.gurock.com/testrail-userguide/start

Öne çıkan özellikleri, web üzerinden erişilebiliyor olması, içerdiği alanların konfigüre edilebiliyor olması (yeni alanlar eklenebilmesi) ve hata takip araçları ile entegre olabilmesi.
Özellikle yöneticilerin / liderlerin testlerin ilerleyişini takip edebilmeleri için faydalı. Ayrıca test geliştiricilerinin de düzenli ve hızlı şekilde test oluşturmalarına imkan sağlıyor.

Ben deneme sürümünü kullanma fırsatı yakalabildim, burada yazdığım değerlendirme de bu deneme sürümüne yönelik.
Diğer test yönetim araçları ile arasında bir karşılaştırma yapmadım bu değerlendirmede.

Sonda söyleyeceğimi başta söyleyim:
TestRail, kullanımı ve yönetimi gayet kolay bir araç. Benim, aracın büyük çoğunluğuna hâkim olmam yaklaşık 2 saatimi aldı.
Kullanmaya başlamadan önce ilk olarak "Administration" sekmesinin içeriğini detaylıca kontrol etmekte fayda var, çünkü olmadığını düşündüğüm pek çok özelliğin aslında var olduğunu "Customizations" alt-sekmesinde gördüm.
Kurumunuzun ihtiyaçlarına yönelik olarak test durumlarının içerdiği alanları özelleştirmekten tutun, piyasada yaygın olarak kullanılan hata takip araçlarına entegrasyona kadar pek çok yetenek dahil edilmiş.
Ben sanırım 2 sene önceki bir sürümünü kullanmıştım, pek hoşuma gitmemişti. Fakat şu anki hali gerçekten şaşırttı beni. Gereksinim izlenebilirlik aracı ile entegrasyon da olduğu söylenmiş ama onu deneyemedim.

Bu aracı şirket içinde yaygınlaştırma kararı vermek isteyenlerin, şirketin ilerde ortaya çıkabilecek ihtiyaçlarını da düşünerek gereksinim yönetim araçları ile entegrasyon, raporlama yetenekleri, TestRail'da yazılan testlerin diğer bir uygulamaya aktarılması gibi yetenekleri de sorgulaması faydalı olacaktır.

Olumsuz Tarafları:
- Test adımları içine tablo ekleme biraz karışık olmuş.
- Test durumları içine yeni alanlar eklenebiliyor fakat bu eklenen alan üzerinden rapor alabilme yeteneği (gördüğüm kadarıyla) yok. Örneğin test durumu içine "İlgili Ekran" şeklinde bir alan eklenirse, rapor olarak ' "İlgili Alan" alanı boş olan test durumlarını raporla' veya '"Giriş Sayfası" ekranını test eden test durumlarını listele" şeklinde bir rapor alamadım.
- Oluşturulan testlerin hepsinin nihai hali olduğunu düşünmüşler sanırım. Bir testin henüz geliştirilmesi devam ediyorsa, durumunun taslak olarak belirtilmesi gibi bir yetenek yok. Evet, "Test Runs" oluşturulurken test durumları seçilebiliyor ancak binlerce test durumunun olduğu bir projede, bir test durumu eklerken öncesinde bir süzme yapmak gerekiyor. Süzgeç koymuşlar fakat "Test Case Status" gibi bir alan olmadığından henüz geliştirilmesi bitmemiş bir test durumunu da "Test Runs" içine yanlışlıkla dahil edebiliriz.
- "Overview" sekmesinde, projenin / ürünün kaç tane test olması gerekiyordu, bunların %de kaçını yazdık, test geliştirme açısından ne kadar gerideyiz, gibi sorulara bir cevap veren bir mekanizma göremedim.
- Proje planlama araçları ile bir entegrasyon (gördüğüm kadarıyla) yok.

Olumlu Tarafları:
- En başta, testlerin yazımı ve test koşularının genel durumunu göstermesi açısından faydalı bir ürün. Pek çok firmanın ihtiyacını karşılar nitelikte.

"Todo" Sekmesi
- "Todo" sekmesinde bir kişinin veya tüm ekibin yapması gereken test koşularının listesi verilmiş.
- Test koşularının sonuçlarına (Passed, Failed, Untested, Blocked, Retest) göre filtreleme yapmak da mümkün.

"Milestones" Sekmesi
- "Milestones" sekmesinde projenin iterasyonlarına ait bilgiler giriliyor ve bu iterasyonlara testler dahil ediliyor.

"Test Cases" Sekmesi:
- Test durumları yazılırken test adımlarının hepsi bir alanda, beklenen sonuç(lar) da bir alanda olacak şekilde yazabiliyorsunuz. Ayrıca, standartlarda beklenen "Adım - Beklenen Sonuç" ikilisi şeklinde de test adımları yazılabiliyor.
- Test adımları içine "PrintScreen - CTRL+V" tuş kombinasyoları ile ekran görüntülerini eklemek mümkün. Ayrıca bu ekran görüntüleri hem adım hem de beklenen sonuç alanlarına eklenebiliyor.
- Yine test durumu içine, ekranın sağındaki alandan herhangi bir türde dosya eklemek mümkün.
- Yine "Test Cases" sekmesinde bir test durumunun detayları, hangi test koşularının içinde olduğu, hangi hataların açıldığı ve test durumu üzerinde daha önce yapılan değişikliklerin tarihçesi de görülebiliyor; gayet güzel.
- "Print" düğmesine tıklanarak istenen test durumlarının PDF çıktısı alınabiliyor.

"Test Runs" Sekmesi
- "Test Runs" sekmesinde bir test koşusunda hangi testlerin koşacağı planlanıyor. Bu test koşuları, bir "Test Plan"a dahil edilebiliyor, test planının konfigürasyonu (hangi işletim sistemleri, web gezginleri, donanım tipleri, gibi) ayarlanabiliyor. Güzel bir özellik. Böylece, test koşularının her bir test konfigürasyonunda tekrar edilebilmesi, takip edilmesi ve raporlanması da sağlanmış.
-  Test planlarının görünümü Durum, Aktivite, İlerleme ve Hatalar'a göre ayarlanabiliyor, böylece testin ilerleyişine farklı açılardan bakmak mümkün oluyor.
- Test planlarının raporları farklı ihtiyaçlara göre oluşturulabiliyor. Öyle sanıyorum ki deneme sürümündeki bu rapor sayısı, ücretli TestRail sürümünde çok daha fazladır.



"Reports" Sekmesi
- Bir rapor oluşturulurken ("Reports" sekmesi) hangi tür testler veya hangi test durumları dahil edilecek, hangi test koşularının / test planlarının sonuçları raporlanacak, rapora kimler erişebilir, bu rapor ne zaman ve hangi periyotlarda üretilecek, rapor üretilince kimlere e-posta gönderilsin gibi gayet güzel özellikler içeriyor.

Deneme sürümündeki kullanılabilecek rapor şablonları şöyle:



"Administration" Sekmesi
- Bu sekme, TestRail'ın yönetimi için kullanılıyor. Aşağıda görülen alanlarda ayarlamalar yapılabiliyor.



Thursday, February 16, 2017

Test Mühendisliğinde Olası Riskler ve Alınabilecek Tedbirler

Bir proje / ürün geliştirmesi sürecinde test mühendisliği açısından pek çok risk bulunmaktadır. Aşağıdaki resimde örnek bir risk listesi bulunmaktadır:


Bu liste, proje / ürün bazında daha da detaylandırılabilir.

Test faaliyetlerinden sorumlu lider mühendisin, bu tarz bir risk yönetimi yapmasının faydası, ilerde ortaya çıkabilecek sorunlara karşı önceden hazırlık yaparak (proaktif bir yaklaşım ile) süreci yönetmesidir. Bu risklerin bazısı ürün yaşam döngüsü (SDLC) boyunca hiç gerçekleşmeyebilir de, ancak hazırlıklı olmak her zaman faydalıdır.

Aşağıdaki listeye isteğe bağlı olarak Olasılık ve Etki (Önem) sütunları da eklenebilir. "Risk yönetimi nedir, nasıl yapılır" diye daha detay bilgi arayanlar "IEEE-STD-1540-2001-Risk management" standardına bakabilirler.

Ana Başlık Risk Alınabilecek Eylem
Değişiklik Alanları


Gereksinimlerde / Arayüzlerde Değişiklik - Değişiklik ihtiyacının müşteri (iç müşteri) ile koordine edilmesi,
- Değişiklikten etkilenecek alt ürünlerin (tasarım maddesi, ekran, doküman, testlerin) belirlenmesi,
- Değişikliğin tüm alt ürünlere uygulanması ve gözden geçirilmesi,
- Değişiklikten etkilenen testlerin ve entegrasyon testlerinin yeniden koşturulması.

Testten Geçmiş Modüllerde Kod Değişikliği (Hata düzeltme veya gereksinim / arayüz değişiklikleri olması durumunda)
- Kod değişikliğinin etkilediği fonksiyonların belirlenmesi,
- Bu fonksiyonları doğrulayan testlerin belirlenmesi,
- Testlerin tekrar koşturulması
Test Ortamı Altyapısı


Kurulum Hataları - Kurulum dokümanı / ürünündeki hatanın tespiti,
- Kurulumun tekrarlanması,
- İlgili testlerin tekrar koşturulması.

- Kullanılan kütüphane ve ek uygulamaların versiyonlarının doğru olmasının sağlanması için bu ürünlerin sadece proje kütüphanesinden alınması (bu kütüphane konfigürasyon yönetim uzmanı kontrolünde olmalı).

Donanım Bozulmaları - Bellek, sabit disk gibi OEM parçaların bozulma ihtimaline karşı risk bütçesi belirlenmesi,
- Tedarik sürelerinin göz önüne alınarak test planlamasının yapılması.

Son Kullanıcı Ortamı ile Farklılık - Son kullanıcı / müşteri ortamının detaylı olarak incelenmesi,
- Test ortamının müşteri ortamına göre kurulması,
- Farklılık olması durumunda, farklılıklardan kaynaklanabilecek sorunlara karşı, müşteri ortamında en erken zamanda kontrollerin yapılması.

Yetersiz Donanım Sayısı - Test mühendislerinin ihtiyacından az donanım olması durumunda ve bu donanımın tedarik edilmesi mümkün değilse, test koşturma takviminin buna göre planlanması veya vardiya usulü çalışma,
- Geliştiricilerin hata izolasyon yapabilmeleri için test ortamının bir kopyasının sanal sunuculara kopyalanması veya test ortamı kullanım zamanlarının geliştirici ihtiyaçlarına da uygun olarak planlanması.

Test Sırasında Ortama Dışardan Müdahale Edilmesi - Test ortamına veri / ürün aktarımının konfigürasyon yönetim uzmanı / kalite güvence uzmanı eşliğinde yapılması,
- Test ortamının izole edilmesi (ağ bağlantılarının sökülmesi, gerekirse USB bellek, CD/DVD takılmasının engellenmesi)
Test Faaliyetleri


Test Dokümantasyonunda Hatalar - Test dokümanlarının mutlaka lider mühendis ve geliştiriciler tarafından gözden geçirilmesi.

Test Mühendislerinin Hataları - Testlerin tasarlanması, yazılması ve koşturulması süreçlerinin lider mühendisin yakın kontrolü altında yapılması.

Test Mühendislerinin Yetkinliklerinin Az Olması - Proje süresince kullanılacak ürün, standartlar ve teknikler açısından test mühendislerinin bir eksiği varsa, bunların şirket içi / dışı eğitimlerinin proje başında planlanması ve yeterli bir süre öncesinde verilmesi.

Testlerin Bütçesini / Süresini Aşması - Gecikmeler olabileceği düşünerek, doğrulama faaliyetine en erken aşamada (gereksinim analiz aşamasında) başlanması,
- İterasyonlar bazında testlerin koşturulması,
- Test planından sapma olması durumunda, fazla çalışma veya ek personel takviyesi ile gecikmenin (ileride daha fazla sapmaya neden olmasına izin vermeden) ortadan kaldırılması.

Testlere Geç Başlanmış Olması - Geliştirici bilgisayarında, test mühendisi tarafından testin yapılıp, kodun “commit”lenmesi öncesinde mümkün olduğu kadar çok hatanın tespit edilmesi ve düzeltilmesi, böylece hata akışı yaşam döngüsünün süresinin azaltılması.

(Çeşitli sebeplerle testlere geç başlanması gerekmişse)
- Teslimat tarihlerinin ötelenmesi,
- Eğer öteleme imkanı yoksa, ek destek personeli ile testlerin paralel koşturulması (tabii bunun için yedek bir test ortamı olması gerekecek),
- Vardiya usulü ile çalışma (bu yöntemin çok sayıda olumsuz tarafı var).

Test - Gereksinim - Fonksiyon / Ekran İzlenebilirliğinde Eksikler - Her bir gereksinim, tasarım maddesi, müşteri isteği, toplantı tutanacağı maddesi ve ekranların en az bir test tarafından kapsandığının periyodik olarak kontrol edilmesi.
Müşteri / Son Kullanıcı Tarafı


Koordinasyon Eksiği - Proje sistem mühendisi / ürün sorumlusunun müşteri temsilcileri ile haftalık koordinasyon toplantıları yapması, ilerleme ve gecikmeler hakkında erken zamanda bilgi vermesi,
- Son kullanıcılar ile yakın iletişim içinde bulunarak hatalı / zor kullanılan yeteneklerin, kullanıcıda bir hassasiyet oluşmaya başlamadan ortadan kaldırılması.

Test / Kabul İçeriğinin Eksik Aktarılmış Olması - Her bir test / kabul aşamasında, tüm projenin kabule temel teşkil eden yeteneklerinden nelerin test edileceği kabul heyetine aktarılmalı,
- Kabule girecek müşteri temsilcilerinin ürün yeteneklerin hakim olmalarının sağlanması için test öncesinde oryantasyon verilmesi.

Kabul Ekibinin Değişmesi - Kabul ekibinin değişmesi durumunda oryantasyonların tekrar edilmesi,
- Oryantasyondan kaynaklanacak gecikmelerin teslimat süresine eklenmesi gerektiğinin müşteri ile koordine edilmesi.

Sunday, November 1, 2015

Pazar Fırsatları

İş modeli geliştirirken bir yöntem olarak Fasıllara Göre İthalat - İhracat verileri kullanılabilir. Bakınız: Dış Ticaret İstatistikleri
Burada "İstatistiksel Tablolar ve Dinamik Sorgulama >  İstatistiksel Tablolar > Fasıllara Göre Dış Ticaret" kısmına bakmak gerekli.

2013, 2014 ve 2015 (Ekim'e kadar)'deki verileri bir karşılaştırma olarak aşağıda veriyorum.
Tabii, bu fasıllarda ülke açısından net bir zarar olmasının altındaki yapısal sorunlar / hammadde eksikliklerinin neler olduğunu araştırmak gerekli. 
Yine de ürün inovasyonu peşinde olanlara faydası olabilir.


Net Fark hesaplanırken İhracat rakamından İthalat rakamı çıkarılmıştır. Fiyatlar $1000 ile çarpılmalıdır.



2013 2014 2 015

http://www.tuik.gov.tr/PreTablo.do?alt_id=1046 Net Fark x 1000$ Net Fark x 1000$ Net Fark x 1000$

TOPLAM -99.854.158 -84.566.959 -49.021.383





1 Canlı hayvanlar -332.984 -113.170 -144.157
2 Etler ve yenilen sakatat 589.446 653.059 291.082
3 Balıklar, kabuklu hayvanlar, yumuşakçalar ve suda yaşayan diğer omurgasız hayvanlar 334.897 436.509 310.541
4 Süt ürünleri, yumurtalar, tabii bal, diğer yenilebilir hayvansal menşeli ürünler 502.490 539.981 293.095
5 Diğer hayvansal menşeli ürünler (kıl, kemik, boynuz, fildişi, mercan, bağırsak, vb.) 15.499 14.445 3.841
6 Canlı ağaçlar ve diğer bitkiler, yumrular, kökler ve benzerleri, kesme çiçekler ve süs yaprakları -15.512 -9.897 2.972
7 Yenilen sebzeler ve bazı kök ve yumrular 713.377 616.513 465.782
8 Yenilen meyvalar ve yenilen sert kabuklu meyvalar 3.546.130 3.911.265 2.371.057
9 Kahve, çay, paraguay çayı ve baharat 12.601 16.885 -23.744
10 Hububat -1.824.459 -2.213.351 -1.270.911
11 Değirmencilik ürünleri, malt, nişasta, inülin, buğday gluteni 1.019.425 1.027.344 751.810
12 Yağlı tohum ve meyvalar, muhtelif tane, tohum ve meyvalar,sanayiide ve tıpta kullanılan bitkiler, saman ve kaba yem -1.386.136 -2.006.293 -1.270.232
13 Lak, sakız, reçine ve diğer bitkisel özsu ve hülasalar -33.626 -33.223 -21.963
14 Örülmeye elverişli bitkisel maddeler, tarifenin başka yerinde belirtilmeyen veya yer almayan bitkisel ürünler 10.108 348 1.426
15 Hayvansal ve bitkisel katı ve sıvı yağlar, yemeklik katı yağlar, hayvansal ve bitkisel mumlar -407.408 -957.035 -619.616
16 Et, balık, kabuklu hayvanlar, yumuşakçalar veya diğer su omurgasızlarının müstahzarları 93.291 91.150 50.918
17 Şeker ve şeker mamulleri 526.408 542.300 301.738
18 Kakao ve kakao müstahzarları 100.323 78.275 -45.895
19 Hububat, un, nişasta veya süt müstahzarları, pastacılık ürünleri 1.322.779 1.434.810 903.061
20 Sebzeler, meyvalar, sert kabuklu meyvalar ve bitkilerin diğer kısımlarından elde edilen müstahzarlar 1.712.517 1.991.366 1.485.008
21 Yenilen çeşitli gıda müstahzarları (kahve hülasaları, çay hülasaları, mayalar, soslar, diyet mamaları, vb.) 223.103 190.794 80.280
22 Meşrubat, alkollü içkiler ve sirke 29.956 23.629 35.253
23 Gıda sanayiinin kalıntı ve döküntüleri, hayvanlar için hazırlanmış kaba yemler -1.373.281 -1.167.626 -755.179
24 Tütün ve tütün yerine geçen işlenmiş maddeler 398.868 508.428 284.233
25 Tuz, kükürt, topraklar ve taşlar, alçılar, kireçler ve çimento 2.348.350 2.123.448 1.396.627
26 Metal cevherleri, cüruf ve kül 516.962 246.863 104.463
27 Mineral yakıtlar, mineral yağlar ve bunların damıtılmasından elde edilen ürünler, bitümenli maddeler, mineral mumlar -49.192.352 -48.777.575 -25.947.544
28 İnorganik kimyasallar, kıymetli metal, radyoaktif element, metal ve izotopların organik-anorganik bileşikleri -393.791 -272.649 -105.864
29 Organik kimyasal ürünler -4.715.601 -5.299.008 -3.272.557
30 Eczacılık ürünleri -3.396.877 -3.622.616 -2.440.648
31 Gübreler -1.393.600 -1.319.642 -876.302
32 Debagatte ve boyacılıkta kullanılan hülasalar, tanenler, boyalar, pigmentler,vb, vernikler, vb, macunlar, mürekkepler -1.201.535 -1.351.889 -848.988
33 Uçucu yağlar ve rezinoitler, parfümeri, kozmetik veya tuvalet müstahzarları -435.693 -420.265 -322.212
34 Sabunlar, yüzey-aktif organik maddeler, yıkama-yağlama müstahzarları, mumlar,bakım müstahzarları, dişçilik müstahzarları 44.842 140.011 58.653
35 Albüminoid maddeler, değişikliğe uğramış nişasta esaslı ürünler, tutkallar, enzimler -330.557 -370.868 -232.286
36 Barut ve patlayıcı maddeler, pirotekni mamulleri, kibritler, piroforik alaşımlar, ateş alıcı maddeler -31.213 -31.760 -23.642
37 Fotoğrafçılıkta veya sinemacılıkta kullanılan eşya -188.584 -174.928 -104.731
38 Muhtelif kimyasal maddeler (biodizel, yangın söndürme maddeleri, dezenfektanlar, haşarat öldürücüler, vb.) -1.568.904 -1.682.580 -1.149.363
39 Plastikler ve mamulleri -8.272.126 -8.053.508 -5.180.674
40 Kauçuk ve kauçuktan eşya -580.263 -259.128 -241.127
41 Ham postlar, deriler (kürkler hariç) ve köseleler -482.774 -280.043 -77.341
42 Deri-saraciye eşyası, eyer-koşum takımları, seyahat eşyası, el çantaları vb mahfazalar, hayvan bağırsağından mamul eşya -126.209 -127.617 -139.374
43 Kürkler ve taklit kürkler, bunların mamulleri 167.243 138.545 78.996
44 Ağaç ve ahşap eşya, odun kömürü -838.832 -634.326 -612.431
45 Mantar ve mantardan eşya -6.931 -6.493 -4.331
46 Hasırdan, sazdan veya örülmeye elverişli diğer maddelerden mamuller, sepetçi ve hasırcı eşyası -11.028 -8.781 -5.144
47 Odun veya diğer lifli selülozik maddelerin hamurları, geri kazanılmış kağıt veya karton (döküntü, kırpıntı ve hurdalar) -616.089 -648.617 -523.224
48 Kağıt ve karton, kağıt hamurundan, kağıttan veya kartondan eşya -1.951.208 -1.966.991 -1.188.095
49 Basılı kitaplar, gazeteler, resimler ve baskı sanayiinin diğer mamulleri, el ve makina yazısı metinler ve planlar -82.096 -84.706 -58.332
50 İpek -40.797 -41.409 -23.778
51 Yapağı ve yün, ince veya kaba hayvan kılı, at kılından iplik ve dokunmuş mensucat -160.809 -161.755 -106.816
52 Pamuk, pamuk ipliği ve pamuklu mensucat -1.060.612 -1.146.887 -419.217
53 Dokumaya elverişli diğer bitkisel lifler, kağıt ipliği ve kağıt ipliğinden -235.986 -255.399 -183.154
54 Sentetik ve suni filamentler, şeritler ve benzeri sentetik ve suni dokumaya elverişli maddeler -399.874 -588.930 -387.266
55 Sentetik ve suni devamsız lifler -793.605 -707.608 -442.587
56 Vatka, keçe ve dokunmamış mensucat, özel iplikler, sicim, kordon, ip, halat ve bunlardan mamul eşya 121.951 152.414 106.932
57 Halılar ve diğer dokumaya elverişli maddelerden yer kaplamaları 2.003.378 2.173.118 1.394.604
58 Özel dokunmuş mensucat, tufte edilmiş dokunabilir mensucat,dantela,duvar halıları, şeritçi ve kaytancı eşyası, işlemeler 409.663 381.521 214.393
59 Emdirilmiş, sıvanmış, kaplanmış veya lamine edilmiş dokunabilir mensucat, dokunabilir maddelerden teknik eşya -7.961 -34.593 -10.187
60 Örme eşya 1.235.260 1.225.777 770.583
61 Örme giyim eşyası ve aksesuarı 8.305.763 9.039.249 5.909.815
62 Örülmemiş giyim eşyası ve aksesuarı 3.851.873 4.349.708 3.096.974
63 Dokunabilir maddelerden hazır eşya, takımlar, kullanılmış giyim ve dokunmuş diğer eşya, paçavralar 2.024.085 2.033.197 1.254.830
64 Ayakkabılar, getrler, tozluklar ve benzeri eşya, bunların aksamı -269.649 -234.636 -110.993
65 Başlıklar ve aksamı (şapka, kasket, koruyucu başlıklar vb.) -32.092 -34.038 -25.453
66 Şemsiyeler, güneş şemsiyeleri, bastonlar, iskemle bastonlar, kamçılar, kırbaçlar ve bunların aksamı -27.940 -27.075 -27.862
67 Hazırlanmış ince ve kalın kuş tüyleri ve bunlardan eşya, yapma çiçekler, insan saçından eşya -33.423 -40.191 -30.818
68 Taş, alçı, çimento, amyant, mika veya benzeri maddelerden eşya 796.079 829.292 556.205
69 Seramik mamulleri 524.073 461.059 268.716
70 Cam ve cam eşya 176.202 185.908 191.715
71 Kıymetli veya yarı kıymetli taşlar, kıymetli metaller, inciler, taklit mücevherci eşyası, metal paralar -9.247.271 -403.983 6.252.407
72 Demir ve çelik -8.769.644 -8.331.717 -6.305.554
73 Demir veya çelikten eşya 3.391.007 3.738.606 2.128.775
74 Bakır ve bakırdan eşya -2.253.299 -2.142.867 -1.365.884
75 Nikel ve nikelden eşya -151.176 -173.113 -130.616
76 Alüminyum ve alüminyumdan eşya -873.181 -953.023 -821.846
78 Kurşun ve kurşundan eşya -207.743 -233.857 -134.083
79 Çinko ve çinkodan eşya -501.412 -583.154 -405.637
80 Kalay ve kalaydan eşya -56.614 -62.188 -37.640
81 Diğer adi metaller (tungsten, molibden, tantal, magnezyum, kobalt, bizmut, kadmiyum, vb.), sermetler, bunlardan eşya -120.096 -120.477 -88.903
82 Adi metallerden aletler, bıçakcı eşyası ve sofra takımları, adi metallerden bunların aksam ve parçaları -587.630 -583.935 -347.350
83 Adi metallerden çeşitli eşya (kilit, kasa, mobilya tertibatı, vb.) -25.314 31.250 -68.807
84 Kazanlar, makinalar, mekanik cihazlar ve aletler, nükleer reaktörler, bunların aksam ve parçaları -17.163.277 -14.512.917 -9.675.319
85 Elektrikli makina ve cihazlar, ses kaydetme-verme, televizyon görüntü-ses kaydetme-verme cihazları,aksam-parça-aksesuarı -8.213.979 -8.256.284 -6.864.196
86 Demiryolu vb hatlara ait taşıtlar ve malzemeler, bunların aksam-parçaları, mekanik trafik sinyalizasyon cihazları -400.554 -457.450 -202.848
87 Motorlu kara taşıtları, traktörler, bisikletler, motosikletler ve diğer kara taşıtları, bunların aksam, parça, aksesuarı 192.782 2.327.517 -319.296
88 Hava taşıtları, uzay taşıtları ve bunların aksam ve parçalar -1.683.360 -2.426.510 -2.653.403
89 Gemiler ve suda yüzen taşıt ve araçlar 241.048 817.374 284.924
90 Optik, fotoğraf, sinema, ölçü, kontrol, ayar, tıbbi, cerrahi alet ve cihazlar, bunların aksam, parça ve aksesuarı -3.896.642 -4.162.005 -2.872.791
91 Saatler ve bunların aksam ve parçaları -315.383 -298.520 -205.053
92 Müzik aletleri, bunların aksam, parça ve aksesuarı -28.119 -23.606 -18.174
93 Silahlar ve mühimmat, bunların aksam, parça ve aksesuarı 242.727 349.361 124.243
94 Mobilyalar, yatak takımları, aydınlatma cihazları, reklam lambaları, ışıklı tabelalar vb, prefabrik yapılar 1.338.051 1.382.007 926.255
95 Oyuncaklar, oyun ve spor malzemeleri, bunların aksam, parça ve aksesuarı -574.308 -601.473 -328.474
96 Çeşitli mamul eşya (hijyenik havlu, bebek bezi, kalem, çakmak, fermuar, fırça vb.) 464.046 506.561 326.899
97 Sanat eserleri, kolleksiyon eşyası ve antikalar -34.980 -50.962 -24.824
99 Kişisel eşyalar, deniz ve hava taşıtlarına verilen kumanya ve malzeme (yakıtlar hariç) -44.365 268.302 44.249