C# ile Spider (Crawler - Web Örümcek) Örneği Bölüm 2: C# İle Access komutları

Tekrar merhaba. İşten güçten fırsat bulup da oturup iki satır yazı yazamaz oldum. Sitede gezip de umduğunu bulamayanlardan şimdiden özür dilerim. Lafı fazla uzatmadan
konumuza giriş yapalım: Maksadımız C# dili ile Access komutlarını kullanmak. Öncelikle şunu belirteyim. Baştan programı yazarken çok büyük çaplı bişey tasarlamadığım için access veritabanını kullandım. Dolayısıyla performans kaybı kaçınılmaz oldu. Ancak access yerine SQL ya da daha güçlü bir veritabanı kullanırsanız çok daha performanslı bir sistem kurmuş olursunuz. C# ile daha önce Access bağlantısı kurmadıysanız buyrun burdan devam edelim.

Öncelikle bir veritabanı dosyası tasarlamalıyız. Benim basit olarak tasarladığım dosya şu şekilde:


Gördüğünüz gibi 4 tane temel tablomuz var. Tabloların ne anlama geldiklerinden kısaca bahsedelim: Gelen tablomuz, birinci bölümde bahsettiğimiz düzenli ifadelerin, html sayfasına uygulanması sonucunda sayfadan elde ettiğimiz linklerin listesini tutar. Yani bir anlamda, programımızın GEZECEĞİ linkleri tutan tablodur. Giden tablosu da sitemizin GEZDİĞİ linkleri tutan tablodur. Siteler tablomuz ise, programımızın içinde veri arayacağı siteleri tutar. Ürünler tablomuz ise, sitelerin gezilmesi sonucu bulunan ürünleri tutan tablomuzdur.

Dilerseniz, tabloların içeriklerini de gösterelim:


Alanların anlamlarını program içinde zaten anlayacağımız için, alanların açıklamasına şu anda girme gereği görmüyorum. Şimdi işin programcı tarafını ilgilendiren tarafına giriş yapalım. Bu veri tabanı dosyasını sistemimize entegre etmekle işe başlayalım isterseniz. Yapacağımız işlemler aslında çok basit. Visual Studio aslında işin çoğunu bizim yerimize yapar. Yine de adım adım göstermekte fayda var diye düşünüyorum:



Bu aşamada Next ya da ileri diyerek devam ediyoruz. Bir sonraki sayfadan da NEW CONNECTION düğmesini tıklayarak ilerliyoruz.


Access veri tabanı kullanacağımız için Microsoft Access DataBase File seçerek Continue ya da Devam diyoruz.


Hazırladığımız access dosyasını Browse ya da Gözat düğmesi ile buluyoruz. Test Connection diyerek bağlantımızı da test ettikten sonra tamam diyoruz.


Son olarak da kullanmak istediğimiz view ve tabloları seçerek yolumuza devam ediyoruz.

Proje klasörümüzde app.config dosyamıza baktığımızda, visual studio'nun bizim için bir bağlantı metni oluşturduğunu da görebiliriz.


Evet, artık bir veritabanımız da hazır olduğuna göre, artık sorgulama, veri girme vs. veritabanı komutlarına gelebiliriz.

Öncelikle C# 'ın veritabanı erişimi için kullandığı mimariden biraz bahsedelim. Bir veriye erişmeniz için elinizde bir bağlantı metninizin bulunması gerekmektedir. Bizim projemizdeki bağlantı metninin adı : spider.Properties.Settings.linklerbag şeklindedir. Config dosyanıza gittiğinizde bu bağlantının yanında Connection String diye bir bölüm olduğunu görürsünüz. Bu bölüm işte bizim bağlantı metni olmaktadır. Proje içinde her seferinde her seferinde kocaman bir bağlantı metni yazmaktansa, config dosyanıza bir kez ekleyip daha sonra verdiğiniz isimle bu metni çağırmanız daha yararlı olacaktır.

Artık örneklerle konuyu açıklayalım. Diyelim ki programın taramasını istediğimiz bir site var ve biz bu siteyi programa tanıtmak istiyoruz. Aşağıdaki menüden site ekle düğmesine tıkladığımızda :


karşımıza istediğimiz siteyi ekleyebileceğimiz bir yapı gelir:


Ürün linklerini arama kriteri kısmında bu bilgiyi elle girmelisiniz şeklinde bir uyarı var. Sebebi yaptığım bir kaç deneme sonucu tırnak (') karakterinin C# için özel bir karakter olmasından dolayı, veritabanına veri atarken sorun yaşamamdı. Çözmek için de çok uğraşmadım. Neyse, gerekli alanları doldurup, site ekle düğmesine bastığımızda arka planda gerçekleşen olaylar daha önemli:

private static OleDbConnection bag = new OleDbConnection();
bag.ConnectionString = spider.Properties.Settings.Default.linklerbag;
bag.Open();
OleDbCommand ekle = new OleDbCommand();
ekle.Connection = bag;
ekle.CommandText = "insert into siteler (anasayfa,regex2,regex3,tara) values ('" + textBox1.Text + "','" + textBox3.Text + "','" + textBox4.Text + "','0')";
ekle.ExecuteNonQuery();

Evet, işte ilk verimizi veritabanımıza attık. Siteler tablomuzun anasayfa alanına, textbox1.text, regex2 alanına textbox3.text, regex3 alanına textbox4.text, tara alanına da 0 değerini atadık. Bunu yaparken yaptığımız işlemlere bakalım:
1) Öncelikle bir bağlantı tanımladık: OleDBConnection sınıfından türettiğimiz bag nesnesi.
2) Tanımladığımız bağlantının nereye bağlanacağını söyledik. Az önce bahsettiğim config dosyasındaki bağlantı metninin adının burda kullanıldığına dikkatinizi çekerim. Eğer config dosyasında böyle bir tanımlama yapmamış olsaydık, uzun uzun bağlantı metnimizi yazacaktık.
3) Komut sınıfından bir nesne tanımladık ve nereye bağlanacağını söyledik. OleDBCommand sınıfından türettiğimiz ekle nesnesi de bu işi görmektedir. Komuta nereye bağlanacağını belirtmezseniz, çalışma esnasında program hata verecektir.
4) Ekle nesnesinin çalıştıracağı sorguyu yazdık ve son olarak da Ekle.ExecuteNonQuery dedik. Böylece veritabanımıza ilk verimizi atmış olduk.

Tablomuza veriyi ekledikten sonra veriyi listelemeyi nasıl yaptığımızı da görelim.

private static OleDbConnection bag = new OleDbConnection();
bag.ConnectionString = spider.Properties.Settings.Default.linklerbag;
bag.Open();
OleDbCommand liste = new OleDbCommand();
liste.Connection = bag;
liste.CommandText = "select anasayfa,tara from siteler";
OleDbDataReader cek = liste.ExecuteReader();
while (cek.Read())
{
listBox1.Items.Add(cek[0].ToString());
if (cek[1].ToString().Equals("0"))
listBox2.Items.Add(cek[0].ToString());
else listBox3.Items.Add(cek[0].ToString());
}

Evet, ilk select sorgumuzu yazdık bile. Daha önce söylediğim gibi bir bağlantı tanımladık ve adına bag dedik. bag private static olarak tanımlandı çünkü aslında kendisi bir global değişken. Burda önemli nokta bag.connectionstring ibaresi. Az önce bahsettiğim config dosyasındaki bağlantı metnini burda kullanmış olduk. Liste adında bir tane komut nesnesi tanımladık. komut.connection = bag diyerek de tanımladığımız komutun nereye bağlanacağını, nereyi sorgulayacağını söylemiş olduk. cek adında bir okuyucu nesnesi tanımlayarak liste.executereader() fonksiyonu ile sorgu sonucu oluşan veriyi bu nesneye tanımlamış olduk.

Burda önemli olan veriyi nereye attığımız değil, veriyi nasıl aldığımız. Yani kilit isim OleDBCommand sınıfından türemiş olan liste nesnesi. "Select anasayfa,tara From Siteler" diyerek siteler tablosundaki tüm sitelerin anasayfa url'lerini ve taranıp taranmadıklarına işaret eden tara alanlarını alıp gelen bir sorgu yazdık ve bunu da liste.commandtext diyerek OLEDBCOMMAND nesnemize atamış olduk. OleDBcommand nesnesinin birden çok kullanışlı fonksiyonu vardır. Örneğin; liste.executeNonQuery diyerek, hiç bir veri dönüşünü beklemeyebilirdik. liste.executeDataset() diyerek sorgu sonucu oluşan veriyi bir datasete aktarabilirdik. keza liste.executeDatatable diyerek bir DataTable nesnesini sorgunun döndürdüğü veriyle doldurabilirdik.

Programda kullandığımız bir diğer Sql sorgusu da silmedir. Örnek olarak şunu verebiliriz:

OleDbCommand sil = new OleDbCommand();
sil.Connection = bag;
sil.CommandText = "delete * from gelen where ID ='" + url + "'";
sil.ExecuteNonQuery();

Bu sorgunun yaptığı iş de gelen tablosundan, ID'si belirtilen url olan kaydın silinmesidir. Where kısmından sonrasını yazmazsınız Sql size hiç birşey sormadan gelen tablosunu tamamen boşaltacaktır.

Programda kullandığımız bir komut değil de ama sql sorgusu olarak bir de update komutu var. Kullanımına örnek verecek olursak:
OleDbCommand guncelle = new OleDbCommand();
guncelle.Connection = bag;
guncelle.CommandText = "update gelen set ID = 'zburakguven.blogspot.com' where ID = '"+ url +"'";
guncelle.ExecuteNonQuery();

Update komutu da hepinizin bildiği gibi bir ve/veya birden fazla kaydı güncellemek için kullanılır. yukarıdaki sorgu ID'si belirtilen url olan bir kaydın değerini zburakguven.blogspot.com olarak değiştirmektedir. Where kısmından sonrasını yazmazsanız tüm ID alanı zburakguven.blogspot.com olarak değiştirilir.

Evet, veri işleme kısmını da bu şekilde anlatmaya çalıştıktan sonra geriye artık Thread yapımızı anlatmak kalıyor. Onu da en kısa zamanda yayınlamaya çalışacağım. Programın kodlarını isterseniz, yorum kısmına mail adresinizi bırakmanız yeterli. Son bölümde görüşünceye dek hoşçakalın...