Webes Adatbányászat

Az internetről összegyűjtött többletinformáció mindig előnyhöz juttathat bennünket egy-egy területen. Munkámban bemutatom, hogy viszonylag egyszerű ilyen információhoz hozzájutni, és ez a folyamat automatizálható is. A Vatera aukciós portálról egy crawler segítségével összegyűjtöttem a mobiltelefonos aukciós oldalon található információkat. Az adatgyűjtés után manuálisan meghatároztam 3500 hirdetés csoportját. Ezt követően adatbányászati algoritmusok segítségével döntési táblát generáltam, amely 95%-os pontossággal sorolta be megfelelően a mobiltelefonokat a megfelelő csoportba. A döntési táblákat az eredmények átvizsgálása után manuálisan tovább pontosítottam, így 99%-os pontosságot sikerült elérnem. Ezt követően a crawler által elmentett adatokat elemeztem. Az elemzés során törekedtem arra, hogy csak olyan eszközöket használjak, amelyek mindenki számára elérhetőek. A megszerzett információkat legális eszközök segítségével, a ráfordított munkaórák bérén kívül mindenféle többletköltség nélkül értem el. Az aukciók elemzése kezd egyre fontosabbá válni, különösen, hogy olyan aukciós házak is megjelentek már, amelyek mind virtuális, mind a valós világbeli fizetőeszközökkel párhuzamosan használhatóak. Ezzel az elemzéssel egy közösség preferenciáit tudhatjuk meg, így gyorsabban, pontosabban reagálhatunk a piacon, mert ismerjük az adott közösség igényeit, reakcióit. De mi lesz akkor, ha már nem csak a közösség, hanem az egyén preferenciáit is pontosan ismerni fogjuk? ------------------------------------------------------- The information collected from the internet may give us an advantage in certain cases. In my work, I’m going to show that getting such information is relatively easy and this process can be automated. I collected the information about mobile phone auctions with a web crawler from auction site Vatera. I manually assigned the groups of 3500 ads after the data collection, then generated a decision table using data mining algorithms that classified the phones with 95% accuracy. I classified the decision tables further after the examination of the results, and achieved 99% accuracy. Then, I analyzed the data gathered by the crawler. In the analysis I used tools that are available to everyone. I acquired these information with only legal tools without additional costs except the human resource cost. The analysis of the auctions is getting more and more important, particularly because there appeared auction houses where one can pay both by virtual and real money. We get to know the preferences of a community by this analysis, so we can react faster and more precisely to the changes of the market, because we know the need and reactions of the community. But what will happen if we will know not even just the preferences of a society, but the individuals too?