database

Assignment 2.0 ­ Scraping the Web  Overview  This week, you will be scraping Wikipedia and storing information about actors and movies into  a data structure of your design. You will also write a graph library and a function for converting  your data to a graph. Then you will store the relevant information as a JSON file so you can load  it again without re­scraping the website. Finally, you should be able to provide basic information  from your data structure through console output.  Programming Language  Unlike past weeks, this week, you should implement your project in a programming  language which you have not used. For more information, see #Programming Language  Selection.  Motivation and Goals  There are many methods of data collection in the rapidly­evolving world of information and  technology, but web scraping is among the most popular and accurate. In layman’s terms, web  scraping is the act of using bots to extract specific content and data from a website. Web  scraping is especially useful because it has the ability to convert non­tabular, nonsensical and  poorly constructed data into something both in format and in content. Web scraping is also  championed for its ability to acquire previously­inaccessible data. However, web­scraping is not  about mere acquisition­­ it can also assist you to track changes, analyze trends and keep tabs  on certain patterns in specific fields.  The purpose of this particular assignment is to introduce you to the real­world application of  web­scraping tech, as well as get you thinking about the creative process that accompanies the  tasks you are assigned. There will be a number of directives that you will have to solve both in  this assignment as well as when you graduate and break into industry­standard workplaces, so  keep this in mind as you work on this assignment. Web scraping may be the focus of this  particular assignment, but it very well may be a potential, real­life approach you use in the  future.  For this practice assignment, we will be using Wikipedia as our web source, for a number of  reasons. Although Wikipedia provides database dumps for everything, it is the best source to  use for this exercise because not only does it have fairly up­to­date information, it is also legal to  scrape Wikipedia without ramifications or complicated restrictions.  Programming Language Selection  Whatever language you choose, you should use an IDE of your choice (suggestions of Ruby &  Python below):  ● Python  Consider using   PyDev for Eclipse  or   PyCharm (from the makers of IntelliJ)  ● Ruby  Consider using   a plugin for eclipse  or   RubyMine (from the makers of IntellIJ)  ● Javascript  You can also select a language you would like to learn (ideally something not too obscure), and  contact your moderator or the TAs to ensure that this language is appropriate to use.  Language Selection  http://www.python.org/ http://pydev.org/ http://pydev.org/ http://www.jetbrains.com/pycharm/ http://www.jetbrains.com/pycharm/ http://www.ruby-lang.org/en/ http://stackoverflow.com/questions/524021/preferred-ruby-plugin-for-eclipse http://stackoverflow.com/questions/524021/preferred-ruby-plugin-for-eclipse http://www.jetbrains.com/ruby/ http://www.jetbrains.com/ruby/ https://www.javascript.com/ Be aware that the TAs are not familiar with every programming language out there, so