data structure

2018/10/9 Assignment 2.1 – CS 242 – Illinois Wiki https://wiki.illinois.edu/wiki/display/cs242/Assignment+2.1 1/3 /  Home /  Assignments  Wang, Ren­Jay ,   Kim, Yongjin    08, 2018 Assignment 2.1 Assignment 2.1 ­ Extending your web scraper Overview This week, you will be expanding on the data you scraped from last week to include several important new features. Being the superstar senior software engineer that you are, you have decided that although your work last week was impeccable, there are still some features you can add to make it more presentable. Specifically, the new requirements you would like to add are: 1. Analysis ­ you want to be able to answer some meaningful questions about your data 2. API Creation ­ you want the public to have access to your data 3. Visualization ­ you want your data to be understandable via some graphs and charts (Extra Credit) Read the sections below for more detail! Part 0 : External JSON support We have provided a test JSON file, which stores the relevant data for actors and movies, but not for the edges. Here is the data file: data.json. Your job is to be able to parse this JSON file into your graph structure into both vertices and edges and be able to use it for each of the following 2 parts. This will allow us to test your code in section. Part I : Data Analysis You have a client! Write code to help him answer the following questions. Be sure to include graphs/charts/scatterplots along with the code you write to support your answer. Who are the “hub” actors in your dataset? That is, which actors have the most connections with other actors? Two actors have a connection if they have acted in the same movie together. Is there an age group that generates the most amount of money? What does the correlation between age and grossing value look like? You are also encouraged to perform your own analysis on your data, and may receive bonus points for interesting and/or well presented analysis. Note that you should be using the programming language you used last week for this part of the Programming Language Continue working in the same language that you used last week, unless your moderator last week told you to switch languages. The one exception is for data visualization ­ see below for more details. Non­Functional Web Scraper If you were not able complete the web scraping from last week, you may use the data file in Part 0 (data.json). We have done our best to make this dataset as clean as possible; however, if you choose to use this data, it is up to you to work around any missing data or formatting issues you encounter. You will also need to compute the edges and their weights yourself. Copying Code Remember that you must cite any code snippets that you copy (from books, StackOverflow, etc). Remember, at least 80% of the code you turn in must be your own code.