<div dir="ltr">Generally it's good not to have all the data one works with checked into version control.<div><br></div><div>Actually currently <i>no</i> data is checked into version control. When you install BigBang you have to run the collect_mail scripts before getting anything out of the notebooks.</div><div><br></div><div>If there's a project that uses BigBang for extensive analysis of data from a single source, then it's probably best to keep that as a fork and have it update from the core repository.</div><div><br></div><div>What I'm wondering now is whether all, some, or none of the Summer School notebooks should make it in as is. Currently there are many near-duplicate notebooks in the examples/ directory, along with a lot of other stuff from previous uses of the software.</div><div><br></div><div>Some hard work that's going to need to happen soon is pruning and standardizing the stuff in that directory. Along the way we should come up with code quality guidelines and standards for new notebooks.</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Aug 16, 2016 at 11:23 AM, Niels ten Oever <span dir="ltr"><<a href="mailto:niels@article19.org" target="_blank">niels@article19.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Hi Sebastian,<br>
<br>
We can include the ICANN data, and soon we should also be able to<br>
introduce IETF data :)<br>
<br>
Cheers,<br>
<br>
Niels<br>
<span class=""><br>
<br>
Niels ten Oever<br>
Head of Digital<br>
<br>
</span>Article 19<br>
<a href="http://www.article19.org" rel="noreferrer" target="_blank">www.article19.org</a><br>
<br>
PGP fingerprint    8D9F C567 BEE4 A431 56C4<br>
                   678B 08B5 A0F2 636D 68E9<br>
<div class="HOEnZb"><div class="h5"><br>
On 08/16/2016 12:31 PM, Sebastian Benthall wrote:<br>
> Many of the new notebooks from the DMI Summer School are designed to<br>
> work with a subset of ICANN email data having to do with human rights.<br>
><br>
> Ideally, what gets included in the core BigBang repository is easy for<br>
> people to started with. That's why all the other notebooks have used<br>
> just a few SciPy mailing lists.<br>
><br>
> I'm wondering whether we should include the ICANN data in the core<br>
> BigBang repository.<br>
><br>
> I don't think there's a privacy issue with that, though maybe somebody<br>
> else might have a reason to object.<br>
><br>
> It would also be a strong signal that BigBang is now intended to be used<br>
> to analyze Internet governance, not just open source communities.<br>
><br>
> Thoughts?<br>
><br>
> - s<br>
<br>
</div></div></blockquote></div><br></div>