A Tour of Go Exercise: Web Crawler

問題

すでに実装されているクローラを改造して、同じURLを重複してとってくることなく並列で動作するようにする。

リンク

https://go-tour-jp.appspot.com/concurrency/10

解答

A Tour of Goの前のページの例に倣ってtime.Sleepで無理やり停止して終了するのを待つようにしてあるけど、これは一般的なやり方なんですかね? スレッドの終了まで待って関数からリターンするみたいなやり方はないんでしょうか。
あと、URLを重複してクロールするのを防ぐためにfakeResultLockしたままUnlockしてないけどこれもリソース管理的によくない気がする。

package main

import (
    "fmt"
    "sync"
    "time"
)

type Fetcher interface {
    // Fetch returns the body of URL and
    // a slice of URLs found on that page.
    Fetch(url string) (body string, urls []string, err error)
}

// Crawl uses fetcher to recursively crawl
// pages starting with url, to a maximum of depth.
func Crawl(url string, depth int, fetcher Fetcher) {
    // TODO: Fetch URLs in parallel.
    // TODO: Don't fetch the same URL twice.
    // This implementation doesn't do either:
    if depth <= 0 {
        return
    }
    body, urls, err := fetcher.Fetch(url)
    if err != nil {
        fmt.Println(err)
        return
    }
    fmt.Printf("found: %s %q\n", url, body)
    for _, u := range urls {
        go Crawl(u, depth-1, fetcher)
    }
    time.Sleep(time.Second)
    return
}

func main() {
    Crawl("https://golang.org/", 4, fetcher)
}

// fakeFetcher is Fetcher that returns canned results.
type fakeFetcher map[string]*fakeResult

type fakeResult struct {
    mu sync.Mutex
    body string
    urls []string
}

func (f fakeFetcher) Fetch(url string) (string, []string, error) {
    if res, ok := f[url]; ok {
        res.mu.Lock()
        return res.body, res.urls, nil
    }
    return "", nil, fmt.Errorf("not found: %s", url)
}

// fetcher is a populated fakeFetcher.
var fetcher = fakeFetcher{
    "https://golang.org/": &fakeResult{
        body: "The Go Programming Language",
        urls: []string{
            "https://golang.org/pkg/",
            "https://golang.org/cmd/",
        },
    },
    "https://golang.org/pkg/": &fakeResult{
        body: "Packages",
        urls: []string{
            "https://golang.org/",
            "https://golang.org/cmd/",
            "https://golang.org/pkg/fmt/",
            "https://golang.org/pkg/os/",
        },
    },
    "https://golang.org/pkg/fmt/": &fakeResult{
        body: "Package fmt",
        urls: []string{
            "https://golang.org/",
            "https://golang.org/pkg/",
        },
    },
    "https://golang.org/pkg/os/": &fakeResult{
        body: "Package os",
        urls: []string{
            "https://golang.org/",
            "https://golang.org/pkg/",
        },
    },
}

A Tour of Go Exercise: Equivalent Binary Trees

問題

  1. 二分木を深さ優先探索でトラバースしてノードの値を出力する関数Walkを実装する。
  2. Walkを用いて2つの二分木が同一かを判定する関数Sameを実装する。

リンク

https://go-tour-jp.appspot.com/concurrency/8

解答

tree.Newは10個のノードを持つ木を生成するので、forループは10回ループするようにしてあります。 木のサイズが可変の場合はチャンネルにバッファを持たせてそのサイズにするとか、tree.Newの引数からサイズとるとかになるんでしょうか。

package main

import(
    "golang.org/x/tour/tree"
    "fmt"
)

// Walk walks the tree t sending all values
// from the tree to the channel ch.
func Walk(t *tree.Tree, ch chan int) {
    if t.Left != nil {
        Walk(t.Left, ch)
    }
 
    ch <- t.Value
 
    if t.Right != nil {
        Walk(t.Right, ch)
    }
}

// Same determines whether the trees
// t1 and t2 contain the same values.
func Same(t1, t2 *tree.Tree) bool {
    ch1 := make(chan int)
    ch2 := make(chan int)
 
    // ここにgoがないとスレッド(goroutine)が起動しないのでチャンネル経由でデータをやり取りできず、deadlockになる?
    go Walk(t1, ch1)
    go Walk(t2, ch2)
 
    for i := 0; i < 10; i++ {
        if <-ch1 != <-ch2 {
            return false
        }
    }
 
    return true
}

func main() {
    ch := make(chan int)
    go Walk(tree.New(1), ch)
    for i := 0; i < 10; i++ {
        fmt.Printf("%v ", <-ch)
    }
    fmt.Println()
 
    fmt.Println(Same(tree.New(1), tree.New(1)))
    fmt.Println(Same(tree.New(1), tree.New(2)))
}