data/request_data.go

package data

import (
	"strings"
	"time"

	"github.com/google/btree"

	"git.scraperwall.com/scw/grs"
)

type RequestData struct {
	ID             string                 `bson:"_id,omitempty" json:"_id,omitempty"`
	Connection     string                 `bson:"connection" json:"connection"`
	IpDst          string                 `bson:"ip_dst" json:"ip_dst"`
	TcpSeq         uint32                 `bson:"tcp_seq" json:"tcp_seq"`
	XForwardedFor  string                 `bson:"x_forwarded_for" json:"x_forwarded_for"`
	XRealIP        string                 `bson:"x_real_ip" json:"x_real_ip"`
	Origin         string                 `bson:"origin" json:"origin"`
	PortDst        uint32                 `bson:"port_dst" json:"port_dst"`
	Referer        string                 `bson:"referer" json:"referer"`
	XRequestedWith string                 `bson:"x_requested_with" json:"x_requested_with"`
	PortSrc        uint32                 `bson:"port_src" json:"port_src"`
	Url            string                 `bson:"url" json:"url"`
	Reverse        string                 `bson:"reverse" json:"reverse"`
	AcceptEncoding string                 `bson:"accept_encoding" json:"accept_encoding"`
	AcceptLanguage string                 `bson:"accept_language" json:"accept_language"`
	CreatedAt      time.Time              `bson:"created_at" json:"created_at"`
	SortTime       time.Time              `bson:"-" bson:"-"`
	IpSrc          string                 `bson:"ip_src" json:"ip_src"`
	Method         string                 `bson:"method" json:"method"`
	UserAgent      string                 `bson:"user_agent" json:"user_agent"`
	Accept         string                 `bson:"accept" json:"accept"`
	Cookie         string                 `bson:"cookie" json:"cookie"`
	Host           string                 `bson:"host" json:"host"`
	Protocol       string                 `bson:"protocol" json:"protocol"`
	Source         string                 `bson:"source" json:"source"`
	Via            string                 `bson:"via" json:"via"`
	DataRaw        map[string]interface{} `bson:"data_raw" json:"data_raw"`
	Weight         uint64                 `bson:"weight" json:"weight"`
	Grs            grs.GRS                `bson:"grs" json:"grs"`
}

func (a *RequestData) Less(b btree.Item) bool {
	return a.CreatedAt.Before(b.(*RequestData).CreatedAt)
}

func (a *RequestData) ToRequest() *Request {
	return &Request{
		Url:            a.Url,
		Reverse:        a.Reverse,
		IpSrc:          a.IpSrc,
		IpDst:          a.IpDst,
		PortSrc:        a.PortSrc,
		PortDst:        a.PortDst,
		TcpSeq:         a.TcpSeq,
		CreatedAt:      a.CreatedAt.UnixNano(),
		XForwardedFor:  a.XForwardedFor,
		XRealIP:        a.XRealIP,
		Method:         a.Method,
		Origin:         a.Origin,
		Referer:        a.Referer,
		UserAgent:      a.UserAgent,
		Source:         a.Source,
		Host:           a.Host,
		Protocol:       a.Protocol,
		Connection:     a.Connection,
		XRequestedWith: a.XRequestedWith,
		AcceptEncoding: a.AcceptEncoding,
		AcceptLanguage: a.AcceptLanguage,
		Accept:         a.Accept,
		Cookie:         a.Cookie,
		Via:            a.Via,
	}
}

// Path returns the Url without any query string
func (a *RequestData) Path() string {
	idx := strings.Index(a.Url, "?")

	if idx >= 0 {
		return a.Url[0:idx]
	}

	return a.Url
}